Hatékony konvolúciós neurális hálózat tervezése képi információ feldolgozására

OData támogatás
Konzulens:
Hadházi Dániel
Méréstechnika és Információs Rendszerek Tanszék

Az elmúlt néhány évben a konvolúciós neurális hálózatok megreformálták a képfeldolgozás területét. Sok probléma esetén utolérték és meghaladták a klasszikus, szakértői képfeldolgozó módszerek pontosságát és hatékonyságát. Egyelőre nem mutat semmilyen jel arra, hogy a neurális paradigma ilyen jellegű, egyre szélesebb körű alkalmazásának térnyerése ne folytatódna.

Azonban ezek az új megoldások gyakorlatilag feketedoboz jellegűek még azok számára is, akik értik, hogy általánosan hogyan működnek a neurális paradigma eszközei. Bár a tanulás folyamata világos, a megtanult tudás reprezentációja nehezen interpretálható. Így azon kívül, hogy meg tudjuk mérni, hogy az általunk gyűjtött, korlátos mintakészlet mekkora részére működik helyesen az adott megoldás, arra már nehezebb választ adni, hogy miért és milyen esetekben fog helytelen kimenetet előállítani. Ilyen jellegű bizonytalanságok nem engedhetők meg biztonságkritikus rendszerek (például az önvezető autók) esetében, ahol emberi élet múlhat a rendszer hibás döntésein. Továbbá az is világossá vált, hogy nem csak a neurális paradigmán alapuló megoldások eseti hibáitól kell tartanunk, hanem lehetőség van a bemeneti képek olyan módon való manipulálására is, aminek hatására a megoldás helytelenül működik.

További probléma, hogy a state-of-the-art eredmények olyan neurális hálókon alapulnak, melyek sok, akár több száz réteggel és több millió konvolúciós szűrővel rendelkeznek.

Ez a magas komplexitás a már említett interpretálhatóság problémája mellett felvet még egyéb hatékonysági problémákat is. Tipikusan százmilliós nagyságrendbeli paraméter tanulása és tárolása szükséges. Ennek következtében mind a tanítási, mind egy minta esetén a háló válaszának előállításhoz szükséges erőforrásigény is nagy. A nagyméretű és emiatt lomha hálók pedig ugyancsak hátrányt jelenthetnek bizonyos ipari felhasználásokban. Példaként itt is maradjunk az önvezető autóknál: ha a háló nem képes elég gyorsan döntést hozni, hogy kell-e fékezni adott szituációban, akkor alkalmassága megkérdőjeleződik. A hálók paraméterszámbeli és számítási erőforrásigény szerinti hatékonysága tehát ma kulcskérdés, és várhatóan az is marad az éles, gyakorlati alkalmazások esetén a jövőben is.

Munkám során olyan módszereket vizsgáltam meg és tettem javaslatot módosításokra, hatásosságuk növelésére, melyekkel a fenti problémák enyhíthetők. Tételesen megvizsgáltam a tudás desztillálás alapú háló kompressziót, a

Spatial Transformer réteg ilyen szempont szerinti alkalmazhatóságát, valamint javaslatot tettem a ma népszerű direkt regularizációs módszerek ilyen célból történő adaptálására. Minden taglalt módosítás hatását kvantitatívan és kvalitatívan is elemeztem, melyek eredményeképpen megállapítottam, hogy jelentős hatékonyságnövekedés érhető el a pontosság minimális szintű redukciója mellett.

A dolgozat felépítése az alábbi: a 1. fejezetben szakirodalomban publikált megközelítéseket tekintem át, a 2. fejezetben a tudásdesztilláció alapú paraméterredukciót mutatom be, a 3. fejezet a redundáns szűrések eliminálását taglalja, az 4. fejezetben összefoglalom az elért eredményeket és a hozzájuk kapcsolódó konklúziókat is levonom. A dolgozatnak részét képezi egy kétoldalas függelék is.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.