Képfeldolgozás neurális hálózatokkal Xilinx FPGA-n

OData támogatás
Konzulens:
Dr. Fehér Béla
Méréstechnika és Információs Rendszerek Tanszék

A mesterséges intelligencia és neurális hálózat alapú módszerek alkalmazhatósága az IoT eszközök egyre szélesebb körében terjed. A környezet képi információinak valós idejű feldolgozása megnyitja a lehetőségét pl. az objektum felismerés megvalósítására nagyteljesítményű heterogén rendszerekben. A képfeldolgozási feladatokban hatékonyan alkalmazhatók a konvolúciós neurális hálózatok (CNN), melyeket FPGA környezetben akár közvetlen hardveres szorzók használatával, akár speciális aritmetikájú modulokkal megvalósíthatunk. Ezek a hálózatok jellemzően magas számítási igénnyel, jelentős memóriaterület igénnyel és adatelérési sávszélesség igénnyel jellemezhetők.

A diplomamunkában egy ilyen feldolgozó rendszer megvalósítását ismertetem, mely egy előre betanított, konvolúciós neurális hálót használ, hogy egy folyamatos videón ismerjen fel kézzel írott számokat. A rendszer hardveres része a Xilinx HLS magas szintű szintézis nyelvét használja és elemei úgy lettek megalkotva, hogy később alkalmazni lehessen őket tetszőleges hálózat létrehozására. Ezen felül megszabható a hálózat feldolgozási sebessége és a használt erőforrásainak aránya, hogy optimalizálható legyen a feladatra. A kész hálózat integrálva lett egy komplett rendszerbe, mely HDMI alrendszerrel is rendelkezik, így az eszköz tetszőleges videó forrásból tud képet feldolgozni. A kész eszköz a Xilinx PynQ környezetét használja, ahol a megvalósított hardver egy ZynQ FPGA-n futva, egy Python szoftveres környezettel rendelkezik, így különböző szoftveres kép előfeldolgozó feladatok könnyen megvalósíthatóak különféle előre telepített könyvtárak segítségével. A rendszer meg lett vizsgálva teljesítmény, pontosság és energiahasználat szempontjából és össze lett hasonlítva az eredeti betanított hálózattal, illetve más személyek megvalósításaival.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.