Arcfelismerést alkalmazó intelligens áruautomata fejlesztése

OData támogatás
Konzulens:
Dr. Tóth Csaba
Méréstechnika és Információs Rendszerek Tanszék

A dolgozatomban egy olyan intelligens áruautomata fejlesztésének lépéseit mutatom be – felhasználva az előttem a projekten dolgozó hallgató tapasztalatait –, amely képes az áruautomaták összes megszokott funkcióját a felhasználóval történő fizikai kontaktus nélkül is ellátni.

Az elkészült automata kínálata csokoládékból áll, melyek közül a felhasználó fejmozgatással tud választani, a választás megtörténtét kezének felemelésével jelzi, majd a választott csokoládéhoz mosolygásért cserébe jut hozzá. Az automata a választás folyamata alatt képes felismerni az aktuális felhasználót a már betanított személyek közül, és így a későbbiekben rögzíteni a személyenkénti fogyasztást. Új felhasználó esetén betanítási mód indítása szükséges, amely során különböző fej-irányultságok mellett mentésre kerülnek a szükséges képek a személyről, amire később az arcfelismerő algoritmusok támaszkodhatnak a felismerés során.

Az automatán kívül a fenti működést végrehajtó rendszer egy vagy több kamerából, egy Windows operációs rendszert használó PC-ből, monitorból, valamint egy mikrokontrolleres hardveregységből áll. A kamerakép alapján a PC végzi az automata működéséhez szükséges információk összegyűjtését az OpenCV függvénykönyvtárra támaszkodva, valamint szintén a PC-n futó program feladata a felhasználói interfész biztosítása, továbbá az automata belső vezérlését irányító mikrokontrollerrel való kommunikáció. Az AVR mikrokontroller alapú hardver egység felel az automata motorjainak ki- és bekapcsolásáért, továbbá a visszajelző LED-ek megfelelő működtetéséért.

A felhasználói program C++ alapú, míg a mikrokontroller vezérlőprogramját C-ben és részben Assembly-ben írtam.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.