Kameraalapú, tekintetvezérelt felhasználói felület kialakítása

OData támogatás
Konzulens:
Dr. Srp Ágoston Mihály
Irányítástechnika és Informatika Tanszék

A jelen dolgozat témája egy szemkövető algoritmus létrehozása, amely a gépi látás algoritmusai segítségével megállapítja a kamera képeiből, hogy hol található a felhasználó szemközéppontja. Az így nyert információból pedig a képernyőbeli fókuszpont megállapítása a cél.

A detektálás folyamata először az arc felismerésére terjed ki, majd a szemrégiók meghatározása a feladat. A szemrégiókon belül pedig képi gradiensek segítségével megállapítható a pupilla helyzete a képen. A pupilla a nézeti irány mutatójaként pedig egy kalibrációs eljárás során átvihető a képernyő koordináta rendszerébe.

Az eljárásokat C++ nyelven az OpenCV segédkönyvtár használatával készültek el és a szem meghatározásán túl lehetőség nyílik arra, hogy elkülöníthessük a fel-le és jobbra-balra irányokat. Így detektálhatóvá válik, hogy a felhasználó a képernyő melyik - égtájak szerinti - felosztásának irányába néz.

Az algoritmus pontossága és működése különböző képfelbontás és eltérő környezeti tényezők (fényforrás helyzete, háttér) mellett lett tesztelve. Továbbá a dolgozat tartalmaz egy rövid összefoglalót a gép és ember közti képi alapú kommunikáció egyes eszközeiről és lehetőségeiről.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.