Valósidejű gesztusfelismerő rendszer fejlesztése inerciaszenzorok segítségével

OData támogatás
Konzulens:
Prekopcsák Zoltán
Távközlési és Médiainformatikai Tanszék

Manapság egyre nagyobb az igény az ember-gép interakciót minél egyszerűbbé és természetesebbé tevő megoldások iránt. Mozdulatainkkal számtalan gesztust nyilváníthatunk ki, kezünkkel sokféle formát, alakzatot rajzolhatunk. Léteznek megoldások, melyek kézmozdulat-felismerést tesznek lehetővé, ezek azonban általában nem biztosítják a felhasználó számára azt a mobilitást, ami a természetességhez szükséges lenne.

Ahhoz, hogy egy bárhol alkalmazható, viselhető eszközt lehessen létrehozni, a szenzorjelek feldolgozását helyben kell végezni, erre azonban a kis méretű és kis számítási kapacitással rendelkező mai beszerezhető eszközök általában nem képesek. A szenzoros modulok jellemzően a mozgás jellemzőinek leírását segítő gyorsulásmérő szenzort, giroszkópot illetve magnetométert alkalmaznak a pontos mozgásrekonstrukcióra törekedve. A gesztusfelismeréshez ezen felül valamilyen szabályosságot is fel kell ismerni a szenzorjelalakokban, amelyek a gesztusokat azonosítják. Munkám során egy olyan eszköz szoftveres és hardveres tervezését valósítottam meg, amely az adatgyűjtés mellett az adatfeldolgozást, a gesztusfelismerést is valós időben képes számolni.

Egy hatékony csúcsdetektáló eljárással a szenzorjelek információtartalmát nagymértékben tömörítettem. Egyszerű geometriai formákon alapuló kézmozdulatokat elemeztem, ezekből bonyolultabb gesztusokat származtattam le. A módszerem az analitikus megközelítésnek köszönhetően személyfüggetlen az elterjedten alkalmazott, tanítómintákat igénylő megoldásokkal szemben. Ezen módszert egy gyors prototipizálást segítő mikrokontrolleres rendszerben implementáltam, majd ezt követően egy karóra méretű áramkört terveztem és hoztam létre. Dolgozatomban bemutatom a fejlesztett felismerő módszer működését elméletben és gyakorlatban egyaránt. Több szinten teszteltem az elkészült rendszert és annak hatékonyságát (szoftver jósági tesztelése, hardver teszt, teljes rendszer tesztelése). Kitérek a megoldás során adódó problémákra és azok megoldására, valamint lehetőséget mutatok be az eszköz gesztusfelismerő hatékonyságának tovább növelésére, melynek használatával a létrehozott eszköz ipari alkalmazása is elképzelhetővé válik.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.