Gesztusérzékelés alapú navigációs eszköz fejlesztése asztali környezetekhez

OData támogatás
Konzulens:
Dr. Vajda Ferenc
Irányítástechnika és Informatika Tanszék

A modern felhasználói felületeknek nem csak az a feladata, hogy lehetővé tegyék a felhasználó számára a számítógéppel való kommunikációt. Fontos, hogy ezt minél egyszerűbb és ergonomikusabb módon tegyék. A jelenlegi beviteli eszközök többnyire a billentyűzetre és az egérre koncentrálódnak. Mivel ezek nem minden feladat ellátására alkalmasak, így különböző kutatócsoportok kezdtek el kidolgozni ún. alternatív felhasználói felületeket. A szakdolgozat keretében feladatom egy ilyen alternatív felületnek minősülő, gesztusérzékelés alapú navigációs eszköz fejlesztése, melynek segítségével az egér navigációs funkciói kiválthatók.

Az idevágó szakirodalmak áttanulmányozása után, elkészítettem a megvalósítandó eszköz részletes rendszertervét, mely alapján az implementálásra is került. A megoldásban a Microsoft cég által gyártott KINECT kamerát használtam, mely képes valós időben mélységi képet készíteni az előtte lévő 3D színtérről. Ezt a mélységi képet, és különböző morfológiai képfeldolgozási algoritmusokat felhasználva, a számítógép az általam írt program futtatásával, folyamatosan követi a gép előtt ülő felhasználó kézfejének pozícióját, és detektálja annak előre definiált gesztusait. Ilyen kézmozdulat többek között a nyitott, szembe fordított tenyér, az ökölbe szorított kéz, a „kettő mutatás” mozdulata vagy az oldalra fordított tenyér. Az ezek által kiváltott hatások pedig az egyszerű egérmozgatás, a bal-, illetve jobbgombos kattintás, illetve a fizikailag felemelt egér. Megvalósításra került továbbá egy extra funkció is, melynek segítségével lehetőségünk van egy prezentáció lebonyolítására csupán azzal, hogy kezünkkel lapozást imitálva a levegőben, navigálunk a megjelenített diák között.

Befejezésképpen különböző teszteket végeztem el, melyek tanúbizonyságot tettek az eszköz hatékony, egyszerű, és sok esetben a tradicionális egérénél kényelmesebb és látványosabb működésről. A mérések kimutatták továbbá, hogy a rendszer milyen felhasználás mellett kellően precíz, vagy éppen hol okoz esetlegesen nehézségeket az alkalmazása.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.