Gesztusvezérelt alkalmazás fejlesztése mobil eszközön

OData támogatás
Konzulens:
Dr. Vajda Ferenc
Irányítástechnika és Informatika Tanszék

A szakdolgozat témámat első sorban a rohamosan terjedő kiterjesztett valóság alkalmazások inspirálták, melyek többnyire egy okostelefonon futnak. Ezért szerettem volna megalapozni egy olyan rendszert, amely ezeket az alkalmazásokat még immerzívebbé teszi. Ehhez szükséges a mobil eszköz gesztusok által való vezérlésének lehetővé tétele, hiszen így az eszközt egy kiterjesztett valóság szemüveg segítségével már használhatjuk. Mivel szemüveg nem állt rendelkezésre, ezért én egy WiFi kamerát használtam a projekthez. Ha az ujjhegyek mindenkori pozícióját tudjuk, akkor egy érintőképernyős eszköz vezérlése már könnyű, hiszen a konkrét gesztusok felismerését az operációs rendszer elvégzi.

A feladat során először áttanulmányoztam a szakirodalmat, és kiválasztottam az általam megvalósítani kívánt módszert, mellyel az ujjhegyek pozícióját követni tudom. Ezután ezeket az algoritmusokat PC környezetben az OpenCV nyílt forráskódú képfeldolgozó függvénykönyvtár segítségével megvalósítottam, majd előre felvett videók segítségével teszteltem. Ezt követően létrehoztam a kommunikációt a készülékem és a WiFi kamera közt, amelyet a gesztusok rögzítéséhez használok. Végül elkészítettem és teszteltem egy egyszerű iPhone-on futó játékot, amellyel a kifejlesztett módszer segítségével vezérelhető.

Végeredményben az alkalmazás elkészült, és stabilan működik, így a feladat sikeresnek mondható. A játékot kiegészítettem további funkciókkal is, melyek igyekeznek az esetleges hibákat, pontatlanságokat kiküszöbölni, így a megoldást hatékonyabbá tenni. Ezen felül egy külön tesztfunkciót is létrehoztam, melynek segítségével az algoritmust egy előre felvett videóról be lehet mutatni. A jövőben könnyen tovább lehet fejleszteni az alkalmazást, hogy a háttérben futva a telefont vezérelni is tudja.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.