3D Felhasználói felület kialakítása Kinect-tel

OData támogatás
Konzulens:
Dr. Vajda Ferenc
Irányítástechnika és Informatika Tanszék

A felhasználó felület a legfontosabb kapcsolat ember és gép között. Napjainkban egyre több fejlesztés zajlik, hogy ne kelljen fizikai kontrollereket használni a számítógépek irányítására, mint az egér és a billentyűzet. Egy új irányvonal a Natural User Interface rendszerek készítése, amik minél inkább természetes mozdulatokkal irányíthatóak. A szakdolgozatom során én is egy ilyen rendszeren dolgoztam. Egy, már futó projektbe kapcsolódtam be, amiben egy gesztusfelismerő modul által lehetett utasításokat adni a 3D-s megjelenítő modulnak. A célunk egy virtuális munkaasztal kifejlesztése, amint használva a felhasználó természetes mozdulatokkal irányíthatja a rendszert.

Megismerkedtem a használt Microsoft Kinect 3D szenzorral, a hozzá tartozó különböző keretrendszerekkel, valamint más hasonló fejlesztésekkel.

Ezután kibővítettem a gesztusfelismerést, az alap gesztusok, mint oldalra vagy fel-le intések mellé átlós mozdulatok felismerését és fogásérzékelést valósítottam meg. Ennek segítségével lehetségessé vált elemek kiválasztása a felületen, valamint kétkezes fogás segítségével akár térbeli forgatásuk is. Létrehoztam egy olyan köztes platformot is, aminek segítségével akár több beviteli rétegbeli modul is szolgáltathat információkat a felhasználóról akár több megjelenítő rétegbeli programnak.

A fejlesztés során együttműködtem a grafikai megjelenítő rétegen dolgozó Pusztai Bálint kollégámmal. Végig szem előtt tartottuk, hogy az ilyen rendszereknél egyik legfontosabb szempont az, hogy felhasználóbarát és látványos legyen.

Ki ne akart volna már a Különvélemény filmben látott módon válogatni képek között, vagy, hogy újabb példát mondjak, az Ironman filmben Tony Stark által mutatott módon, intésekkel és gesztusokkal irányítani egy rendszert, „megfogni” egy virtuális elemet, majd egy laza mozdulattal arrébb rakni.

A mienkhez hasonló fejlesztések segítségével a jövő konyhájában nem kell majd maszatos kézzel összekoszolni a szakácskönyvet, vagy akár a tabletünket, hanem elég egy intéssel a következő oldalra lapozni. Nagy érdeklődés van ilyesmi megoldások iránt az orvostudományban is, hogy a műtétet végző orvosoknak ne kelljen hozzáérni a számítógéphez, hanem szóban megadhassa, hogy például mire szeretne rákeresni, majd a találatok között intésekkel navigálhat.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.