3D-s demonstrációs felület kialakítása újszerű vezérlő eszközzel

OData támogatás
Konzulens:
Dr. Zainkó Csaba
Távközlési és Médiainformatikai Tanszék

A diplomatervezési feladatom témája egy 3D-s demonstrációs felületet megvalósítása Microsoft Kinect eszköz használatával. A Kinect olyan természetes bevitelen alapuló (testmozgás, beszéd) felhasználói felületek megalkotását teszi lehetővé, amelyek képességei túlmutatnak az eddigi (megfizethető árú) mozgásérzékelés alapú eszközök által kínált lehetőségeken.

Az irodalomkutatás keretében röviden áttekintettem a manapság elérhető innovatív felhasználói felületeket, és a Kinect eszköz képességei. A már elkészült Kinectes alkalmazások tanulmányozásával képet kaptam arról, hogy milyen jellegű alkalmazások vezérlését célszerű megvalósítani az eszközzel, továbbá, hogy milyen újszerű lehetőségeket biztosít a térben történő adatbevitel a felhasználók számára.

Ezt követően bemutatom az OpenNI szoftverfejlesztő készlet lehetőségeit, amellyel természetes felhasználói interakciót megvalósító Kinect alapú alkalmazásokat hozhatunk létre. Megvizsgáltam a keretrendszer felépítését, továbbá tesztalkalmazásokat készítettem, hogy a különböző típusú mozgások követésének lehetőségeit és pontosságát felmérjem.

Nem sokkal ezután megjelent a Microsoft hivatalos Kinect szoftverfejlesztő készlete is, melyet összehasonlítottam az OpenNI képességeivel.

A munka során megterveztem, és megvalósítottam egy 3D-s felhasználói felület keretrendszert, melyben interfészeket alakítottam ki térbeli vezérlésre, hangvezérlésre és beszédszintézisre, továbbá megvalósítottam néhány felhasználói felület elem komponenst is. A térbeli vezérlés implementálásához a Microsoft Kinect szoftverfejlesztő készletét választottam, a beszéd alapú vezérlésre és a beszédkeltésre pedig Microsoft Speech technológiát és a TMIT tanszék beszédtechnológiai csoportjának szerveroldali megoldását építettem be. Ez a keretrendszer szolgál a konkrét demonstrációs felületem alapjául.

A demonstrációs felületnek egy térbeli szobrász és festő alkalmazás megvalósítását választottam, mellyel bemutatom a vezérlő egység újszerű felhasználási lehetőségeit. A térbeli adatbevitel és megjelenítés lehetőséget adott új ötletek beépítésére is, melyek túlmutatnak az elterjedt felhasználói felületek használatával megvalósítható felhasználási eseteken.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.