Gesztus alapú ember-gép kommunikációs eszköz fejlesztése

OData támogatás
Konzulens:
Kertész Zsolt László
Irányítástechnika és Informatika Tanszék

A kézgesztusok használata gyakori a mindennapok során és nagyon kifejező módja lehet a kommunikációnak. Egy kézgesztusokon alapuló számítógépes beviteli interfész fejlesztésének gondolata egészen természetes gondolat.

A bemutatásra kerülő kommunikációs eszköz egy kisköltségű webkamerából és az erről érkező adatokat analizáló szoftverből áll. A szoftver speciális gesztusok érzékelésekor a kéz pozícióját követni kezdi. Két különböző megközelítési mód tesztelése történt meg a követéshez: az első a virtuális touchpad (VTP), a második a virtuális érintőképernyő (VTS). A VTP egy fehér A4-es táblát használ a kéz kiszegmentálásához, a VTS a levegőben érzékeli a kezet, ha az elég közel van a kamerához. Jelenlegi formájukban az elkészült eszközök nem robosztusak és nem pontosak, de megmutatják a gesztusfelismerési technológiában rejlő lehetőségeket és képesek az egérkurzor vezérlésére gesztusok útján.

A bemutató alkalmazás C++-ban került kifejlesztésre az OpenCV és a cvBlob könyvtár felhasználásával. A rendszer szín alapú követést, Chamfer-transzformációt és blobanalízist használ. A projekt részletes ismertetése és a teszteredmények mellékelve vannak a dolgozathoz.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.