Kinect alapú ambiens intelligencia AAL alkalmazásokban

OData támogatás
Konzulens:
Dr. Dobrowiecki Tadeusz Pawel
Méréstechnika és Információs Rendszerek Tanszék

A diplomamunkában a Microsoft által 2010 végén bemutatott Kinect szenzor használhatóságát mértem fel AAL (Ambient Assisted Living) alkalmazásokban. A szenzor - infra-kamerájának köszönhetően - képes a 3D mélységérzékelésre, és a hozzá tartozó szoftver keretrendszer segítségével az emberi alakok megtalálására és tartós követésére a háromdimenziós térben. A Kinect alapú valósidejű háromdimenziós követés az AAL rendszerekben még kihasználatlan, így a munka célja az alkalmazhatóság kivizsgálása, és egy alapfeladatokat megoldó AAL alkalmazás elkészítése.

A diplomamunka első felében az AAL alkalmazások alapvető feladatait és tervezési aspektusait mutattam be, előzetes tesztekkel felmértem a szenzor képességeit, majd a szakirodalomban található, meglévő AAL rendszerek áttanulmányozása után egy Kinect alapú AAL rendszer tervét vázoltam fel. A diplomamunka második felében mutattam be a végső rendszer tervezésének és megvalósításának lépéseit, mely a Kinect szenzorból érkező adatokra alapozva old meg alapvető AAL feladatokat, többek között általános gesztusfelismerést, elesés detektálást és ADL (Activities of Daily Living) aktivitás felismerést. Az általános gesztusfelismerés egy működő gesztusfelismerő megoldás alapján lett kialakítva, mely a DTW (Dynamic Time Warping) algoritmust használja a gesztusok felismeréséhez. Az ADL aktivitás felismerés alapja egy többrétegű modell, melynek első szintjét a szenzor által megfigyelt tér és a benne található objektumokból (asztal, szekrény, ajtó… stb.) kialakított virtuális térkép (fizikai kontextus) képezi. A modell második szintjén a gesztusok és mozgási adatok vannak, míg a legfelső szint reprezentálja a tényleges ADL aktivitásokat. A rendszer a szenzor által követett ember valós térbeli pozícióját levetíti a virtuális térképre, majd az alany pozíciója, sebessége, nézési iránya, és az elvégzett gesztusok alapján képes az ADL aktivitásokat felismerni. Az elesés detektálás az AAL alkalmazásokban egy megoldott probléma, de a meglévő rendszerek képességei különbözőek. Munkámban egy általános, megbízható elesés detektáló rendszert mutattam be, amely az alany sebessége, pozíciója és további temporális (időbeli) paraméterek alapján működik, és képes kezelni a legtöbb szélsőséges esetet is, beleértve a majdnem teljes kitakarásba esést, a tartós földön fekvést, és a félig ágyra, székre való esést. Az ADL aktivitás felismerés és elesés detektálás számos paraméter alapján működik, melyek fuzionálására fuzzy következtető rendszert használtam. A végső Kinect AAL rendszer így képes a felhasználónak visszajelezni a követett alany ADL aktivitásit, és vészhelyzet esetén riasztani.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.