Személyre szabott kéz modell paramétereinek becslése mély neurális hálózatokkal

OData támogatás
Konzulens:
Tóth Márton József
Irányítástechnika és Informatika Tanszék

A virtuális valóságban való elmerülés elérése jelenleg egy kiemelten aktív kutatási terület. A középpontban mostanáig főleg a képernyőfelbontás és a nyomkövető rendszerek pontosságának növelése állt, amíg a felhasználói élmény személyre szabása kevesebb figyelmet kapott.

A személyre szabás fontos eleme a virtuális valóság átélésének: szerepe az, hogy megelőzze a játékos elidegenedését. Egy ismeretlen személy kezét látni a sajátunk helyett furcsa és zavaró lehet, ami megakadályozhatja, hogy a felhasználó valóban beleélje magát a történetbe.

Jelen dolgozat tárgya egy olyan rendszer részének kifejlesztése, ami képes a felhasználó kezéről készített színes képet egy digitális kézmodellé alakítani.

Megvizsgáltuk a publikusan elérhető kézadatbázisokat, és azt találtuk, hogy nem létezik olyan, ami ízületi annotációkat tartalmaz kinyújtott pózban. Ezért már létező adatbázisok felhasználásával létrehozunk egy, a céljainknak megfelelő, új adatbázist. Kéz generálására átalakítunk egy már létező testrekonstrukciót végző modellt, és kicseréljük egy részét különböző korszerű architektúrákra. Betanítjuk a neurális hálót az újonnan létrehozott adatbázison, kiértékeljük az egyes konfigurációk teljesítményét és megvizsgáljuk a "transfer learning" hatását.

Azt tapasztaljuk, hogy a formáért felelős paraméterek gyenge felügyelete és bizonyos szabadsági fokokon a kényszerek hiánya természetellenes kezeket generálását eredményezi, két dimenzióban viszont jól alkalmazható ízületek detektálására.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.