Valósidejű objektumkövetés mély tanulás segítségével

OData támogatás
Konzulens:
Szemenyei Márton
Irányítástechnika és Informatika Tanszék

Az objektumkövetés célja, hogy mozgóképfelvételen meghatározzuk egy mozgó objektum pozícióját képkockáról képkockára. A követő algoritmusok jelentősége különösen megnövekedett az elmúlt pár évben, köszönhetően az intelligens járművek és a különböző robotok egyre növekvő térhódításának. Mivel a követési feladatot általában szeretnénk minél hatékonyabban, gyorsabban és hibamentesen elvégezni, logikus döntés erre a mély tanulást felhasználni. A mély tanulás segítségével megvalósított objektum felismerés képes felülmúlni az ember objektum felismerési képességét és ezt a képességet kihasználva robusztus objektumkövető alkalmazás építhető.

A szakdolgozat célja egy objektum követési feladat megvalósítása mély neurális hálózat segítségével. Az objektum követést egy képfelismerésre előre betanított konvolúciós neurális hálózat segítségével végeztem úgy, hogy a hálózatot, mint egy rögzített jellemző generátort használtam fel. Az elgondolás, hogy a konvolúciós hálózat általánosító képességét kihasználva az általa előállított jellemzővektor felhasználásával történő követés robusztusabb lesz a különböző torzításokra, amik amúgy nagy nehézségeket okoznak a hagyományos, neurális hálózatot nem használó követő algoritmusoknak.

A projekt megvalósítására a PyTorch nevű keretrendszert használtam fel. A keretrendszer valójában egy Python függvénycsomag ami a Torch keretrendszer továbbfejlesztett, kibővített változata. A keretrendszer lehetővé teszi a gépi tanulás algoritmusok hatékony implementálását, biztosítja az együttműködést a népszerű Python csomagokkal, mint Numpy, Scipy stb., és támogatást nyújt a GPU-n való futtatáshoz is. Az elkészült algoritmust több videón teszteltem, amik alapján a megvalósított rendszer megfelelően működik.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.