Objektum felismerés és követés videókon mély neurális hálózatokkal

OData támogatás
Konzulens:
Dr. Gyires-Tóth Bálint Pál
Távközlési és Médiainformatikai Tanszék

Napjainkban a mesterséges intelligencia szerepe növekvő tendenciát mutat, egyre több területen van hatással életünkre, az ember és a digitális eszközök összefonódása egyre jellemzőbb modern társadalmunkban. A gépi látás – mely a mesterséges intelligencia egyik fontos ága - segítségével berendezéseink képesek az azokat körülvevő világ észlelésére, automatizált vizsgálatok, valamint koordinálási feledatok elvégzésére. Az objektum detektáló algoritmusok is ezt a célt szolgálják, azonban valósidejű működés esetén erőforrásigényük magas.

Munkámban egy olyan mély tanulás (deep learning) alapú megoldást dolgozok ki, mely az erőforrásigény csökkentését tűzi ki célul. A megoldás meglévő objektumfelismerő algoritmuson alapszik, ez fogja a rendszer bemenetét szolgáltatni, s az általam kidolgozott Long Short-Term Memory (LSTM) alapú hálózat a meglévő objektumok típusából, illetve korábbi elhelyezkedésükből próbál meg a jövőbeli elhelyezkedésükről információt adni, ily módon nem válna szükségessé minden képkockára, hanem elég lenne csak bizonyos időközönként újra lefuttatni az objektumfelismerő algoritmusokat. A megvalósítandó hálózat az LSTM hálózatok idősoros jóslásának fajtájához tartozik. Ez annyit jelent, hogy az időben korábban történt eseményekből próbálunk meg a bekövetkező jövőbeli eseményekre valamiféle előrejelzést adni.

Az ideális modell megtalálása érdekében a legnépszerűbb metrikákat (MABO – Mean Average Best Overlap, mAP – Mean Average Precision) használom. A feladatot nehezíti a sok változó tényező, mint a tanult osztályok száma, a bemeneti adatok száma (mennyi korábbi adat szolgáljon bemenetnek), valamint hogy milyen időtávra predikáljunk előre.

Összességében tehát objektumok mozgásának előrejelzését fogom megvalósítani idősor alapú LSTM hálózattal, melyet MABO és mAP metrikákkal fogok kiértékelni. A modell által előrejelzett eredmények pedig lineáris regresszió által meghatározott eredményekkel kerülnek összevetésre.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.