Szereplő azonosítás videó tartalmakban arcdetektálás segítségével

OData támogatás
Konzulens:
Dr. Szűcs Gábor
Távközlési és Médiainformatikai Tanszék

Napjainkban a multimédiás tartalmak száma rohamosan növekszik, 2017-re a teljes internetes forgalom akár 80-90%-át is videó tartalmak teszik majd ki. Ezek rendszerezése és a videókban való keresés nagy kihívást jelent. Erre egy megoldás a videók automatikus annotálása. Szakdolgozatomban egy olyan rendszert készítettem el, amely egy videóban megkeresi a szereplőket és eltárolja, hogy mikor láthatók a képernyőn. A megoldást két oldalról közelítettem meg: ha van információnk a szereplőkről, illetve ha nincs. Előbbi esetére egy tanított arcazonosító alkalmazást, utóbbira pedig egy klaszterező arcazonosító alkalmazást készítettem C++ nyelven, OpenCV könyvtár használatával.

A dolgozat első felében áttekintettem az arcdetektálás és arcazonosítás alapkérdéseit, fogalmait. Részletesen ismertettem a munkám során használt algoritmusokat; a Viola-Jones arcdetektort, Fisherfaces és Local Binary Pattern arcfelismerő algoritmusokat. Ezután az OpenCV arcfelismerést végző implementációt leteszteltem.

A tanított arcazonosító alkalmazásban videóból kinyert képkockákon a szereplők arcának megtalálására Viola-Jones arcdetektort használtam. Az alkalmazás szemdetektálás segítségével a megtalált arcokat a szemek vonalába forgatja. Ezután az arcok felismerése Fisherfaces algoritmussal történik, amely előzőleg betanításra került a videón előforduló szereplők arcaival. A klaszterező arcazonosító alkalmazás a detektált és beforgatott arcokból LBP hisztogramokat állít elő, és ezeket hierarchikus k-közép módszerrel klaszterezi. A videóban megtalált szereplők felbukkanásait és eltűnéseit az annotáló rendszer eltárolja.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.