Intelligens felismerési feladatok multimédia tartalmakban

OData támogatás
Konzulens:
Dr. Szűcs Gábor
Távközlési és Médiainformatikai Tanszék

A multimédia tartalmak annotációjához nagy segítséget jelentene, ha egy rendszer automatikusan segítene különböző címkékkel ellátni az egyes tartalomrészeket és segítene automatikus besorolásokban is. A dolgozatban egy olyan rendszer kerül bemutatásra, amely képes videókat feldolgozni, a videókat műfaj szerint besorolni, azokban előforduló reklámokat detektálni, valamint a videót indexekkel ellátni, a későbbi kereshetőség elősegítésére.

A megvalósítás első lépése a videó kettéválasztása képi és hangi részekre, majd a videóban a jelenetek szétválasztása, ami a későbbi detektálási és annotálási feladatok alapja. A rendszer a videó szöveges összefoglalóját bemenetként várja, abból indexet épít, ami alapján később a videók szöveg alapján is kereshetők lesznek.

A jelenetek műfaji besorolásához képi jellemzőket, valamint a videó hangsávjából Matlab függvények segítségével kinyert hangi jellemzőket használtam. A hangi jellemzőket harmincöt jellemzővektorral írtam le, amelyeknek átlagos értékét vettem figyelembe a besorolás során. A Matlab és a Java-ban írt alkalmazás között a MatlabConsolCtr ingyenes Java-ban írt könyvtárcsomag használatával teremtettem meg a kapcsolatot.

A műfaji besorolást felügyelt tanulás segítségével valósítottam meg. A lehetséges algoritmusok közül a Random-Forestre esett a választásom, ami előtt a videó reklám detektálásnak is alávethető. A reklám detektálást sablon alapú illesztéssel valósítottam meg. Ha a reklám detektálás aktív, a reklámként detektált jelenetek nem kerülnek a Random-Forest által műfaji besorolásra.

Az alkalmazásban lehetőség van az előre eltárolt információkban keresni. Ez szöveges vagy kép alapú. Szöveges alapú keresés esetén az alkalmazás megkeresi, hogy a felhasználó által megadott keresési feltétel melyik videó szöveges leírásában található meg. A keresés eredménye azon dokumentumok listája, amelyben a keresési feltétel, vagy annak egy része előfordul, relevancia szerint csökkenő sorrendbe rendezve. Kép alapú keresés esetén az alkalmazás kinyeri a felhasználó által megadott kép jellemzőit, összehasonlítja őket a korábban már feldolgozott videókból kinyert és eltárolt képi jellemzőkkel, és a leghasonlóbb jeleneteket visszaadja.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.