Filmek elemzése multimédiabányászati eszközökkel

OData támogatás
Konzulens:
Dr. Szűcs Gábor
Távközlési és Médiainformatikai Tanszék

Jelen munka célja egy olyan film elemző rendszer bemutatása, amely képes arra, hogy egy tetszőleges filmre megállapítsa, hogy mettől meddig láthatók az egyes plánok, kameramozgások, illetve milyen a képek dinamikája, telítettsége. A dolgozat első felében felvázolom a megoldandó feladathoz választott algoritmusok alapvető működését, elméleti hátterét, úgy, mint optikai áramlás, SURF jellemzők, Viola-Jones detektor, Canny éldetektor. Bemutatom a filmművészetben használt jellemzőket, melyek ismerete a feladatom megoldásához elengedhetetlen.

A dolgozat második felében bemutatom az elkészített rendszer technikai részleteit. A rendszer főbb lépésein végigmegyek, melyek a következők: snitt detektálás, jellemzőkinyerés, tanítás, osztályozás. Az osztályozást neurális hálóval és lineáris regresszióval oldottam meg. A rendszer elkészítéséhez több programot, programkönyvtárat használtam: ffmpeg-et a rövid tesztvideók vágásához, illetve az elkészült rendszerben a snitt detektáláshoz, OpenCV-t a jellemzőkinyerő alkalmazáshoz, amelyet C++ nyelven írtam meg, Excel VBA-t az elkészült adatsorok és manuális annotációk összeillesztésére, illetve RapidMiner-t az osztályozáshoz és kiértékeléshez. A rendszert leteszteltem egy teljes filmen, az eredményeket kiértékeltem, melyből több továbbfejlesztési lehetőség bontakozott ki.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.