Szemantikus képkeresés osztályozó algoritmus segítségével

OData támogatás
Konzulens:
Dr. Szűcs Gábor
Távközlési és Médiainformatikai Tanszék

Manapság képi tartalmak között keresni nem újszerű dolog. Egy képkereső rendszer feladata, hogy a felhasználó által megadott keresési kulcs szerinti releváns képeket adjon vissza. A relevancia eldöntése viszont nem egyszerű feladat, bizonyos kereső kifejezések esetén pedig kifejezetten nehéz. Éppen ezért a mai napig fejlesztés alatt állnak még a legelterjedtebb képkeresők is (pl. Google, Bing, Flickr).

A dolgozatomban olyan szemantikus képkereséssel foglalkoztam, ahol nem álltak rendelkezésre metaadatok a kereséshez, és csupán a képek tartalmi információit használtam fel. Amennyiben ezt ismeretlen képeken végezzük, szükség van egy tanulóállományra, amely alapján gépi tanulásos módszert alkalmazva elemezhetőek a keresési térbe tartozó, úgynevezett teszt képek. Az elemzésből származó adatok ezután már rendelkezésre állnak a kereséshez.

Dolgozatomban bemutatom azt az általam készített szemantikus képkereső rendszert, amelynek feladata, hogy olyan keresési kulcs alapján keressen, amelyet egyszerre több objektum vagy fogalom kombinálásával kapunk. A keresést megelőző szemantikai elemzéshez a state-of-the-art képfeldolgozási módszereket használom, mint például a Fisher-vektor, vagy a C-SVC osztályozó. Az offline módon rendelkezésre álló szemantikai információkat felhasználva több olyan módszert is implementáltam, amely megvalósítja a kombinált képkeresést.

A dolgozatban a kettő illetve három objektumból összeállított kereső kifejezésekre koncentrálok. Ezek eredményeit kiértékelem és összehasonlítom azokat három ismert internetes képkereső (Google, Bing és a Flickr) eredményeivel. Tanulóállományként ehhez a Pascal VOC, képi klasszifikációs verseny weboldaláról letöltött tanító képeket használom, melyek eredetileg a Flickr-ről lettek összegyűjtve.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.