Adatbányászati keretrendszer fejlesztése

OData támogatás
Konzulens:
Kovács Ferenc
Automatizálási és Alkalmazott Informatikai Tanszék

Napjainkban egyre növekvő szerephez jut az adatbányászati és egyéb tanuló algoritmusok kutatása. Ezek implementálása során a fejlesztés hatékonyságát rontja a konkrét feladattal nem összefüggő, általános funkciók ismételt megírása. Ilyen például a feldolgozandó adatok beolvasása, a teljesítménymérés, a konfiguráció kezelése stb. A problémára megoldást jelent egy keretrendszer használata, amely ezeket a fejlesztő helyett elvégzi.

Meglévő algoritmusok kombinálásával újabb, hatékonyabb adatbányászati eljárások alakíthatók ki. Ennek átlátható kezeléséhez megfelelő absztrakciós szintet kínál az adatfolyam-modell, amelyben a műveletek funkcionális egységekre osztva jelennek meg. A komponenseket összekapcsolva könnyen összeállíthatók újabb feldolgozási módszerek.

Diplomamunkámban egy adatfolyam-alapú, kiterjeszthető keretrendszert tervezek és valósítok meg, mely lehetővé teszi különböző adatfeldolgozási modellek összeállítását, futtatását és összehasonlítását.

A keretrendszerhez, a fejlesztői API megismerése után, egyszerűen írhatók és adhatók hozzá adatfeldolgozó komponensek. Az ismétlődő feladatokat (pl. sorosítás, komponensek összekapcsolása) a keretrendszer végzi, így a fejlesztés során a lényegi feladatra lehet koncentrálni. A fejlesztők számára az alapvető működésen kívül további funkciók is elérhetők. Ezek közé tartozik többek közt a metaadatok kezelése, a validáció és a teljesítménymérés.

A keretrendszer fejlesztésével párhuzamosan sor került néhány, valós helyzetekben is használható fejlesztői komponens implementálására. Ennek fő célja az API lehetőségeinek bemutatása volt, járulékos haszna pedig – a felmerült igények alapján – az API valós elvárásokhoz igazítása.

A keretrendszerhez tartozó grafikus alkalmazással az adatfolyam-modellek intuitívan összeállíthatók. A modelleket számos aspektus szerint konfigurálni lehet, az alkalmazással ezek a felhasználó számára átlátható módon elérhetők.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.