Nagyméretű adatok feldolgozása független adatforrásokkal

OData támogatás
Konzulens:
Dr. Szatmári Zoltán
Méréstechnika és Információs Rendszerek Tanszék

Az adatigényes alkalmazások terjedésével az adattároló és feldolgozó módszerek is hatalmas fejlődést mutatnak. A felmerülő adatmennyiség kezelése a hagyományos módszerekkel már nem lehetséges, hiszen ezen módszerek sem átbocsájtó képességben, sem pedig tárolási és visszakeresési teljesítményben nem elegendőek a jelenkori alkalmazások igényinek kielégítésére. A tématerületel kapcsolatos feladatok (pl. adattovábbítás, adataggregáció, adattranszformáció, adattárolás, adatlekérdezés) ellátására számos új, korszerű megközelítéssel rendelkező alkalmazás érhető el, amelyek különböző szempontok szerint alkalmasak optimális szolgáltatást nyújtani. Hasonló célra több különböző megoldás adódik, de mind eltérő típusú adatstruktúrákon, eltérő frekvenciájú vagy éppen eltérő kifejezőerejű lekérdezések során biztosít optimális megoldást egy felmerülő problémára.

A tématerület tipikus kihívása a beérkező nagy mennyiségű adat offline feldolgozása és egy kivonatának, aggregátumának gyors kereshetővé tétele online alkalmazások számára.

A dolgozat célja egy ilyen, elosztott, vegyes adatforrásokból érkező adatfolyam hatékony feldolgozására és kereshetővé tételére szolgáló keretrendszer kidolgozása. Ez a feladat magában rejt adatfeldolgozási igényeket, melyek az adatmennyiség és a korlátos erőforrások (memória, processzor) mellett nem triviálisak, majd a feldolgozás után kinyert, még mindig jelentős méretű, akár strukturálatlan adat visszakeresésének támogatását.

A megoldás során a problémák összegzését követően, egy-egy technológia jellemzése következik a kivitelezés előnyeivel és hátrányaival. Ezt mérésekkel kell alátámasztani. Fontos, hogy a mérések egyenlő feltételekkel induljanak, a pontos összehasonlítás érdekében. A mérési eredmények ismeretében egy konkrét adatforrás mellett javaslatot teszek egy célszerű architektúrára, figyelembe véve a technológia felső korlátait

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.