Adaptív Streaming analitika hibrid Big Data környezetben

OData támogatás
Konzulens:
Dr. Toka László
Távközlési és Médiainformatikai Tanszék

Egyes esetekben egy Big Data környezetet megvalósító felhasználó nem teheti meg, hogy teljesen a felhőbe költözzön. Ez akár adatvédelmi okokból, akár erőforráshiányból fakad, mindig egy helyi klasztert eredményez. Ha a klaszter mérete a mindennapos terhelésre van méretezve, nagy erőforrásigényű problémák megoldása nem lesz hatékony a klaszteren, vagy az eredeti munka fog a háttérbe szorulni. Ezekben az esetekben a legcélszerűbb kiszervezni a ritkán futó nagy teljesítményű munkákat a felhőbe. Ha ez a kiszervezés automatikusan történik meg, egy stabil alapokon álló architektúrával, akkor rengeteg pénzt és időt tudunk megtakarítani. Ennek a problémának nagyszerű példája lehet egy adaptív streaming analitika, amely modelljének az újra számolása sok erőforrást igényel. Mivel nincs ilyen megoldás jelenleg a piacon, ezért lett ez a szakdolgozatom témája.

Ehhez először meg kellett ismerkednem a hasonló megoldásokkal. Ezután elkezdtem tervezni az architektúrát, részekre bontva azt. A részekre bontás után világosan látszódott, hogy milyen feladatokat kell elvégeznem, így ezekhez a feladatokhoz kerestem megfelelő szoftvereket. A szoftverek felkutatása után megvizsgáltam azokat, hogy melyik tudja legjobban ellátni a feladatot amellett, hogy a többi szoftverrel együtt tudjon működni.

Miután összeállítottam az architektúra tervét és kiválasztottam a szoftvereket, felépítettem a helyi klasztert, illetve egy referenciaklasztert a felhőből, majd szkriptelés segítségével összekötöttem ezeket. Ezután feltelepítettem a komponenseket és bekonfiguráltam azokat.

A feladat elvégzéséhez keresnem kellett egy olyan munkát, amelyen be tudom mutatni a probléma sajátosságait. Keresésem során rábukkantam a meetup.com streamjére, amellyel jól lehet szemléltetni a probléma megoldását működés közben. Ehhez olyan szoftvereket írtam, amik végül összeálltak egy munkafolyamattá.

A munkával így le tudtam tesztelni az architektúrát, és le tudtam vonni a következtetéseket. A sikeres teszt után összehasonlítottam teljesítmény és költség szempontjából hagyományos, elterjedt architektúrákkal. Az összehasonlítások után arra a következtetésre jutottam, hogy az általam tervezett architektúra mind költséghatékonyság mind teljesítmény szempontjából felülmúlja a hagyományos társait.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.