Java Spring alkalmazás fejlesztése Big Data környezetben

OData támogatás
Konzulens:
Dr. Ekler Péter
Automatizálási és Alkalmazott Informatikai Tanszék

Napjaink kulcsfontosságú kérdése szinte minden vállalatnál, hogy hogyan dolgozhatunk fel és kezelhetünk nagy mennyiségű adatot hatékonyan, valamint hogyan tárolhatjuk azokat a célnak megfelelő adatbázisban. Ahhoz, hogy ezt elérjük, szükségünk van számos egyéb komponensre, alkalmazásszerverre, valamint alkalmas technológiák használatára is, hiszen a nyers adatokat fel kell dolgozni, át kell transzformálni, le kell tárolni, majd később elérhetővé kell tenni. Ráadásul az egyes komponenseknek általában teljesen elosztott környezetben kell működniük, ahol az egyes komponensekből több példány üzemel.

Diplomatervemben ismertetek egy rendszert, amely nagy mennyiségű mérési adat feldolgozására és eltárolására képes. Először bemutatom a rendszer teljes architektúráját, majd röviden a komponenseit a hozzájuk kapcsolódó felhasznált technológiákkal. Ezek után részletezem az általam elkészített komponenseket kiemelt kódrészletekkel, magyarázatokkal és ábrákkal, majd ezeknek a komponenseknek a Unit tesztelését is be fogom mutatni.

A dolgozatban kitérek a loggolásra, mint egy a szerver oldali környezetben elengedhetetlen funkcióra. Ebben a fejezetben a keletkezett logok hatékony gyűjtését, elemzését és megjelenítését az ELK stack használatának bemutatásával, telepítésével fogom bemutatni.

Végül részletesen bemutatok néhány a Big Data világában alapvetővé vált technológiát, majd ezek segítségével megmutatok egy hatékony módszert a Big Data feldolgozására és validálására. A dolgozat végén a továbbfejlesztési lehetőségekre is kitérek.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.