BigData eszközök integrációja Java Spring környezetbe

OData támogatás
Konzulens:
Dr. Ekler Péter
Automatizálási és Alkalmazott Informatikai Tanszék

Napjaink egyik legdivatosabb informatikai kifejezése a Big Data. Nem véletlenül, ugyanis az internet térhódításával, az elmúlt évtizedben termelt adatmennyiségek robbanásszerű növekedést mutattak, és ez a tendencia nem áll meg. A közösségi médiák, és videómegosztó oldalak soha nem látott mértékű adatáramlást indítottak el. Azonban hardverpiac és a szenzorok fejlődése sem állt meg, így az egyre több „okos” készülék által végzett mérések is hozzájárulnak az adatok nagy számú termeléséhez. Azonban, a féktelen adatmennyiség létrejötte, nagy mértékű fejlődésre és változásra késztette az adatbázisrendszerek világát.

Az ekkora mennyiségű és struktúrájú adatok tárolása és feldolgozása koránt sem triviális, ugyanis az elmúlt évtizedekben szinte standarddá vált, úgynevezett relációs adatbázisrendszerek, ezen adatok menedzselésére alkalmatlanná váltak. Így, az úgynevezett Big Data rendszerek igénybevételére van szükségünk. A Big Data rendszerek hatékony megoldást nyújtanak a nagy mennyiségű adatok tárolásához és feldolgozásához, illetve azok elemzéséhez. Ezen rendszerek könnyen integrálhatók a legnépszerűbb alkalmazás fejlesztési platformokon, többek között a Java platformon.

Ennek a dolgozatnak a célja, bemutatni néhány Big Data rendszer használatát Java környezetben. Feladatom egy Java környezetben írt szerveroldali alkalmazásrendszer fejlesztése a Spring keretrendszer segítségével, mely elektromágneses térerősség mérések által termelt, nagy mennyiségű adatok tárolására, feldolgozására, és REST API-n keresztül való kiszolgáltatására alkalmas, az Apache által készített, HBase névre keresztelt big data adatbázis, Spark adatfeldolgozó keretrendszer, és NiFi adatlogisztikai rendszer felhasználásával.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.