Mobil adatgyűjtés Hadoop alapokon

OData támogatás
Konzulens:
Dr. Ekler Péter
Automatizálási és Alkalmazott Informatikai Tanszék

Az utóbbi években a mobil eszközök olyan fejlődésen mentek keresztül, amelynek hatására fontos feladattá vált bizonyos webes rendszerek mobilra optimalizált verziójának elkészítése. Ennek megvalósítása azonban plusz szakértelmet és erőfeszítéseket követel meg a fejlesztőktől. Ezért jogosan merülhet fel az oldalak üzemeltetőiben az igény, hogy ilyen fejlesztések elvégzése előtt meg tudják vizsgálni, hogy valóban szükségük van-e erre az optimalizálásra. Ezért munkám fő célja egy olyan rendszer kidolgozása volt, mely a mobilról böngésző felhasználókról készít elemzéseket.

A feladat megvalósítása során egy olyan rendszer kialakítására törekedtem, amely képes egyszerre nagyon sok ilyen oldal megfigyelését elvégezni, ezért elosztott rendszereket és algoritmusokat használtam. Ennek megvalósítására az Apache Hadoop szoftvercsomagot használtam, mivel az utóbbi időben rendkívül nagy népszerűségre tett szert, és az egyik legelterjedtebb BigData megoldássá nőtte ki magát. Fontos azonban megemlíteni, hogy a fejlesztés során nem volt alkalmam egy éles klaszteren kipróbálni a rendszer működését, ez egyelőre távlati cél marad. Helyette egy úgynevezett pszeudo-elosztott klaszteren dolgoztam, amely tulajdonképpen a Hadoop fejlesztői módja.

A rendszer három fő egységből áll. Első eleme egy JavaScript modul, amely weblapokba beépülve képes az őket mobilról böngésző felhasználók készülékeinek állapotáról információkat gyűjteni. Ez az egység kommunikál azzal a klaszterrel, amely az adatok tárolásáért felelős. A második nagy logikai egység az adatok tárolásáért felelős klaszter volt. A harmadik pedig egy webalkalmazás, amely a gyűjtött adatokból készít és jelenít meg kimutatásokat. Ennek fejlesztése során igyekeztem minél változatosabb megjelenítési módokat használni az egyes kimutatások elkészítéséhez.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.