Felhasználói viselkedés elemzés Elasticsearch segítségével

OData támogatás
Konzulens:
Dr. Dudás Ákos
Automatizálási és Alkalmazott Informatikai Tanszék

Az informatikai rendszerek növekedése és a felhasználók számának bővülése miatt, napjainkban a nagy mennyiségű adatok kezelésére és elemzésére egyre nagyobb figyelmet fordítanak a cégek. Egy rendszer tovább fejlesztésénél nem elég csak a megrendelői igényekre támaszkodni, a felhasználók igényeit és viselkedési mintáit is ismerni kell ahhoz, hogy a legeredményesebb változtatást eszközöljük. A nagy mennyiségű adatok elosztott tárolására és hatékony elemzésére jó megoldást nyújthat az Elasticsearch kereső motor.

A dolgozatban egy digitális tanítási-tanulási portálban (ProBono-ban) rögzített felhasználói interakciók tárolását és elemzését valósítom meg Elasticsearch és Spark segítségével.

Az 1. fejezetben bemutatom dolgozat célját és az elkészítendő rendszer követelményeit, mely alapján a következő szakaszban megvizsgálom a megvalósítás lehetőségeit. Több log menedzsment eszköz közül az Elasticsearch, Logstash, Kibana (továbbiakban ELK) rendszer halmazt választom. Ezek mellett gépi tanulási folyamatokhoz valamint az ajánló rendszer megvalósításához a Spark eszköz használatát tűzöm ki célnak. A 3 fejezetben ismertetem az Elastic stack-hez tartozó eszközöket és azok fontosabb funkcióit és használatát. A dolgozat közepén egy sor tervezési és rendszer konfigurációs folyamaton haladok végig. Ezalatt a teljes ELK rendszert felépítem, hogy a különböző rendszerekből érkező naplófájlokat feldolgozzam, és releváns kimutatásokat készítsek belőlük. A 4. fejezet végén egy bonyolultabb pipelineon keresztül mutatom be, hogy lehet durva becslést tenni a felhasználók rendszerben töltött idejére, kizárólag az audit naplók alapján. Az 5. fejezetben az ajánló rendszer elkészítésének előkészületeként bemutatom a jelenleg használt ajánló rendszerek alapjait és főbb típusait. A dolgozat utolsó nagyobb fejezetében az Elasticsearch és Spark segítségével létrehozok egy, a ProBono rendszerben használható program ajánló rendszert.

A munka végén kiértékelem az Elasticsearch használatának tapasztalatait és további fejlesztendő területeket határozok meg, amik pozitív hatással lehetnek a munkafolyamatokra és az eszköz használatát tehetik biztonságosabbá.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.