Valósidejű adatfolyamfeldolgozó rendszerek teljesítményelemzése

OData támogatás
Konzulens:
Dr. Ekler Péter
Automatizálási és Alkalmazott Informatikai Tanszék

A dolgozatomban szeretném megismertetni az olvasót a valósidejű adatfolyamfeldolgozás alapjaival; néhány ismertebb rendszert segítségül hívva.

Bemutatok két nyílt forráskódú megoldást: az Apache Storm és az Apache Samza architektúráját, a rendszerek működését és konfigurálási lehetőségeit, illetve a szolgáltatásaik közti hasonlóságokra és különbségekre is kitérek.

Megtervezek és leimplementálok egy általános mérőszoftvert adatfolyamfeldolgozók tesztelésére. Majd az így elkészült szoftverrel letesztelem az előbbiekben bemutatott két rendszert, és a tesztelésbe bevonok egy harmadik, kereskedelmi szoftvert is, az IBM InfoSphere Streams megoldását. A kapott eredményeket vizualizálom és kielemzem a rendszerek nyújtotta teljesítmények alapján.

Végül a Storm és a Samza párhuzamosított feldolgozóinak tesztelésére készítek egy belső mérőszoftvert is, amellyel lemérhetjük, hogy a két rendszer sávszélessége meddig és milyen ütemben skálázódik. Ezen mérések eredményét is vizualizálom és kiértékelem hasonló szempontok szerint.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.