Erőforrás-vezénylés Big Data alkalmazások alatt

OData támogatás
Konzulens:
Dr. Toka László
Távközlési és Médiainformatikai Tanszék

A digitalizált világ, a mobil és a “dolgok internete” technológiák fejlődésével az utóbbi időben

olyan mértékben megnőtt a összegyűjtött adatok mennyisége, hogy az információ elfogadható idő

alatti feldolgozása a hagyományos adatbázis megoldásokkal sok alkalmazási esetben szinte

lehetetlen. A Big Data fogalma alatt azokat a rendszereket értjük, amelyek képesek az ilyen nagy

mennyiségű, komplex, gyorsan változó adatok feldolgozására.

Az adatfeldolgozó rendszerek, köztük a Big Data rendszerek elemeit általában úgy telepítik, hogy

az alkalmazás egy egész hardverparkot igénybe vesz. A virtualizáció elterjedésével azonban

megjelentek a virtuális gépekbe vagy konténerekbe telepített szolgáltatások: az alkalmazások már

virtualizált infrastruktúrán is futtathatók. Ezek sok esetben továbbra is központosított

infrastruktúrán, pl. adatközpontokban, kerülnek együttes elhelyezésre. A virtualizált számítási

platformot nyújtó technológiák, pl. OpenStack, folyamatos fejlődése azonban lehetővé teszi a

földrajzilag elszórt infrastruktúra nyújtotta előnyök kihasználását Big Data alkalmazásoknak, pl. az

adatok keletkezési helyéhez közeli feldolgozást.

Dolgozatomban ismertetem a Big Data technológiák főbb komponenseit. Bemutatom a jelenleg elterjedt Hadoop ökoszisztémát, majd részletesen kitérek a feladatom által meghatározott rétegre, az erőforrás-vezénylésért felelős megoldásokra. Összehasonlítok különböző erőforrás-vezénylő algoritmusokat, majd a jövőben használatos földrajzilag elosztott topológián felmerülő hálózati problémákra világítok rá, melyekre saját megoldásokat készítek. Ezeket a megoldásokat meglévő erőforrás-vezénylőkben implementálom és tesztelem a működésük helyességét. Végezetül ismertetem az eredményeimet.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.