Dinamikus utemezes elosztott rendszerekben

OData támogatás
Konzulens:
Gáspár Csaba
Távközlési és Médiainformatikai Tanszék

A vállalatok életében a rendelkezésre álló adatok feldolgozása és az ebből nyert tudás felhasználása egyre nagyobb hangsúlyt kap. A technika fejlődése lehetővé teszi az adatok olcsó tárolását, ennek köszönhetően régebben irrelevánsnak hitt adatokat is elmentenek és felhasználnak. Ráadásul a korábbi pár hónapos időtartam helyett akár több évnyi adatot is képesek tárolni. Azonban ekkora mennyiségű adat elemzését nem lehet a hagyományos relációs adatbázisokkal és a rájuk írt lekérdezésekkel hatékonyan elvégezni, ezért ezeket felváltották az elosztott rendszereken futó adattranszformációs keretrendszereken írt alkalmazások és az elosztott adatbázisok.

Fontos, hogy ezek a folyamatok automatizálva fussanak, ezért az alkalmazások indításáért felelős alrendszerekre is szükség van. Mivel közös erőforráskészlettel rendelkeznek, nem mindegy, hogy adott időben egyszerre mennyi képes futni és milyen hatékonyan tudják a meglévő erőforrásokat kihasználni.

A szakdolgozat készítése során egy Big Data technológiai stackre épülő elosztott rendszer ütemezőjének azon logikáját valósítottam meg, ami azért felelős, hogy a rendelkezésére álló információk alapján optimális erőforráshasználatot tegyen lehetővé az ütemezés során.

A logika működésének tesztelésére létrehoztam egy szimulációs folyamatot, ami az alkalmazások eddigi futásairól gyűjtött adatokat hivatott előállítani. Az ütemező logikát ezen adatokkal teszteltem, és a tanuló algoritmus paramétereit ennek használatával állítottam be. Végül a behangolt tanuló algoritmust használva a rendszer hatékonyságát vizsgáltam meg, és összehasonlítottam a működés hatékonyságát egy primitív logikával és a tökéletes becslésekkel. A mérések alapján a javasolt megoldásom a primitív módszerhez képest átlagosan 51%-kal kevesebb erőforrást igényel.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.