Nagy méretű log fájlok hatékony feldolgozása OpenCL keretrendszerrel

OData támogatás
Konzulens:
Fekete Tamás
Automatizálási és Alkalmazott Informatikai Tanszék

A mai világban elengedhetetlen, hogy műveleteinknek minél rövidebb idő alatt legyen eredménye. Akár egy chat üzenet, akár egy banki tranzakció elküldése után már akár egy másodperc válaszidőnél is türelmetlenkedünk. A hibák keresésénél még alacsonyabb a tűréshatárunk, viszont egy rendezetlen fájlban nem lehet lineáris keresésnél gyorsabbat alkalmazni. A Windows operációs rendszer által készített logfájlok csak időrendi sorrendbe vannak rendezve, ez alapján a probléma okára nem tudunk hatékony keresést alkalmazni.

Azonban, ha nem csak egy szálon futtatjuk a keresést, ez az idő a töredékére csökken. A mai processzorok 4-8 maggal működnek, már ennyivel is jól látható teljesítménynövekedést érhetünk el. Viszont van az otthoni számítógépekben egy olyan eszköz, amin akár több millió szál is indítható, ez a videókártya. Annak érdekében, hogy ezeket a szálakat ki tudjuk használni, az OpenCL keretrendszert hívhatjuk segítségül, melynek segítségével képalkotás helyett mintakereső adatbányász algoritmusokat futtathatunk a grafikus vezérlőkártyánkon. A dolgozatban látható, hogy sokszoros gyorsulást lehet elérni a párhuzamosítással, és egy több mint kétszázezer soros logfájlt is pár másodperc alatt fel lehet dolgozni.

A párhuzamos feldolgozás tehát nagyban meg tudja gyorsítani programjaink működését. A folyamatosan növekedő adatmennyiség miatt egyre gyakrabban alkalmazott a párhuzamos programozás, hamarosan pedig elengedhetetlen lesz.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.