Nagyméretű adatok elosztott feldolgozása

OData támogatás
Konzulens:
Dr. Szeberényi Imre
Irányítástechnika és Informatika Tanszék

Manapság a számítási felhő hatalmas népszerűségre tesz szert, talán pont a komplexitása, misztériuma miatt. Hiszen sokan beszélnek róla, de kevesen tudják, hogy mire is jó a való életben. Aki belekóstolhat ebbe a világba és megláthatja a benne felmerülő mérnöki problémákat, valamint a megoldások tárházát, az egy érdekes, izgalmakkal jól ellátott kalandparkot fog találni. Kalandparkot mérnököknek.

Ezen a játszótéren a feladatunk egy megbízható és folyamatosan működő szolgáltatás megalkotása. Eközben a felhasználóink hada gigászi mennyiségű adattal bombáz minket, amit a rendszerünknek gyorsan és megbízhatóan kell kezelnie. Az életünk részévé váltak olyan alkalmazások, mint például a Twitter vagy a Facebook, de hajlamosak vagyunk megfeledkezni arról, hogy ezek mögött mekkora mérnöki alkotások találhatóak.

Ez a diplomamunka a következőekben bevezetést nyújt a cloud computing alapjaiba. Valós életbeli példákkal tarkítva bemutat gyakori tippeket a gyakran felmerülő kérésekre. A felhő alapú számítások közül, annak egyik fontos szeletébe, a nagy adatok kezelésébe is betekintést nyújt. Miképp kezeljünk és elemezzünk több terra bájt adatot gyorsan, elosztott rendszereken MapReduce technológiák segítségével.

Még nincs 10 éve, hogy a Google mérnökei tudományos cikkeket publikáltak a MapReduce technológiákról. Azóta nagyon sok minden történt. Az Apache felügyelete alatt létre jött az Apache Hadoop nyílt forráskódú projekt. Ez mára már szerte az iparban használatos, a ’Big-Data’ rendszerek alapját képezi. Erre épülő keretrendszerek tömkelege segíti a fejlesztők életét a különböző adat analizálások elvégzésében tudományos értekezések tanulmányozása nélkül.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.