CDH komponensek felhasználási mintázatainak vizsgálata

OData támogatás
Konzulens:
Dr. Wiandt Bernát
Hálózati Rendszerek és Szolgáltatások Tanszék

A Facebook, a WhatsApp, a Google Térkép és a Netflix a közkedvelt, napi szinten használt szolgáltatásai a korunknak, a 2010-es éveknek. Hogy 7/24 elérhetők legyünk és megoszthassuk örömteli pillanatainkat, számos cég kínálata közül választhatunk applikációt. Ennek előnyeként egy soha nem látott méretű közösség épül, ám ehhez nagyméretű infrastruktúra szükséges, amit még korábban senki sem valósított meg. Ez a Big Data.

Hétköznapjainkban el vagyunk árasztva információval, mint az üzenetek, a GIF-ek, vagy a videók. A közösségi média 2010 óta folyamatosan növekszik és az infrastruktúra, ami ezt lehetővé teszi a Big Data. Az utóbbi 20 évben a Big Data fejlesztésén sok ember azért dolgozott, hogy a világ ismeretei elérhetők legyenek minden ember számára.

A Cloudera az egyik legnagyobb a B2B piacra Big Data megoldásokat szállító cégek közül. A terméküket, a CDH-et, teljes szolgáltatásként kínálják a cégeknek. Fejlesztenek, eladnak és szoftver támogatást nyújtanak a vevőiknek. A CDH a nyílt forráskódú Apache projektek Cloudera kiterjesztése, sok régi és új komponenssel.

A különböző ügyfeleknek másféle elvárásaik vannak, az informatikai igényeikből adódóan. Valakinek stabil működés az elsődleges, mások az információ változatosságának megfelelő kezelését vagy a feldolgozás gyorsaságát tartják szem előtt. Ezért a CDH mindig speciálisan az ügyfélre szabottan kerül eladásra. A Cloudera arra törekszik, hogy a prominens komponenseit összerakva, magas minőséget szolgáltasson minden üzletkötés alkalmával. A komponensek közül van, amit gyakrabban értékesítenek, ezekből nagy haszna van a cégnek és van, amiket ritkábban. Ezeknél érdemes megfontolni a komponens támogatásának visszavonását, a profit optimalizálása céljából. Ahhoz, hogy biztosak legyünk a komponensek kihasználtságáról, meg kell győződnünk a reputációjukról.

A Cloudera-val való együttműködés során, egy népszerűség vizsgálatot készítettem, mely megmutatja a populáris és a csökkenő a népszerűségű komponenseket egy időszak alatt. A projekt elkészítéséhez adatelemző Python szkriptekkel tanulmányoztam 5 komponens életútját. Ehhez az információkat különböző adat forrásokból gyűjtöttem össze. A tudásomat a Big Data elméletéről Tom White: „Hadoop: The Definitive Guide” c. könyvével mélyítettem.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.