BitTorrent adatgyűjtő Big Data támogatással

OData támogatás
Konzulens:
Simon Gábor
Automatizálási és Alkalmazott Informatikai Tanszék

Napjainkban a BitTorrent protokollra épülő fájlcserélő programok hatalmas jelentőséggel bírnak, több millió ember használja őket nap mint nap és az emberiség napi internet adatforgalmának egyik legmeghatározóbb szereplője lett az utóbbi évtizedben. Tervezésem célja egy önálló alkalmazást létrehozni, amely begyűjti a megfelelő forrásból a BitTorrent alkalmazásokra jellemző adatokat, majd eltárolja őket egy olyan struktúrában, melyből később hatékonyan felhasználhatóak. Esetemben a torrentek életciklusaira, az egyes felhasználók viselkedésére fókuszálok, ezért a releváns adatok számomra feltöltők és letöltők száma lesz. Adatgyűjtés közben rohamosan nő az adatok mennyisége (Big Data), ezért a tárolás egy erre a célra tervezett technológiával valósul meg, a Hadoop keretrendszerrel, mivel tervezéséből kifolyólag képes megbirkózni terabájtos, petabájtos adatmennyiségekkel is és rengeteg elégedett felhasználója van, többek között a Facebook, Yahoo!, Twitter, Microsoft, Apple, eBay.

Szakdolgozatom felépítése két fő részből áll. Az elsőben felvezetem a technológiákat, amelyeket felhasználok és építek rájuk, főképp azokra a részekre koncentrálva, amelyeket nagyban érintek. A második részben a saját készítésű alkalmazást mutatom be részletesen: a felépítését, működését, hogyan használja ki az első részben ismertetett technológiákat. A kidolgozott rendszerben a két fő funkció, az adatgyűjtés és az adattárolás, összehangoltan működik együtt, az alkalmazás elindítása után egész a leállításig emberi interakciót nem igényel. További érdekesség, hogy a két funkciót külön gépen valósítottam meg, az adatgyűjtés Windows környezetben, az adattárolás Linux operációs rendszer felett megy végbe. A szakdolgozatban szereplő alkalmazás egyetlen gazdagépen gyűjti az adatokat és a rajta futó virtuális gépen valósítja meg az adattárolást. Az adatforrás Magyarország egyik legnépszerűbb torrent weboldala, az alkalmazás ennek feldolgozására van specializálva.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.