Publikusan elérhető domain név adatbázis építése automatikusan működő gyűjtőszoftverrel

OData támogatás
Konzulens:
Dr. Heszberger Zalán Tamás
Távközlési és Médiainformatikai Tanszék

Jelen dokumentum egy automatikusan működő, domain név adatbázis létrehozására szolgáló szoftver létrehozását tartalmazza. A mai világban a tartománynevek kiemelt fontosságúak, ennek megfelelően nagy mennyiségű információ érhető el róluk az internet számos forrásából. Ezeknek az információknak a beszerzése azonban körülményes. A tartománynév rendszer fontossága miatt számos kutatáshoz lenne hasznos az ilyen információk könnyű, strukturált formában történő elérhetősége.

A szakdolgozat keretében létrehozott rendszer az említett információk automatikus strukturált formában történő letöltését végzi. Mivel a különböző információt elérhetővé tevő szervezetek általában korlátozzák az egy címről érkező kérések számát, a megoldásom a letöltést elosztott módon valósítja meg. Az adatbázist leszámítva három fő egységből épül fel, melyek közül a legfontosabb a nyilvántartó nevet viseli. Ez felel a különböző egységek közötti információcseréért, ennek megfelelően az egyetlen futó példányának a címét az összes többi egységnek ismernie kell. Az adatok begyűjtését és adatbázisba töltését végzi a letöltő egység. Ez az egyetlen alkotóelem melyből egy rendszerben több is futhat párhuzamosan. Pontosabban a rendszer ilyen módon történő kialakításának a lényege a minél nagyobb számú párhuzamos futását célozza meg. Az egység különböző szolgáltatókon való futtatása érdekében képes Docker konténerként futni. A rendszer agya a köznponti egység, mely a nyilvántartón keresztül beállítja és feladatokkal látja el az egyes letöltő egységeket. Továbbá fontos feladata még a sikertelen feladatok feljegyzése és az első adandó alkalommal való újra kiosztásuk.

Az elkészített rendszer tesztelését többek között a futtatásával végeztem, melyhez az idő múlásával egyre több letöltő egységet adtam.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.