Szűk keresztmetszetek vizsgálata elosztott fájlrendszereken

OData támogatás
Konzulens:
Szatmári Zoltán
Méréstechnika és Információs Rendszerek Tanszék

Az adattárolás új kihívásokat állít a rendszer-adminisztrátorok elé a közeljövőben. A tárolt strukturálatlan adatok mennyiségi növekedése meghaladja a lemezméretek növekedését. Napjainkban már nem mindig elég a manapság használt tárolók skálázhatósága, ezért össze kell vonni a különböző adattárakat.

Erre a feladatra az elosztott fájlrendszerek jelentenek megoldást. Ezek olyan szoftverek, amelyek segítségével egy több kiszolgálóból álló fürtből összevont tárat lehet létrehozni, mely kívülről egységes névtérben érhető el.

Az elosztott fájlrendszerek világában nem könnyű eligazodni, hiszen nagyon sok különböző implementáció van, és kevés az átfogó elemzés. Az elosztott fájlrendszerek használói a skálázhatóság érdekében választják ezt a megoldást, ugyanakkor nagyon kevés teszt van egy adott implementációról, emiatt nehéz megítélni, hogy nagyobb méretekben mennyire fog jól skálázódni.

A célom egy rendszer elkészítése volt, ami erőforrás alapú méréseket végez elosztott fájlrendszereken. A mérésekhez különböző erőforráskorlátokat állít be, így az eredményekből meghatározhatók az esetleges szűk keresztmetszetek, illetve az egyes fájlrendszerek hatékonysága bizonyos erőforrásokra nézve.

A tesztrendszerem elkészítéséhez az Ansible fürtmenedzsment szoftvert használtam. A rendszer elosztott fájlrendszerekkel, erőforráskorlátokkal, replikációs beállításokkal és mérési metódusokkal bővíthető, a fájlrendszerekre elvégzi a mérést minden beállítás és erőforrás-korlátozás mellet, az összes rendelkezésre álló módszerrel.

A lefuttatott mérésekben a MooseFS, a GlusterFS és az XtreemFS szerepel egy, kettő és három adatreplika használatával. Szekvenciális írási és olvasási teszteket futtatok egy, illetve párhuzamosan két kliens használatával, a metaadatokkal kapcsolatos teljesítmény mérésére pedig egy sok kisméretű fájl létrehozásával járó tesztet használok. A számítási kapacitást, a háttértárak és a hálózati kapcsolat sebességét is külön-külön korlátozom.

Az korlátozásmentes mérések eredményeiben megfigyelt jelenségeket erőforrásokhoz tudtam kötni. Az XtreemFS írási teljesítménye például elmaradt a másik két fájlrendszerétől, de az erőforrások korlátozásával nyilvánvalóvá vált, hogy a számítási kapacitás, illetve nagy számú replikák esetén a hálózati kapcsolat jelenti a szűk keresztmetszetet.

Az eredmények alapján arra következtettem, hogy az erőforrás alapú tesztelés alkalmas a fájlrendszerek mélyebb elemzésére, illetve a szűk keresztmetszetek felismerésére. Az általam készített szoftver alkalmasnak bizonyult az erőforrás alapú mérések kivitelezésére.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.