Számításigényes műveletek Greenplum környezetben

OData támogatás
Konzulens:
Dr. Csorba Kristóf
Automatizálási és Alkalmazott Informatikai Tanszék

A pénzügyi szektor hatalmas mennyiségű adattal dolgozik nap mint nap. A rajtuk végzett nagy számitási igényű műveletek hatékonysága nagyon fontos, a gyorsaság, a rendelkezésre állás, vagy akármelyik más tényező hatása pénzben mérhető.

A diplomaterv témámat a Morgan Stanley szolgáltatta. Egy projektről szól, amelyben én is részt vettem. A projekt során egy régi batchelt kockázatszámoló rendszer egy részét cseréltük le egy GUI-t is kiszolgálni képes, on-demand műveleteket végző web service-re.

A régi informatikai rendszerek cseréjére több okból is szükség lehet. A követelmények folyamatosan változnak, az említett teljesítménybeli kérdések mellett bankok esetében fontos tényező a jogi környezet és a különböző szabályozások, amelyeknek eleget kell tenni, illetve külső szoftverekhez képest késleltetve ugyan, de egyre nagyobb szerepet kap a belső szoftverek felhasználói élménye is. Az új rendszer azért készült, mert az idő során folyamatosan nőtt a feldolgozandó adatmennyiség, mellyel már nehezen birkózott meg a régi, de még ennél is fontosabb, hogy túlságosan rugalmatlan volt. Apró változtatáshoz is több hosszú folyamatnak is teljesen le kellett futnia újra.

Többféle új technológia is szóba jött, de a választás végül a Greenplum elosztott adatbázisra esett, amely egyszerre oldotta meg a felvetülő tároló és számítási kapacitási problémákat is, előbbi a költséghatékonyság, utóbbi pedig a rugalmasság és az adatok minél gyorsabb elemezhetősége miatt fontos. A kockázatelemzés rugalmassága elengedhetetlen a jelenlegi szigorodó felügyeleti politika mellett, illetve nagyon fontos az alacsony kockázati szint és az elérhető maximális profit közötti arany középút meghatározásához. A Greenplum az elosztottság miatt nagyon jól skálázódik, ezért a jövőbeli problémákra, és a tovább növekvő adatmennyiségre és az azokon futtatandó elemzések számának drasztikus növekedésére is megoldást ad. Nagyvállalati környezetben nem szabad megfeledkezni az integrációról sem, fontos az együttműködés a meglévő infrastruktúrával, a régi rendszerekkel. Idővel ugyan, de ezt is sikerült elérni a Greenplum esetében.

A dolgozatom során a cél a Greenplum adatbázis, az üzleti háttér, és a legfontosabb követelmények bemutatása, illetve a rendszer egyes komponenseinek ismertetése, különös tekintettel az általam írt részekre. Figyelmet fordítok a tervezési szakaszra, mely legfőképpen az adatbázissémáról és a rendszer felsőszintű architektúrájáról szól, bemutatom a különböző kockázati statisztikák számolását és a különböző implementációjukat, leírom a tesztelés menetét fejlesztői szemszögből, majd végül megemlítem a továbbfejlesztési lehetőségeket is.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.