GPU alapú adatbányászati algoritmusok megvalósítása és integrálása a RapidMiner szoftverbe

OData támogatás
Konzulens:
Prekopcsák Zoltán
Távközlési és Médiainformatikai Tanszék

Az elmúlt években jelentős számú cikk jelent meg olyan grafikuskártya programokról, melyek CPU-s megfelelőjükhöz képest, akár több nagyságrendű gyorsulást is fel tudtak mutatni.

Ezen cikkek olvasása közben három fontos kérdés merül fel a téma iránt érdeklődő olvasóban:

-A jelentős gyorsulások ellenére ténylegesen mennyire optimálisak ezek a szoftverek?

-A gyorsulások mennyire nevezhetők robusztusnak, fenntarthatónak, ha a bemenet mérete nagyságrendekkel nő?

-A jelenlegi fejlesztői eszközökkel lehetőség van-e ezek beépítésére komoly ipari szoftverekbe úgy, hogy CPU-hoz viszonyított gyorsaságukból még akkor se veszítsenek, ha a feldolgozandó adatmennyiséget több nagyságrenddel növeljük?

Dolgozatom ezekre kérdésekre próbál minél részletesebb és pontosabb választ adni. Ehhez kiválasztottam a k legközelebbi szomszéd algoritmust, amihez már számos GPGPU implementáció készült, illetve napjaink egyik legnépszerűbb adatbányászati eszközét a RapidMiner-t, hogy ezeken keresztül vizsgáljam meg egy GPU plugin fejlesztésének lehetőségeit, ill. limitációit.

Munkám során célom volt olyan megoldások kidolgozása, melyekkel kiküszöbölhetem azon hiányosságokat és korlátokat, amikkel a feljebb említett cikkek írói nem foglalkoztak, pedig ezen korlátok miatt a szoftvereik széleskörű ipari alkalmazásra korlátozottan vagy teljesen alkalmatlanná válnak.

A munkám eredménye egy olyan plugin, ami sebességben felveszi a versenyt a jelenlegi leggyorsabb megoldásokkal, azonban robusztusságban jelentősen túlmutat azokon, akár gigabájtos nagyságrendű fájlok feldolgozására is alkalmas.

Új lehetőségeket ad az adatbányászoknak, akik mindezt könnyedén, a RapidMiner grafikus felületén keresztül érhetik el, és GPU specifikus tudás nélkül használhatják ezt a CPU implementációhoz hasonló módon.

Fejlesztéshez az Nvidia Cuda nyelvet és annak Java illesztését, a JCuda-t használtam.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.