Hiperparaméterek meghatározása szupport vektor gépeknél

OData támogatás
Konzulens:
Dr. Horváth Gábor
Méréstechnika és Információs Rendszerek Tanszék

A szupport vektor gépek (SVM) egy ellenőrzött tanulási algoritmus, amely alkalmas lineáris és nemlineáris osztályozási, és regressziós feladatok megoldására.

Az SVM-et Vladimir Vapnik és Corrina Cortes fejlesztette ki, amely a Vapnik és Chervonenkis statisztikus tanulás elméletén alapul.

Jelentőségét többek között annak köszönheti, hogy ritka megoldást ad, vagyis a tanítás során használt mintapontok közül csak néhányat használ a válasz meghatározásához, ezeket szupport vektoroknak nevezünk.

További előnye, hogy maximális margójú megoldást ad, vagyis az osztályokat elválasztó hipersík a lehető legnagyobb távolságra található, a hozzá legközelebb eső pontoktól.

Az SVM hatékonysága több olyan paraméter értékétől függ, - melyek közvetlen módon nem határozhatók meg, -ezeket szokás hiperparamétereknek is nevezni.

A problémát tovább nehezíti, hogy a paraméterek értékei nem függetlenek egymástól, ezért a lehetséges paraméterek terében kell egy optimális, vagy ahhoz közeli paraméterkombinációt találni.

A rács keresés során a paraméter teret kívánjuk feltérképezni olyan módon, hogy a paraméterek vizsgált intervallumában valamilyen diszkrét értékek mellett képezzük a lehetséges paraméterkombinációkat, és adott problémára meghatározzuk az SVM tapasztalati hibáját.

A rács keresés során meghatározható a minimális hibát eredményező optimális paraméterkombináció is, de ez a fajta vizsgálat a gyakorlati problémák során gyakran nem lehetséges, mivel a keresési tér túl nagy.

A paraméterek meghatározásának egy másik lehetséges módszere a gradiens alapú paraméterkeresés.

Ezek a módszerek a becsült általánosítási hiba, vagy a hiba mértékének a hiperparaméterek szerinti gradiens meghatározásán alapulnak.

Ezt a gradienst felhasználva a paraméterek optimalizálhatók.

Habár számos eredmény született ebben a témában, az ilyen optimalizációk függenek az alkalmazott kiértékelő eljárás minőségétől, de a lokális minimumok is komoly gondot jelenthetnek az alkalmazás során.

A további módszerek közül fontosnak tekinthetők azok, melyek a tapasztalati hiba felső korlátait alkalmazó eljárásokat használják. Itt a gyakorlatban alkalmazott sugár--margó korlát alkalmazhatóságát vizsgálom, amely szintén alkalmas, ill. eredményes lehet gradiens alapú eljárások használatában.

Az SVM paramétereinek meghatározása sokrétű és nagyon komplex feladat, a jelen szakdolgozat csak bepillantást enged ebbe a terjedelmes irodalommal bíró témakörbe.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.