Repülőgépek vizuális detekciója

OData támogatás
Konzulens:
Dr. Pilászy György
Irányítástechnika és Informatika Tanszék

Napjainkban egyre jobban megfigyelhető az a tendencia, ami az eddig emberi beavatkozást igénylő folyamatok automatizálására irányul. Sok területen lehet előnyös az emberi „munkaerő” autonóm eszközökkel történő helyettesítésének, legyen szó akár veszélyes környezetben való munkavégzésről, akár csak a mindennapi terhek és feladatok egy részének átruházásáról. Az emberi intelligencia és találékonyság helyettesítése azonban még napjainkban sem egyszerű feladat a fejlesztőmérnökök számára. A rengeteg, önmagában is komplex megoldandó részfeladat miatt a kutatások középpontjában egyelőre a különböző célrendszerek megvalósítása áll, melyek egy jól definiált feladat elvégzésére képesek. Az általános célú, komplex feladatok autonóm megoldására képes eszközök megjelenésére még várnunk kell.

Egy ilyen robotikai részterület napjainkban a gépi látás. A témakör meglehetősen nagy irodalommal rendelkezik, melyekben sok problémára (pl.: mintázatkeresés, objektumkövetés, objektum-felismerés) találhatunk algoritmikus megoldásokat. Azonban ezek a megoldások sem mindig általános érvényűek, ezen felül beágyazott rendszerek esetén gyakran a rendelkezésre álló erőforrások – memória, számítási kapacitás – jelentik a legnagyobb korlátot, ezért a fejlesztőmérnökök feladata, hogy az algoritmusokat optimalizálják a célrendszer szempontjából.

Ilyen célrendszerre jó példa lehet a jelen dolgozat témájául szolgáló, az MTA-SZTAKI által fejlesztett UAV képfeldolgozó rendszere is. A későbbiekben ismertetett ötkamerás rendszer elsődleges feladata az optikai szenzorokkal támogatott ütközéselkerülés megvalósítása. Jómagam a teljes rendszer csak egy bizonyos részének fejlesztésébe kapcsolódtam bele. Elvégzett feladataim alapvetően két különálló részre oszthatók, egy hardverközeli témakör (kamerák tesztelése, azok illesztése a célhardverhez, az adatgyűjtés és bizonyos előfeldolgozási metódusok megvalósítása), és egy magasabb-szintű képfeldolgozó algoritmus formájában.

Ennek megfelelően dolgozatom felépítését tekintve két fő részből áll. Az első részben ismertetem az általunk használt Mobisense Systems MT9V034C/M típusú CMOS kamera tulajdonságait, kitérek a kamerák – a szintén a Mobisense Systems által gyártott – MBS270 V2 adatgyűjtő kártyához történő illesztésének, illetve magának az adatgyűjtésnek a megvalósítására. Ezután az Expartan-6T típusú FPGA alapú kártya bemutatása következik, melyhez szintén elvégeztem a kamerák illesztését. Ehhez hozzátartozik Expartan-6T kártya és a kamerák közötti I2C kommunikáció megvalósítása, beleértve egy teljes Microblaze mag, az I2C modul és néhány GPIO periféria-meghajtó modul FPGA-n történő realizálását, azok funkcionalitásának kipróbálását. Míg az MBS270-es kártya csak egy kamera tesztelését, annak funkcióinak (HDR , szenzor regiszterek írása/olvasása) ellenőrzését szolgálta, addig az FPGA kártya a később ismertetésre kerülő teljes, ötkamerás rendszer kiszolgálásáért felelős. Utóbbinál az adatgyűjtés megvalósítása már nem tartozott a feladataim közé, azt az MTA-SZTAKI munkatársai végezték el. Ehhez a témakörhöz kapcsolódik továbbá egy egyszerű, az alkalmazás követelményeinek megfelelő integrálási-idő beállító algoritmus kifejlesztése, tesztelése is.

Dolgozatom második részében a UAV látórendszerének magasabb szintű komponenseinek leírása következik, ami magában foglal egy égháttér előtti objektumok detektálását szolgáló adaptív küszöbözési eljárást, és egy mozgás-alapú szegmentációs módszert a földháttér előtti objektumok észlelésére. Végezetül egy képstabilizációs eljárást is ismertetek, ami az utóbbi algoritmus hatékonyságát növeli.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.