Prozódia automatikus kiértékelése - nemlineáris idő vetemítési eljárás kidolgozása

OData támogatás
Konzulens:
Dr. Vicsi Klára
Távközlési és Médiainformatikai Tanszék

Dolgozatom általános célja, hogy különböző bemondások prozódiai tulajdonságainak számítástechnikai összehasonlítását lehetővé tegyem. A prozódiai jellemzőket korrekt módon vizuálisan ábrázoljam, audiovizuális beszéd kiejtést oktatató programok támogatása érdekében. Ez a feladatot lehetőleg minél inkább nyelvfüggetlen módon oldjam meg.

Azonos tartalmú két különböző bemondás prozódiai jellemzőinek egymáshoz képest korrekt módú vizuális megjelenítéséhez az szükséges, hogy a különböző hosszúságú és időszerkezetű mondatok időben nemlineáris módon egymáshoz legyenek vetemítve. Ezt úgy valósítottam meg, hogy a BME TIMIT Beszédakusztikai Laboratóriumában kifejlesztett fonéma szegmentálót egy speciális nyelvfüggetlen fonéma szintű szegmentátorrá alakítottam át. Mégpedig oly módon, hogy 10 általam definiált fonetikai osztály akusztikai modelljeit hoztam létre, így oldva meg beszédhang méretű akusztikailag homogén részek szegmentálását. A szegmentáló akusztikai modelljeit magyar nyelvű beszédanyaggal tanítottam, és annak működését 4 európai nyelvre teszteltem (magyar, angol, német, finn). A bemondások (etalon, és a felhasználó által bemondott mondat) gépi szegmentálása után az egyes magánhangzókra végeztem mintaillesztést egy általam fejlesztett mintaillesztő eljárással, és ennek alapján végeztettem el az időben nemlineáris vetemítést, amivel lényegében fonémaszintű pontosság elérésére voltam képes.

A rendszer működését mondatintonációra és mondatintenzitás dinamikájára teszteltem, vizuális megjelenítéssel és összehasonlítással, illetve az etalon és a bemondások átlagos négyzetes távolságát kiszámoltattam. Az eredményeimből egyértelműen kiderült, hogy az időben nemlineáris vetemítés szükséges ahhoz, hogy bemondások prozódiai jellemzőit korrekt módon összehasonlíthassuk, illetve azokat vizuálisan ábrázolhassuk.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.