Hangi gesztustár létrehozása, hangi gesztusok akusztikai elemzése

OData támogatás
Konzulens:
Dr. Vicsi Klára
Távközlési és Médiainformatikai Tanszék

Az előző féléves „Önálló laboratórium” feladatom egy Magyar Telefonos Ügyfélszolgálati Beszéd Adatbázis akusztikai, valamint nyelvi feldolgozása volt. Annotálás után, a beszéd emóciótartalmának gépi felismerésével foglalkoztam. Az előbb említett adatbázis feldolgozása során fogalmazódott meg a diplomaterv témája. Spontán társalgásban számos nem nyelvi elem fordul elő, beszélgetés közben gyakran sóhajtunk, nevetünk, hümmögünk. A beszélő érzelmi állapotát tükröző hangi gesztusokhoz tartoznak a különböző felkiáltások is (jaj, hí, há, ó, jé). Illetve számos jelentéssel nem bíró hangesemény is előfordul a társalgásban, például köhögés, krákogás, tüsszentés. Feladatom a magyar nyelvre jellemző hangi gesztusok és nem verbális hangesemények összegyűjtése, és akusztikai elemzése.

Először egy átfogó képet próbálok adni a kommunikációról, az emberi kommunikáció szintjeit és funkcióit mutatom be. Majd néhány témába vágó irodalmat ismertetek. Rövid áttekintést adok azokról a nemzetközi szakirodalomban megjelent cikkekről és az ezekben szereplő eredményekről, amelyeket a munkám során figyelembe vettem.

A dolgozat nagyobbik része a hanganyaggyűjtéssel és a tár felépítésével kapcsolatos munkámmal foglalkozik. Öt különböző spontán vagy közel spontán beszédadatbázist dolgoztam fel, amelyek rendelkezésemre álltak a BME Távközlési és Médiainformatikai Tanszék Beszédakusztikai Laboratóriumában, vagy a médiából gyűjtöttem. Annotálás után az adatbázisban bejelölt hangeseményeket kivágtam és csoportokba gyűjtöttem. Így hoztam létre az úgynevezett hangi gesztustárat, amelybe a hanggesztusokon kívül a nyelvi tartalomtól elhatárolt, attól független hangi eseményeket is feltüntettem.

Következő fázis a gesztustár elemeinek akusztikai elemzése volt, különböző vizsgálatokat végeztem a beszédjeleken. Célom az volt, hogy megadjam, és a tárban rögzítsem az osztályonként jellemző akusztikai függvényeket. Alapfrekvencia és harmonicity paraméterek statisztikai elemzését végeztem el. Megadtam a csoportokra jellemző dallammeneteket, végül pedig színképelemzéssel, és intenzitásszerkezet vizsgálatával foglalkoztam.

A dolgozat végén összefoglalom az elért eredményeket, vázolom a további lépéseket, célokat és leírom az általam nyert tapasztalatokat.

Letölthető fájlok

A témához tartozó fájlokat csak bejelentkezett felhasználók tölthetik le.