Multimodális korpuszok létrehozása és elemzése

A nyelvet különböző környezetekben használjuk. A szövegen túl, a beszélt nyelv megnyilatkozásai olyan jellemzőket is felfednek, amelyek írásos formában nehezen megragadhatók: a beszélő személyisége és érzelmi állapotai, attitűdjei és szándékai, a társalgás dinamikája a beszélők változó szerepeivel, az interakció sikeressége vagy befejezetlensége. Ezeknek az információknak a közvetítése nem pusztán a hangon keresztül valósulhat meg, hanem egyéb gesztusok a szem, a fej, a kéz mozgásai és a különböző testtartások által kifejezett folyamata kíséri.

A workshop a beszélt nyelv fönti, tágabb értelmezésére fókuszál, bepillantást, illetve gyakorlati tapasztalatot is nyújtva a hangok, szavak és gesztusok integrálásának multimodális világába. A munka eredményeként megszerzett tudás a beszéd és a kommunikáció jobb megértése érdekében kamatoztatható a pszicholingvisztika, az érzelmek tanulmányozása, a beszéd és kommunikáció zavarai és ezek terápiája, a beszélőazonosítás és bűnügyi nyelvészet, az ember-gép kommunikáció és a kommunikáció terén bárhol, ahol beszélt nyelvi megnyilatkozások képezik a vizsgálat tárgyát.

A workshop első része az interakciók hanganyaga felől közelíti meg a beszélt nyelvet. A megnyilatkozások verbális tartalmán túl a beszélőváltás időbeli szekvenciáit, a szüneteket és egyéb prozódiai jellemzőket, mint fontos és jelentéssel bíró tényezőket fogjuk vizsgálni a társalgások és az emberi viselkedés karakterizálásához. A számítógépes beszédfeldolgozás módszertani oldaláról a résztvevők a Praat program szoftveres környezetének és beépített szkript nyelvének segítségével ismerkedhetnek meg az akusztikai információk kinyerésének (spektrális és prozódiai elemzés), az annotáció és az adatok vizualizációjának technikáival.

A workshop második része a mulitmodalitásra fókuszál, a hang fizikai jellemzése és interpretációja útján nyert paramétereket a gesztusokkal integrálja. A résztvevők tapasztalatot szerezhetnek a hang- és videófelvételek készítése, ELAN programban való annotálása, továbbá az adatok részben az ELAN, részben pedig a Theme program környezetén belül történő statisztikai, illetve a viselkedés rejtett, multimodális mintáinak feltárását célzó elemzése terén.