Multimodale Korpora: Wie baut man sie auf und wie versteht man sie?em

Dieser Workshop hat das Studium des Zusammenspiels zum Ziel, das zwischen verbaler und nonverbaler Kommunikation besteht. Sein weiterer Zweck ist zu untersuchen, wie das so erworbene Wissen in der Mensch-Computer-Interaktion angewandt werden kann.

Der Workshop besteht aus zwei Teilen:

• 1. Teil: Einführung in die Grundbegriffe von Multimodalität und in die Analyse der Wechselwirkung von gesprochener Sprache und Gesten unter deskriptivem und funktionalem Aspekt. Während eines elementaren "Mach-mit-Kurs" (hands-on-session) werden die Studierenden ihre eigenen multimodalen Musterkorpora planen und aufbauen. Es wird mit Videoaufnahmen begonnen werden, mit den sog. Annotationen wird fortgesetzt, und beendet wird der Kurs mit einer strukturierten Analyse der Korpora.
• 2. Teil: Multimodalität nachvollziehen: ein Beispiel wird zu formalem und funktionalem Data-Mining gegeben werden, und Studierende werden erlernen, wie sie sprecherabhängige und sprecherunabhängige  funktionale, pragmatische und emotionale Interpretationen von einer multimodalen Ereignisreihe ableiten können; denn es gibt eine Reihe von paralell laufenden formalen Markers (Sprachlaute, Wörter, nonverbale Gesten), die die einzelnen Kommunikationsereignisse bilden. Dieser Teil des Workshops wendet sich an Fortgeschrittene.

1. Teil: Einführung in die Multimodalität der Kommunikation

MULTIMODALITÄT

• Grundbegriffe der Multimodalität: Laut, Wort, Geste
• deskriptive und funktionale Aspekte der Multimodalität

EIN ZWEISPRACHIGES MULTIMODALES KORPUS

• Ein Korpus gestalten: sein Entwurf und seine technischen Einstellungen; Aufnahme eines Dialogs
• Annotation 1: Vorbereitung und Einstellung der ELAN-Umgebung, automatische und/oder manuelle Annotation von lautlosen Videoaufnahmen von Dialogen, indem man Gefühlen und Gesten nachforscht,
• Annotation 2: automatische und/oder manuelle Annotation der hörbaren Teile von aufgenommenen Dialogen, nach Satzmelodie und Emotionen forschend.
• Deskriptive Datenanalyse, die dem Nebeneinander von Video- und Audiomarkers folgt.

2. Teil: Multimodalität nachvollziehen in der Kommunikation

DIE MULTIMODALEN BAUSTEINE DER KOMMUNIKATION

• Die kleinsten gemeinsamen verbalen und nonverbalen Markers von verschiedenen Modalitäten, und ihre zeitliche Organisation
• Individuell ausgelöste Kombinationsmöglichkeiten von Markers, die von Scenarios und Ontologien abhängen.

DAS MULTIMODALE KORPUS VERSTEHEN

• Korpusanalyse in der ELAN-Umgebung für Annotation, Textanalyse, Analyse von multimodalen Mustern, die sich aufeinanderfolgend oder hierarchisch gebaut zeigen
• Analyse 1: deskriptive Analyse des multimodalen Ausgerichtetseins von verbalen und nicht-verbalen Markern (Prosodie, Syntax und Gestik)
• Analyse 2: interpretative (funktionale, pragmatische) Analyse des multimodalen Ausgerichtetseins von verbalen und nicht-verbalen Markern (Prosodie, Syntax und Gestik)
• Diskussion: Wie erreichen wir eine effektivere Mensch-Computer-Interaktion (theoretische und technologische Herausforderungen)?