Multimodal Interaction Design

1. Einleitung

Täglich interagieren wir mit Maschinen. Wir schreiben Kurznachrichten, bedienen DVD-Player, Mikrowellen oder verwenden Park und Geld-Automaten. Wir finden uns demzufolge täglich wieder als Teil eines Systemes – dem Mensch-Maschine-System. Die Kommunikation in diesem System, in Form von Benutzerschnittstellen, nimmt hierbei eine zentrale Rolle ein. Sie entscheidet über die Funktions- und Gerbrauchsqualität bzw. -tauglichkeit (Usability) einer Maschine.

Aktuelle Interface-Entwicklungen wie Multitouch-, PointSceens (Frauenhofer) oder die aktuelle Spielkonsole Xbox 360 (Gesten- und Stimmnavigation) zeigen hierbei mögliche zukünftige Interakationsstandards.

Wie sich dabei visuelle und akustische Gestaltungs-Elemente gegenseitig beeinflussen und welche Wechselwirkungen sich ergeben, soll im ersten Teil dieses Beitrages behandelt werden. Im Anschluss werden Fragen zur Gestaltung vorgestellt. Kreativmethoden für die gestalterische Annäherung multimodaler Design-Elemente bilden den Abschluss dieses Artikels.

2. Audiovisuelle Wechselwirkung

Durch die multimodale Stimulation kombinieren sich Sehen und Hören (und weitere Sinneseindrücke) welche sich in verschiedenen Effekten oder Illusionen bemerkbar machen.

Am Beispiel des Bauchredner-Effekts (Ventriloquismus-Effekt; vgl. Drosdowski, 1990), erstmals von Howard und Templeton (Howard & Templeton, 1966) erforscht, kann eine einfache Wechselwirkung aufgezeigt werden. Die Stimme wird mehr der sich bewegenden Puppe als dem Mund des Künstlers zugeordnet. In diesem Effekt sah man im Übrigen ein Indiz für die grundsätzliche Dominanz visueller Reize. Dass die Dominanz des Sehsinns jedoch nicht absolut zu sein scheint, wies eine Versuchsanordnung der Arbeitsgruppe um Richard Ragot (N'Diaye, 2004) nach. Die Forscher stellten fest, dass Menschen, vorrausgesetzt ihre Aufmerksamkeit ist auf den Hörsinn gelegt, auf einen akustischen Stimulus schneller reagieren als auf einen visuellen.

Auf eine weitere akustischer Dominanz sties Ladan Shams des japanischen Psychophysiklabors Shijomo (Shams, 2000). Die Forscherin fand herraus, dass akustische Signale die Wahrnehmung visueller Reize beeinflussen können, selbst wenn sie eigentlich nicht zu Ihnen passen. Dafür zeigte Sie den Probanden für einen kurzen Augenblick eine kleine Scheibe im Zentrum eines Computerbildschirms und spielte dabei einen kurzen Ton ein – je nach Versuchsanordnung ein-, zwei- oder dreimal. Die Scheibe tauchte immer nur ein einziges Mal auf. Dennoch nahmen die Versuchspersonen genau so viele optische Signale wahr, wie sie gehört hatten. Es scheint also, dass ein auditiver Reiz die Wahrnehmung eines nicht existenten visuellen Ereignisses vortäuschen kann. Dieser Wahrnehmungseffekt funktioniert im Übrigen für unterschiedliche Darbietungszeiten, Formen und Größen des Lichtreizes – selbst dann, wenn die akustischen und visuellen Quellen räumlich weit voneinander entfernt sind.

Weitere Wahrnehmungsversuche zeigen, dass bei einer verschwommenen visuellen Darbietung, akustische Richtungsinformationen bevorzugt werden (Alais & Burr, 2006).

Ein weiteres audio-visuelles Wechselspiel kann beim sogenannten "Mc-Gurk-Effekt" beobachten werden. Harry McGurk und John MacDonald ha­ben diesen Effekt 1976 entdeckt (Mc Gurk, 1976). Sie beschrieben ihn folgendermassen: Beim Abspielen des Lautes »ba« und gleichzeitiger Darstellung des Gesichtes oder den Lippen einer Person, welche den Laut »ga« ausspricht, gab die Mehrheit der Versuchspersonen an, den Laut »da« zu hören.

Weitere Untersuchungen im Bereich der audiovisuellen Interaktion gibt es z.B. auch zum Thema Farbe und Lautstärken-Wirkung (Fastl, 2002). In einer Untersuchung der MMK-Fakultät der TU München wurde Probanden das Bild eines ICE´s in unterschiedlicher Einfärbung (Original weiss/rot, rot und grün) samt des Orginalgeräusches (Vorbeifahrender Zug) präsentiert. Die Lautstärke wurde dabei nicht verändert.

Interessanterweise wirkte das Geräusch zur Darstellung des roten ICE´s auf die Versuchspersonen lauter im Vergleich zu den in anderer Farbe präsentierten. Der grüne ICE wurde in diesem Experiment „leiser“ empfunden.

Eine weitere Versuchsreihe untersuchte nun, wie sich das ICE-Geräusch mit bewegtem Bild verhält. Hierbei waren die Ergebnisse analog zu den Bild-Versuchen, nur noch signifikanter (Rot = lauter, grün = leiser).

Des Weiteren untersuchten die Wissenschaftler, wie sich das Geräusch auf ein kontextfremdes Bildobjekt auswirkt. Den Probanden wurde ein Frühlingsbild und in der Kontrollanordnung ein Winterbild eines Baumes, samt dem gleichlauten ICE-Geräusch präsentiert. Das Resultat wies darauf hin, dass das Winterbild im Vergleich zum Frühlingsbild leiser empfunden wurde.

Prof. Hugo Fastl, Leiter des Forschungsprojektes schlussfolgert,

»[...] dass man beim Beurteilen von Signalen nicht ausschließlich nach der Akustik gehen darf, sondern auch die Optik einbeziehen muss. Man muss immer beachten, dass der Mensch alle seine Sinne mit berücksichtigt. «^[1]

[...]

^[1] http://www.mdr.de/echt/5153626.html