1. Einleitung

Täglich interagieren wir mit Maschinen. Wir schreiben Kurznachrichten, bedienen DVD-Player, Mikrowellen oder verwenden Park und Geld-Automaten. Wir finden uns demzufolge täglich wieder als Teil eines Systemes - dem Mensch-Maschine-System. Die Kommunikation in diesem System, in Form von Benutzerschnittstellen, nimmt hierbei eine zentrale Rolle ein. Sie entscheidet über die Funktions- und Gerbrauchsqualität bzw. -tauglichkeit (Usability) einer Maschine.

Aktuelle Interface-Entwicklungen wie Multitouch-, PointSceens (Frauenhofer) oder die aktuelle Spielkonsole Xbox 360 (Gesten-und Stimmnavigation) zeigen hierbei mögliche zukünftige Intera-kationsstandards.

Wie sich dabei visuelle und akustische Gestaltungs-Elemente gegenseitig beeinflussen und welche Wechselwirkungen sich ergeben, soll im ersten Teil dieses Beitrages behandelt werden. Im Anschluss werden Fragen zur Gestaltung vorgestellt. Kreativmethoden für die gestalterische Annäherung multimodaler Design-Elemente bilden den Abschluss dieses Artikels.

2. Audiovisuelle Wechselwirkung

Durch die multimodale Stimulation kombinieren sich Sehen und Hören (und weitere Sinneseindrücke) welche sich in verschiedenen Effekten oder Illusionen bemerkbar machen. Am Beispiel des Bauchredner-Effekts (Ventriloquismus-Effekt; vgl. Drosdowski, 1990), erstmals von Howard und Templeton (Howard & Templeton, 1966) erforscht, kann eine einfache Wechselwirkung aufgezeigt werden. Die Stimme wird mehr der sich bewegenden Puppe als dem Mund des Künstlers zugeordnet. In diesem Effekt sah man im Übrigen ein Indiz für die grundsätzliche Dominanz visueller Reize. Dass die Dominanz des Sehsinns jedoch nicht absolut zu sein scheint, wies eine Versuchsanordnung der Arbeitsgruppe um Richard Ragot (N'Diaye, 2004) nach. Die Forscher stellten fest, dass Menschen, vorrausgesetzt ihre Aufmerksamkeit ist auf den Hörsinn gelegt, auf einen akustischen Stimulus schneller reagieren als auf einen visuellen. Auf eine weitere akustischer Dominanz sties Ladan Shams des japanischen Psychophysiklabors Shijomo (Shams, 2000). Die Forscherin fand herraus, dass akustische Signale die Wahrnehmung visu-

Seite2 von 14 Multimodal Interaction Design, Rainer Hirt

eller Reize beeinflussen können, selbst wenn sie eigentlich nicht zu Ihnen passen. Dafür zeigte Sie den Probanden für einen kurzen Augenblick eine kleine Scheibe im Zentrum eines Computerbildschirms und spielte dabei einen kurzen Ton ein - je nach Versuchsanordnung ein-, zwei- oder dreimal. Die Scheibe tauchte immer nur ein einziges Mal auf. Dennoch nahmen die Versuchspersonen genau so viele optische Signale wahr, wie sie gehört hatten. Es scheint also, dass ein auditiver Reiz die Wahrnehmung eines nicht existenten visuellen Ereignisses vortäuschen kann. Dieser Wahrnehmungseffekt funktioniert im Übrigen für unterschiedliche Darbietungszeiten, Formen und Größen des Lichtreizes - selbst dann, wenn die akustischen und visuellen Quellen räumlich weit voneinander entfernt sind.

Weitere Wahrnehmungsversuche zeigen, dass bei einer verschwommenen visuellen Darbietung, akustische Richtungsinformationen be-vorzugt werden (Alais & Burr, 2006).

Ein weiteres audio-visuelles Wechselspiel kann beim sogenannten "Mc-Gurk-Effekt" beobachten werden. Harry McGurk und John MacDonald haben diesen Effekt 1976 entdeckt (Mc Gurk, 1976). Sie beschrieben ihn folgendermassen: Beim Abspielen des Lautes »ba« und gleichzeitiger Darstellung des Gesichtes oder den Lippen einer Person, welche den Laut »ga« ausspricht, gab die Mehrheit der Versuchspersonen an, den Laut »da« zu hören. Weitere Untersuchungen im Bereich der audiovisuellen Interaktion gibt es z.B. auch zum Thema Farbe und Lautstärken-Wirkung (Fastl, 2002). In einer Untersuchung der MMK-Fakultät der TU München wurde Probanden das Bild eines ICE´s in unterschiedlicher Einfärbung (Original weiss/rot, rot und grün) samt des Orginalgeräusches (Vorbeifahrender Zug) präsentiert. Die Lautstärke wurde dabei nicht verändert.

Interessanterweise wirkte das Geräusch zur Darstellung des roten ICE´s auf die Versuchspersonen lauter im Vergleich zu den in anderer Farbe präsentierten. Der grüne ICE wurde in diesem Experiment „leiser “ empfunden.

Eine weitere Versuchsreihe untersuchte nun, wie sich das ICE-Geräusch mit bewegtem Bild verhält. Hierbei waren die Ergebnisse analog zu den Bild-Versuchen, nur noch signifikanter (Rot = lauter, grün = leiser).

Des Weiteren untersuchten die Wissenschaftler, wie sich das Geräusch auf ein kontextfremdes Bildobjekt auswirkt. Den Probanden wurde ein Frühlingsbild und in der Kontrollanordnung ein Winter-

Seite 3

bild eines Baumes, samt dem gleichlauten ICE-Geräusch präsentiert. Das Resultat wies darauf hin, dass das Winterbild im Vergleich zum Frühlingsbild leiser empfunden wurde.

Prof. Hugo Fastl, Leiter des Forschungsprojektes schlussfolgert,

»[...] dass man beim Beurteilen von Signalen nicht ausschließlich nach der Akustik gehen darf, sondern auch die Optik einbeziehen muss. Man muss immer beachten, dass der ¹ Mensch alle seine Sinne mit berücksichtigt. «

Bild-Ton Wechselwirkung im Film

Die Filmindustrie nutzt seit Beginn den Einfluss von Musik auf das (bewegte) Bild. Zu Stummfilm-Zeiten wurde die Begleit-Musik vornehmlich zum Maskieren der Umgebungsgeräusche verwendet (Bullerjahn, 1999).

Dies änderte sich im Laufe der Zeit. Heutzutage werden Musik und Geräusche auf das Bild abgestimmt und im funktionalen Ansatz verwendet.

Motive und Themen kündigen Charaktere an, beeinflussen bestimmte Szenen-bzw. Situationen oder stellen Verbindungen zwischen verschiedenen Handlungssträngen her (Grützner 1975, S. 78ff.). Flückiger (2001) spricht hierbei von sogenannten "intermodalen Assoziationen", welche die Assoziationsleistung beschreibt, welche erfordert wird um verschiedene Sinnesempfindungen miteinander zu verknüpfen.

Multimodale Wechselwirkung in Benutzerschnittstellen

Durch eine Zunahme der Funktionalität technischer Systeme, entsteht eine wachsende Herausforderung der Gestaltung von Mensch-Maschine-Schnittstellen um die entstehende Komplexität für den Benutzer beherrschbar zu machen.

Im Interfaces-Design von Computer-Betriebsystemen, mobilen Kommunikationsgeräten, Unterhaltungselektronik oder im Automobil

1 http://www.mdr.de/echt/5153626.html

Seite 4 von 14 Multimodal Interaction Design, Rainer Hirt

kommen funktionsgemäss hauptsächlich drei Modalitäten zum Einsatz: Visuelle, akustische und haptische. Diese Modalitäten interagieren permanent miteinander und werden bei gleichzeitiger Repräsentation vom Rezipenten als Einheit wahrgenommen.

Eine Schaltfläche eines Fahrkartenautomaten (wenn Sie neben einer visuellen Darbietung auch akustisch und haptisch unterstützt wird) erzeugt, je nach Situation beim Benutzer das Gefühl eines „realen Schalters “ , analog zu gelernten Assoziationen im Alltag (Licht-Schalter etc.). Dabei gleicht der Benutzer unbewusst und intuitiv eine „Passung“ der wahrgenommenen Elemente auf dessen Absicht ab.

In wieweit gelernte Assoziationen zu einer Passgenauigkeit der Gestalt und dessen Absicht dienlich sind, gilt es noch zu untersuchen. Gerade für abstrakte und ausserhalb der Benutzerschnittstellen weniger auftretende Prozesse oder Funktionen können ne- ² symbolischeund symkonische Ges-ben der ikonischen Darstellung

taltungsansätze (Hirt, 2007) einen möglichen Weg darstellen. Es stellt sich nun die Frage, in welchem Zustand die Kombinationen der Modalitäten sinnvoll und nützlich für den Interaktionsprozess sind. In der Literatur sind bezüglich widersprüchliche Resultate dokumentiert. Zum einen kann eine redundante Informationsdarstellung durch mehrere Wahrnehmungskanäle dazu beitragen, Fehler zu vermeiden oder Reaktionszeiten zu vermindern (Burke et al, 2006; Bender, 1999; Sarter, 1999; Sturm, 2005;), zum anderen gibt es die Annahme, dass es durch das Abverlangen zusätzlicher kognitiver Ressourcen zu einer Überforderung des Nutzers führen kann (Schomaker et al., 1995; Wickens, 2002).

Betrachtet man die Forschungsaktivität der Industrie, so untersucht im speziellen die Automobilbranche multimodale Interaktionen und Wechselwirkungen (Haverkamp, 2006; Rossmeier, 2007). Im Auto finden sich daher z.B. in naher Zukunft Anwendungen wie „Spurverlassenswarner “ oder „Einparknavigation “ welche durch eine multimodale Zeichensprache eine intuitive Bedienung gewär- ³ leisten sollen.

2 In der Lehre der Zeichen, der Semiotik unterscheidet man zwischen drei Zeichentypen: Index, Ikon und Symbol. Ein „Index “ steht für die Wirkungsergebnis einer Ursache, z.B. eine Pfütze als Zeichen für Regen. Ein Ikon ist ein Zeichen das Ähnlichkeit mit dem Objekt aufweist, das es repräsentiert. Symbole können als Zeichen defniert werden, dessen Bedeutung sich erschlossen werden muss. 3 Neben audio-visuellen Warnsignalen fängt das Auto zu vibrieren an - analog zu realen Situationen wenn das Fahrzeug von der Spur

Seite 5