Auditive Wahrnehmung in Computerspielen. Funktionelle Aspekte zum Einsatz von Musik und Klang

Inhaltsverzeichnis

Abbildungsverzeichnis

Tabellenverzeichnis

Einleitung und Fragestellung

1. Definition der Grundbegriffe
1.1 Vom Schall, zum Klang, zur Musik
1.2 Einordnung auditiver Wahrnehmung

2. Grundlagen der auditiven Wahrnehmung
2.1 Formen des Hörens
2.2 Dynamik als expressives Mittel
2.3 Auditive Bilder: Figur-Hintergrund-Differenzierung im Computerspiel
2.4 Kinesonische Synchrese als Integration von Sound und Bewegung im Bild
2.5 Semantische Funktion: Das Leitmotiv

3. Einsatz von Musik und Klang in Computerspielen
3.1 Einführung in die Entwicklung von Musik und Klang
3.2 Typologisierung und Eingrenzung von Sound
3.3 Besonderheiten des Sound Designs im virtuellen Raum
3.3.1 Adaptive Musik
3.3.2 Methodische Umsetzung adaptiver Musik
3.3.3 iMuse: Die Einführung adaptiver Computerspielmusik
3.3.4 Erweiterung der Soundordnung

4. Analyse der Wirkung von Musik und Klang
4.1 Slender - The Eight Pages
4.1.1 Anwendung der erweiterten Soundordnung
4.1.2 Formen des Hörens
4.1.3 Dynamik
4.1.4 Auditive Bilder: Figur-Hintergrund-Differenzierung
4.1.5 Kinesonische Synchrese

Fazit

Quellenverzeichnis

Gamographie

Abstract

-deutsch-

Zielsetzung dieser Bachelorarbeit ist die Herausarbeitung funktioneller Aspekte zum Einsatz von Musik und Klang in Computerspielen sowie die Entwicklung eines Grundmusters zum Einfluss der auditiven Gestaltungsmöglichkeiten auf die Spielerfahrung. Ausgangspunkt der Analyse ist eine kurze Einführung in die Grundlagen der auditiven Wahrnehmung, in der verschiedene Theorien hinsichtlich der Wirkung von Klangereignissen beschrieben werden. Darauf aufbauend erfolgt eine nähere Betrachtung der auditiven Gestaltungsmöglichkeiten in Computerspielen unter Berücksichtigung technischer Aspekte. Am Ende wird ein konkretes Beispiel mit Hilfe der vorgestellten Ansätze analysiert. Als zentrale Schlussfolgerung dieser Arbeit ist zu verzeichnen: Auditive Wahrnehmung in Computerspielen stellt durch den interaktiven Charakter des Mediums besondere Anforderungen an die Aufnahme und Verarbeitung von akustischen Informationen.

-English-

The aim of this thesis is to elaborate the functional aspects of the use of music and sound in computer games as well as the development of a basic pattern that relates to the influence of auditory design options on the gaming experience. The starting point of the analysis is a brief introduction into the foundations of auditory perception, in which various theories are presented concerning the effects of sound events. Based on this, there will be a closer examination of the auditory design options in computer games as well as the consideration of technical aspects. Finally, a concrete example will be analyzed under application of the presented approaches. The main conclusion of this work can be summarized as follows: Auditory perception in computer games presents special requirements for the recording and processing of acoustic information due to the interactive nature of the medium itself.

Abbildungsverzeichnis

Abbildung 1: Funktionsweise - Branching

Abbildung 2: Funktionsweise - Layering

Abbildung 3: Dynamikbereich beim Finden aller acht Seiten in Slender - The Eight Pages

Tabellenverzeichnis

Tabelle 1: Erweiterte Soundordnung

Tabelle 2: Erweiterte Soundordnung in Slender - The Eight Pages

Einleitung und Fragestellung

„Durch das Ohr werden aus Schallwellen Hörempfindungen, Sprache und Musik, aber auch Krach und Lärm. Damit vermittelt das Ohr wie kein anderes Sinnesorgan dem Menschen ästhetisch und emotional höchst gegensätzliche Eindrücke“ (Hellbrück & Ellermeier, 2004, S. 18). Mit diesen einleitenden Worten führen Jürgen Hellbrück und Wolfgang Ellermeier in ihr Buch „Hören: Physiologie, Psychologie und Pathologie“ in das Hören und seine Bedeutung ein. Das Ohr nimmt fortlaufend Informationen auf und im Alltag des Menschen findet sich eine Fülle an akustischen Informationen, sei es auf dem Weg zur Arbeit oder im Kino. Permanent wird die Umgebung nach klanglichen Informationen untersucht. Dabei nutzt der Mensch nie alle Informationen aus, die die Umwelt ihm bietet (Bruhn, 1993, S. 445). Es wird nur ein Bruchteil wahrgenommen und verarbeitet. In diesem Kontext ist die auditive Wahrnehmung ein Prozess, dem jeder unterliegt. Es stellt sich die Frage, wie abhängig die auditive Wahrnehmung vom Medium ist. Ein Aspekt, der besonders in den Vordergrund rückt, wenn man die Wirkungsweisen von linearen und interaktiven Medien betrachtet. Ein klassisches lineares Medium ist z.B. der Film. Der Zuschauer hat keine Möglichkeit, sich in das Geschehen auf der Leinwand einzumischen. Es ist ein narratives Werk, das von Anfang bis Ende durchläuft. Ein interaktives Medium wiederum ist das Computerspiel. Es funktioniert ausschließlich mit der Eingabe des Nutzers und ist gleichzeitig ein interaktives Werk, das von der Beteiligung des Spielers lebt. Doch wie verhält es sich mit der auditiven Wahrnehmung in Computerspielen? Was sind die funktionellen Aspekte, die entscheidend für den Einsatz von Musik und Klang in so einem interaktiven Medium sind? Kann man die klanglichen Elemente in Computerspielen allgemeingültigen Kategorien zuordnen? Welche Funktion nimmt Musik in diesem Zusammenhang ein und was ist davon psychologisch wirksam? All das sind Fragen, die in dieser Forschungsarbeit geklärt werden sollen. Das Ziel dieser Arbeit soll am Ende eine Herausarbeitung sein, welche funktionelle Aspekte zum Einsatz von Musik und Klang in Computerspielen berücksichtigt und die Entwicklung eines Grundmusters zum Einfluss der auditiven Gestaltungsmöglichkeiten auf die Spielerfahrung ermöglicht. Ein Anspruch auf Vollständigkeit kann aufgrund des begrenzten Rahmens dieser Bachelorarbeit nicht bestehen. Es werden Kernelemente der Musikpsychologie, aber auch Bestandteile aus der Filmtheorie vorgestellt. Ein Großteil dieses Textes wird sich ebenfalls mit Ideen und Theorien aus dem jungen Forschungszweig der Game Studies befassen. Der Schwerpunkt liegt hierbei in der Verflechtung der verschiedenen Ansätze. Die zentrale Schlussfolgerung dieser Arbeit wird sein, dass die auditive Wahrnehmung in Computerspielen durch den interaktiven Charakter des Mediums besondere Anforderungen an die Aufnahme und Verarbeitung von akustischen Informationen stellt.

Im ersten Kapitel erfolgt eine grundlegende Einordnung von Schall, Klang, Musik und auditiver Wahrnehmung, die relevant für das weitere Verständnis der Arbeit ist. Der Versuch einer Definition für die einzelnen Begriffe soll Klarheit und eine bessere Einordnung der darauffolgenden Konzepte ermöglichen.

Das zweite Kapitel widmet sich den Grundlagen der auditiven Wahrnehmung und betrachtet die Wirkungsweise des Computerspielsounds auf den Nutzer. Der Fokus liegt in der Verknüpfung der audiovisuellen Ebene und der diesbezüglichen Vorstellung von Konzepten, die entscheidend für die Rezeption von audiovisuellen Medien sind.

Das dritte Kapitel legt grundlegende funktionelle Aspekte zum Einsatz von Musik und Klang in Computerspielen dar. Es werden außerdem die Besonderheiten des Sound Designs und wichtige Merkmale wie z.B. Interaktivität und Adaptivität herausgearbeitet.

Im vierten Kapitel wird ein konkretes Computerspiel anhand der Wirkung von Musik und Klang untersucht. Die Erkenntnisse der vorangegangenen Kapitel sollen als Grundlage der Analyse dienen.

Im Fazit werden die Ergebnisse noch einmal zusammengefasst.

1. Definition der Grundbegriffe

Das folgende Kapitel dient der Einordnung von Schall, Klang, Musik und auditiver Wahrnehmung. Das Ziel ist die Erarbeitung einer begrifflichen Abgrenzung der einzelnen Bezeichnungen, um für den Verlauf der weiteren Arbeit präzise formulieren zu können.

1.1 Vom Schall, zum Klang, zur Musik

Es ist notwendig, eine definitorische Grundlage der wichtigsten Begriffe in dieser Arbeit vorzulegen. Den Anfang macht Jürgen Hellbrück mit seiner Eingrenzung des Wortes Schall:

„Wo Bewegung ist, da entsteht Schall; denn durch Bewegungen werden Luftmoleküle angestoßen, die um ihre Ruhelage schwingen und benachbarte Luftmoleküle zur Schwingung anregen. Auf diese Weise breiten sich, vom Entstehungsort der Bewegung ausgehend, Schallwellen aus. Erreichen sie das Ohr, entstehen abhängig von der Frequenz und Intensität der Schwingungen Hörempfindungen“ (Hellbrück, 2008, S. 17).

Durch das Bewegen jener Luftmoleküle werden demnach Dichteschwankungen erzeugt, die als Luftdruckschwankungen messbar sind. Die dabei entstehenden Bereiche von Verdichtung und Verdünnung breiten sich als Schallwellen aus (Flückiger, 2002, S. 193). Das menschliche Ohr ist außerdem in der Lage, die energetischen Emissionen dieser mechanischen Schwingungen in einem Frequenzbereich zwischen 20 und 20 000 Hz wahrzunehmen (ebd.). Voraussetzung für Schall ist weiterhin ein Medium, in dem es sich ausbreiten kann. In der Regel handelt es sich dabei um Luft, aber auch in festen Medien kann sich Schall fortsetzen. Nach dieser Einordnung ist der Begriff „Schall“ nun definiert. Jedoch stellt sich die Frage, was Klang in jenem Zusammenhang darstellt. Eine ausführliche Antwort findet sich bei Peter Wicke, mit einem gleichzeitig ästhetisch durchdachten Bezug auf Klang und Musik:

„Musik findet ihre materielle Gestalt in Klang, einem akustischen Medium, das aus schwingenden Luftmolekülen besteht und in der Physik als Schall bezeichnet wird. [...] Schall und Klang sind jedoch keineswegs dasselbe, auch wenn beide Begriffe sich auf das gleiche Medium beziehen. Dabei ist der Begriff ,Klang‘ hier und im Folgenden ausdrücklich nicht in dem engeren musikalischen Sinn von ,Zusammenklang‘ im Unterschied zum ,Ton‘ gebraucht, sondern vielmehr in jener grundsätzlichen Bedeutung der Akustik, wo er für Schall mit einer bestimmten Struktur steht - eben jener Struktur, die mechanische Klangerzeuger wie alle herkömmlichen Musikinstrumente generieren. Das ist Schall, der in Abhängigkeit von der Art der Schwingungserregung (Schlagen, Streichen, Blasen) gekennzeichnet ist durch bestimmte Ein- und Ausschwingvorgänge in der Zeit sowie in Abhängigkeit vom schwingungserregenden System durch eine Reihe von Teil- bzw. Partialtönen, die als Resonanzschwingungen über der erzeugten Grundschwingung (Grundton) entstehen. Physikalisch betrachtet ist Klang in diesem Sinne des Wortes nichts anderes als entsprechend komplexe Schalldruckverhältnisse. Im Ergebnis des Musizierens werden sie jedoch als eine bestimmte Klanggestalt wahrgenommen“ (Wicke, 2008, S. 1).

Klänge sind den Ausführungen nach „nichts anderes als entsprechend komplexe Schalldruckverhältnisse.“ Problematisch bei Klängen sind aber die kulturellen Raster, die zu einer differenzierten Wahrnehmung der klanglichen Ereignisse führen. Bereits die musikalischen Elemente spanischer Flamenco-Musik durch den Einsatz melismatischer Gesänge und modaler Variationen in der Harmonik können bei einem Mitteleuropäer Irritation auslösen. Wolfgang Ernst (2008, S. 4) formuliert diesen Sachverhalt äußerst treffend: „Klang ist in unseren Ohren [...] kulturell spezifisch. Akustik meint physikalische Phänomene; die Filterraster des Akustischen aber sind kulturell.“

Eine exakte Definition von Musik ist nicht möglich, da dass „in einer Gesellschaft ausgeprägte Kulturverständnis [darüber] entscheidet, was als Musik verstanden wird und was nicht“ (Bruhn, Oerter & Rösing, 1993, S. 15). Um trotzdem eine wirkungsvolle Arbeitsgrundlage für Musik zu schaffen, wird die Definition von Irving Godt herangezogen:

„(1) Unwanted sound is noise. (2) Music is humanly organised sound, (3) organised with intent (4) into a recognisable aesthetic entity (5) as a musical communication (6) directed from a maker (7) to a known or unforeseen listener, (8) publicly through the medium of a performer, (9) or privately by a performer as listener. (10) As far as I know, ethnologists have never found a human society that does not make music” (Godt, 2005, S. 84).

(1) „Noise is unwanted sound“ (Godt, 2005, S. 84) bedeutet für Godt, dass jegliche Art von ungewollter Beschallung, und sei es die 9. Sinfonie von Beethoven, Lärm und keine Musik ist.

(2) „Music is humanly organised sound“ (ebd., S. 85) heißt, dass nur das als Musik betrachtet wird, dass der Mensch durch die strukturelle Anordnung von Klängen geschaffen hat.

(3) „but that humanly organised sound is organised with intent“ (ebd.) bedeutet, dass nur absichtliche Klangereignisse zur Musik herangezogen werden können. Das Geräusch einer Lokomotive zählt nicht dazu (ebd.).

(4) „into a recognisable aesthetic entity“ (ebd.) ist für Godt eine Eigenschaft der absichtlich strukturierten Klänge, angenehm und schön zu wirken.

(5) „as a musical communication“ (ebd., S. 86) heißt, dass eine kontrollierte Sequenz an Klängen mit einer definierten und klar erkennbaren musikalischen Grammatik vorliegt (ebd.).

(6) „directed from a maker“ (ebd.) ist der Verweis auf die Funktionen von Komponist und Improvisator: „All music involves some degree of improvisation. If it did not, we could never talk about interpretation“ (ebd.).

(7) „to a known or unforeseen listener“ (ebd., S. 87) ist als Bezug auf die technischen Möglichkeiten der Übertragung von Musik zu verstehen.

(8) „publically through the medium of a performer“ (ebd.) bedeutet nach Godt, dass nicht jeder Komponist auch öffentlich spielt und seine Musik vorträgt.

(9) „or privately by the performer as listener“ (ebd.) als Verweis auf das Musizieren zu Hause: „When a pianist communes privately with Beethoven or Bartók, the player fills the functions of both performer and audience“ (ebd.).

(10) „There are no human societies without music“ (ebd.) als letzten Punkt, dass Musik ein Attribut der gesamten Menschheit ist.

Aus den genannten Argumenten, die Godt für eine praktische Bestimmung von Musik vorschlägt, wird die von ihm formulierte Definition für diese Forschungsarbeit übernommen.

1.2 Einordnung auditiver Wahrnehmung

Wie bereits erläutert, besteht in der Physik ein Klang aus mechanischen Schwingungen. „In der Psychologie jedoch sind Klänge eine Form der Erfahrung, die das Gehirn von außen wahrnimmt“ (Jourdain, 2001, S. 20). Diese Anmerkung von Robert Jourdain ist eine Anspielung auf die oben genannten kulturellen Raster von Klängen. Den Übergang zur Wahrnehmung vollzieht Jourdain mit folgenden Worten:

„Wenn der Physiker von Energie spricht, spricht der Psychologe von Information. Ein Physiker kann die Lautstärke von Schall exakt messen, während der Psychologe zwar nicht die leiseste Idee davon hat, wie man bestimmte musikalische Parameter quantitativ untersuchen könnte, er aber recht genaue Aussagen über die Wahrnehmung von Schall machen kann“ (Jourdain, 2001, S. 20).

Die Wahrnehmung von Schall ist demnach die Wahrnehmung einer subjektiven Aufnahme von Informationen aus der Umwelt und gleichzeitig lebensnotwendig, dass sich ein Mensch in der Umwelt orientieren kann. Die moderne Psychologie bezeichnet als Wahrnehmung die Aufnahme vorhandener Information in das Gehirn eines Lebewesens (Guski, 2000, S. 9). Insbesondere die westliche Kultur ist dominiert von der visuellen Wahrnehmung der räumlichen Umgebung. Dabei findet der Vorgang des Hörens unablässig statt. Der Mensch, egal ob im wachen oder schlafenden Zustand, ist permanent Schallemissionen ausgesetzt. Das Ohr besitzt im Gegensatz zum Auge nicht die Funktion, Umweltreize auszublenden. Die einzige Möglichkeit wäre das Verschließen des Außenohrs mit z.B. der Hand. Höreindrücke deuten außerdem auf Aktivitäten in der Umwelt hin, wobei durch sogenannte Maskierungseffekte die Schälle durch andere übertönt werden (Parncutt, 1993, S. 670). Nicht alles wird wahrgenommen und verarbeitet. Somit kann Schall aktivierungsregulierend wirken - eine notwendige Voraussetzung der Informationsaufnahme. Die akustischen Ereignisse in der Umgebung können Angst, Freude, aber auch Neugier wecken: „Ein plötzlich einsetzendes Geräusch von hoher Intensität deutet beispielsweise auf starke Aktivitäten in der Nähe hin, ein Eindruck, der durch hohe Frequenzen noch verstärkt sein kann“ (ebd.).

Als auditive Wahrnehmung wird in dieser Arbeit der auditorische Prozess bezeichnet, der „im Gegensatz zur akustischen Verarbeitung die differenzierte Analyse einer akustisch vermittelten Botschaft, einschließlich der kognitiven Verarbeitung [umfasst]“ (Imhof, 2003, S. 14). Dazu gehören, je nach Kontext des akustischen Reizes die Identifikation von Begriffen, die Aktivierung von vorhandenen mentalen Modellen und emotionale Reaktionen etc. (ebd.). In dieser Arbeit werden von daher die akustischen/sonischen Elemente von Computerspielen auf das Gameplay^[1] unter Rücksichtnahme des Spielers^[2] untersucht. Die Relevanz für diesen Ausgangspunkt umschreibt Christian Keichel sehr zutreffend:

„Der Sound spielt schon in der Frühzeit von elektronischen Spielen eine wichtige Rolle, er soll Aufmerksamkeit erregen und das Geschehen auf dem Bildschirm untermalen, sei es durch Schuss- und Explosionseffekte oder durch kurze Fanfaren. [...] Doch schnell lernen die Programmierer, dass der Sound eines Spiels auch dazu beitragen kann, den Spieler an ein Spiel zu fesseln, dass er die Anspannung beim Spieler erhöhen kann und, dass rhythmische Geräusche den Herzschlag des Spielers beeinflussen“ (Keichel, 2009, S.44).

2. Grundlagen der auditiven Wahrnehmung

In diesem Kapitel wird die Wirkungsweise des Computerspielsounds^[3] auf den Nutzer genauer untersucht. Ein Anspruch auf Vollständigkeit und Präsentation aller existierenden Phänomene besteht jedoch nicht. Aufgrund der enorm vielfältigen Literatur im Bereich der Musikpsychologie wird auch keine Untersuchung der akustischen Ereignisse und deren Auswirkungen auf die physischen Verarbeitungsprozesse im Menschen vorgenommen.^[4] Der Schwerpunkt liegt daher in der Verknüpfung der audiovisuellen Ebene - bestehend aus Bild und Ton - und der diesbezüglichen Vorstellung von Konzepten, die entscheidend für die Rezeption von audiovisuellen Medien sind. Das Ergebnis wird eine Gliederung auditiver Wahrnehmung in Computerspielen sein, die mentale und ästhetische Prozesse berücksichtigt. Computerspiel^[5] und Film werden dadurch näher zusammenrücken, jedoch mit dem Ergebnis einer deutlichen Abgrenzung beider Medien. Das Aufnehmen und Prozessieren von Informationen wird im Sinne der kognitiven Psychologie folgendermaßen verstanden: „Information processing [...] is the study of how the human brain perceives and structures information about the world, how such information is represented in memory, and how it is retrieved when needed for behavior“ (Harwood, 1976, S. 524).

2.1 Formen des Hörens

Das Hören im Raum ist anfangs bei der Einordnung der auditiven Wahrnehmung angesprochen worden. Besondere Gewichtung bekommt das Hörsystem bei der Selektion von Schallereignissen: „Sie erleichtert die Konzentration auf einen Sprecher, auch wenn mehrere gleichzeitig reden (Cocktail-Party-Effekt), oder auf ein Musikinstrument in einem Ensemble“ (Bruhn & Michel, 1993, S. 650). Dieses Prinzip der Selektion von Schallereignissen findet permanent im menschlichen Gehör statt. Wird der eigene Name gerufen, dann reagiert unser Wahrnehmungssinn und wir sind gleichzeitig in der Lage, den Ort der Schallquelle zu lokalisieren. Der Eigenname funktioniert in diesem Fall als semantisch motivierter Auslöser einer Orientierungsreaktion^[6] (Flückiger, 2002, S. 251 f.). Die Selektion von Reizen in der Umwelt wird demnach neben physikalischen Parametern auch von semantischen Ereignissen gesteuert. Darüber hinaus schafft der Hörsinn einen neuen Wahrnehmungsraum: „Wie das Sehen einen visuellen Wahrnehmungsraum eröffnet, schafft das Hören einen akustischen. Geräusch, Musik, Sprache werden mit Positionen in unserem Wahrnehmungsraum verbunden, werden beim Hören lokalisiert“ (Hickethier, 2007, S. 89). Wie dieser Vorgang genau möglich ist, erklärt Clemens Schwender:

„Das Lokalisieren der Schallquelle wird in erster Linie durch das stereofonische Hören bewerkstelligt. Rechts und links unterscheidet das Gehör durch die Zeitdifferenz, die der Schall braucht, um beide Ohren zu erreichen. Der Unterschied zwischen hinten, vorne und oben wird durch die besondere Form der Ohren ermittelt. Die Ohrmuscheln erzeugen unterschiedliche Echos, je nachdem von wo das Geräusch kommt. Das Gehirn lernt, die winzigen Unterschiede zu interpretieren“ (Schwender, 2001, S. 70).

Die Schallwellen eines Tons werden von beiden Ohren aufgenommen (binaural). Wird die Schallquelle direkt von vorne wahrgenommen, so sind die Wellen an beiden Ohren gleich (Bruhn & Michel, 1993, S. 650). Weicht die Richtung ab, entstehen Laufzeitdifferenzen zwischen den Ohren. „Das Ohr, das dem Schall am nächsten ist, hört den Schall etwas früher und etwas lauter“ (ebd., S. 650 f.). Das räumliche Hören spielt insbesondere bei den sogenannten audio games^[7] eine große Rolle, da hier der visuelle Sinn ausgeschaltet wird und der Spieler sich vornehmlich auf seinen Hörsinn verlassen muss. Neben den akustischen Prozessen sind aber auch die identifikatorischen Vorgänge wichtig, von denen es in Bezug auf Computerspiele sechs relevante Besonderheiten gibt. Die ersten drei Einteilungen stammen von Michel Chion (1994) und sind angelehnt an die Wahrnehmung des Films. Chion unterscheidet die Begriffe kausales Hören, semantisches Hören und, basierend auf Pierre Schaeffer (1967), reduziertes Hören. Die letzten drei Begriffe von David Huron (2002) und Mark Grimshaw (2007), signal/navigational listening, singalong listening und retentive listening, ergänzen das System von Chion, um den Bezug zu Computerspielen noch besser herzustellen und die Besonderheit der Interaktivität des Nutzers im virtuellen Raum zu verfeinern.

Das kausale Hören ist laut Chion die verbreiteste Methode, um Informationen über einen Klang und dessen Ursache zu sammeln (Chion, 1994, S. 25). Kausales Hören bezieht sich auf den Prozess der Wahrnehmung der Ursache eines Klangs. Es können u.a. generelle Eigenschaften des Klanges gehört werden, wo er sich im Raum befindet und welche Art von Objekt ein solches Geräusch erzeugt. Der Klang muss sich nicht im Sichtfeld des Empfängers befinden: „When we cannot see the sound‘s cause, sound can constitute our principal source of information about it. An unseen cause might be identified by some knowledge [...]; causal listening [...] can elaborate on this knowledge“ (ebd., S. 26).

Semantisches Hören ist die Fähigkeit, die Botschaft eines Codes oder eine Sprache zu verstehen (ebd., S. 28). Es ist anzumerken, dass kausales und semantisches Hören gleichzeitig auftreten. Man hört z.B. was und wie jemand etwas sagt. Kausales und semantisches Hören scheinen für Computerspiele von besonderer Bedeutung zu sein. Im First-Person-Shooter (FPS) kann die Einordnung der Ursache des Sounds (kausal) und die Bedeutung für den Spieler (semantisch) zwischen Leben und Tod im Spiel entscheiden (Grimshaw, 2007, S. 97).

Reduziertes Hören beschreibt das Wahrnehmen der Ausprägungen des Sounds an sich, unabhängig von der Ursache oder der Bedeutung. „Reduced listening takes the sound - verbal, played on an instrument, noises, or whatever - as itself the object to be observed instead of as a vehicle for something else“ (Chion, 1994, S. 29). Ein Beispiel für reduziertes Hören ist das ausschließliche Hören auf die Eigenschaften eines Musikstücks: Tonhöhe, Harmonie, Rhythmus etc. Die Formen des Hörens beeinflussen die Art und Weise, wie der Nutzer die Spielumgebung und das Gameplay wahrnimmt. Alle drei Formen können zur gleichen Zeit auftreten. Die vorgeschlagenen Hörweisen von Chion reichen aber nicht aus, um den interaktiven und partizipierenden Charakter von Computerspielen zu erfassen. Hierzu bedarf es drei zusätzlicher Kriterien von David Huron (2002).

Signal listening beschreibt nach Huron den Zustand einer wartenden Haltung auf ein kommendes Signal. Der Spieler wartet auf ein klangliches Zeichen, das ihm mitteilt, dass nun eine Aktion durchgeführt werden soll. Ein ganz klassisches Beispiel findet man in Rennspielen: Man wartet auf das Startsignal, um das Rennen zu beginnen. Musik wird hier als ein Signal oder als Wegweiser eingesetzt (Huron, 2002). Das Prinzip des erwartenden Hörens hat eine enge Verwandtschaft mit dem navigierenden Hören von Grimshaw (2007, S. 99). Grimshaw wendet die Theorie des navigierenden Hörens in dreidimensionalen Räumen beim First-Person-Shooter an. Zudem wird hier ein fundamentaler Unterschied zum Film offenkundig, da dass Wahrnehmen eines Films ohne eine physische, haptische Interaktivität auskommt (ebd., S. 100) Sobald der Film angefangen hat, benötigt die ununterbrochene Fortsetzung des filmischen Materials keinen weiteren physischen und haptischen Input vom Zuschauer (ebd.). Für den Zuschauer ist es nicht möglich, sich in der Umwelt eines Films zu bewegen. Der Film ist ein lineares Medium. Im Gegensatz dazu kann der Nutzer im Computerspiel durch kausales Hören feststellen, welcher Natur ein bestimmter Sound ist. Beispielsweise kann sich hinter einer Tür ein metallisches, wiederkehrendes Geräusch manifestieren (ebd., S. 99) Der Spieler nutzt diese Information und konstatiert, dass sich hinter dieser Tür mit dem Namen „Pumpenhaus“ eine Maschine befinden könnte. Nachdem der Spieler sich mit diesem Geräusch vertraut gemacht hat, wechselt die Methode des Hörens und das Geräusch der Maschine kann zur Navigation genutzt werden - wie eine Art auditives Leuchtsignal (ebd.). In einem späteren Spielabschnitt ist es möglich, sich anhand dieser auditiven Signale an die Bekanntheit und Beschaffenheit des Ortes im dreidimensionalen Raum zu erinnern (Vorhandensein eines Maschinenraums). Eine Lokalität in der Spielwelt wird mit Sounds verbunden - es entsteht eine mentale Karte der virtuellen Welt. Diese Form des Hörens ist weder reduziert, semantisch noch kausal. Es handelt sich um navigierendes Hören (ebd.). Im weiteren Verlauf der Arbeit werden die Bezeichnungen signal listening und navigierendes Hören synonym verwendet.

Sing-along listening ist charakterisiert „by the listener mentally ,singing-along‘ with the music“ (Huron, 2002). Musikspiele wie das bekannte Karaoke Spiel SingStar (Sony Computer Entertainment Europe, 2004) sind ein Beispiel dafür. Des Weiteren sagt Huron (2002): „Distinctive of this listening mode is a highly linear conception of the work in which a replay of memory is synchronized with an actual rendition.“ Musikspiele sind lineare Konzeptionen, bei denen ein Spieler mit seinem Gedächtnis auf präsente Ereignisse des Musikspiels reagieren muss.

Retentive listening als letzte Kategorie behandelt das Vermögen des Spielers, sich das Gehörte einzuprägen (ebd.). „Retentive listening is most commonly encountered when music students perform ear training or dictation exercises“ (ebd.). Retentive listening impliziert, dass eine Melodie aufgenommen, im Gedächtnis abgelegt und anschließend wiederholt wird. Ein Beispiel ist das Spiel The Legend of Zelda: The Wind Waker (Nintendo, 2003), bei dem der Spieler mit Hilfe eines Taktstocks den Wind kontrollieren kann. Dabei muss eine bestimmte Melodie gespielt werden, um die Windrichtung zu ändern. Es ist nun deutlich, inwiefern Filme sich von Computerspielen unterscheiden. Es gibt Gemeinsamkeiten wie kausales, semantisches und reduziertes Hören, aber auch eindeutige Unterschiede wie signal, sing-along und retentive listening. Das Zusammenspiel dieser Hörarten mit den Soundeffekten des Computerspiels ist von entscheidender Wichtigkeit für die Orientierung im Raum. Filme sind Vertreter der linearen Medien. Computerspiele sind interaktiv und erlauben Rückkopplungen mit dem Nutzer.

Von den vorgestellten Hörformen ist speziell für Computerspiele das navigierende Hören der erheblichste Aspekt. Neben der Orientierung im Raum gibt das navigierende Hören dem Spieler die Option, Geräusche in der Spielumgebung zu lokalisieren, die vorher nicht im Sichtbereich waren: „The kinaesthetic control over the acousmatisation^[8] and visualisation of sound objects in the game environment is a key factor in creating unique experiences when playing computer games“ (Stockburger, 2003, S. 11). Ein noch größeres Gewicht bekommt dieser Gedanke im späteren Textverlauf während der Einordnung der Soundobjekte im Computerspiel.

2.2 Dynamik als expressives Mittel

Die Lautstärke als Teilaspekt des Dynamikbereichs ist eine wichtige Methode, um Aufmerksamkeit zu erzeugen. Wie eingangs erwähnt, findet die Hörwahrnehmung permanent statt. Das Gehör schläft nicht. Die selektive Wahrnehmung des Menschen antwortet sofort auf einen abrupten Lautstärkezuwachs, beispielsweise das Explodieren eines Feuerwerkskörpers. In dem Zusammenhang wird Lautstärke „dann zum expressiven Stilmittel, wenn sie sich in den beiden Extremen Lärm und Stille bewegt oder durch plötzlichen Wechsel gekennzeichnet ist“ (Flückiger, 2002, S. 237). Der menschliche Körper reagiert automatisch auf solche Reize und kann sich nicht dagegen wehren: „Exaltierte Lautstärke ist das wichtigste Mittel, die Rezipienten nach behaviorstischem Schema in einen unausweichlichen Reiz-Reaktions-Mechanismus^[9] zu zwingen“ (ebd., S. 238). Die Auswirkungen von akustischen Reizen ab ca. 60 dB sind u.a. eine Verengung der Kapillaren, Erhöhung des Blutdrucks und Pupillenerweiterung (Rudolph, 1993, S. 79). Laute Schallereignisse schieben sich in den Vordergrund der Wahrnehmung und maskieren leise Töne. Dies kann unter Herannahme gestaltpsychologischer Ansätze einer Figur-Hintergrund-Differenzierung psychophysisch betrachtet werden. Im Computerspiel ist der Einsatz von Lautstärke ähnlich wie im Film ein Signal für z.B. eine Verfolgungsjagd oder eine Kampfszene. Es lässt sich zudem Spannung durch die Verwendung von Schockeffekten erzeugen, wie es im Genre der Horror-Spiele häufig vorkommt. Eine besondere Herausforderung besteht weiterhin in der konkreten Anwendung der Schockeffekte. Sofern es sich nicht um eine Cutscene^[10] handelt, die durch ihre narrative Struktur der Vorgehensweise im Film ähnelt, ist der Umgang mit dem Aspekt der Interaktivität ein entscheidender Punkt.

Das Mittel des Einsatzes lauter Soundeffekte ist aber nicht die einzige Möglichkeit, die im Computerspiel anzutreffen ist. Das Element der Stille ist ein zusätzliches Gestaltungsmerkmal sowohl im Film als auch im virtuellen Raum: „Often leading with audio, the viewer‘s expectations are manipulated within the horror genre. Silent or extremely quiet moments where characters (players) are listening to the world around them often precede extremely loud and violent moments in the horror film genre“ (Collins, 2008a, S. 130). Stille als „reine“ Stille ist selten anzutreffen. Häufig wird die Assoziation von Stille mit akustischen Mitteln unterstrichen. Es können nur die Fußstapfen des Spielcharakters, das leise Ticken einer Uhr oder ein Windhauch zu hören sein.

2.3 Auditive Bilder: Figur-Hintergrund-Differenzierung im Computerspiel

In der Definition der Grundbegriffe dieser Arbeit, genauer in der Rezeption von Klängen, wurde die Thematik der kulturellen Raster während der Rezeption von Klängen angesprochen: „Akustik meint physikalische Phänomene; die Filterraster des Akustischen aber sind kulturell“ (Ernst, 2008, S. 4). Klänge sind folglich charakterisiert durch ihre doppelte Zugehörigkeit. Für den Menschen ist es notwendig, aus der Fülle von Informationen die wichtigsten herauszusuchen und diese in eine sinnvolle Reihenfolge zu bringen. Die Art und Weise, wie das Klangobjekt konnotiert ist, kann unterschiedliche Assoziationen hervorrufen. Das Läuten der Kirchenglocken kann rein hypothetisch für jemanden aus Europa ein natürliches und angenehmes Geräusch darstellen, wohingegen eine Person aus Japan damit Gefahr in Verbindung bringt, weil das Läuten der Glocke ein Alarmsignal darstellt. Klänge sind auch wichtig für das Eintreten und Sicherstellen von Immersion.^[11] Bezogen auf Computerspiele muss sorgfältig darauf geachtet werden, dass z.B. die Hintergrundmusik mit der Spielumgebung kongruent ist. Wenn beispielsweise der Hauptcharakter Leon S. Kennedy in Resident Evil 4 (Capcom, 2005) gerade das Dorf am Anfang des Spiels erkundet, wäre es für die Glaubwürdigkeit und Immersion kontraproduktiv, würde parallel Salsa-Hintergrundmusik die düstere und unheilvolle Spielumgebung untermalen. Musik hat eine selbstständige Mitteilungsebene im Verbund mit Bildern: „Sie kann das visuell Gezeigte mit emotionalen Qualitäten versehen und in spezifischer Weise interpretieren.“ (Hickethier, 2007, S. 94). Die menschliche Wahrnehmung ist eine Synthese aus visuellen und klanglichen Reizen. Die Frage stellt sich nun, wie das in der Soundkulisse in Computerspielen erfolgreich funktionieren kann. Einen allgemeinen Ansatz in Bezug auf Wahrnehmung legt Gerhard Schmitt vor:

„Wahrnehmung beruht auf der Abstraktionsleistung, aus der enormen Fülle der zur Verfügung stehenden Reize die relevanten zu selektieren; es entstehen invariante Muster, die als Gradmesser für weiteres Ausselektieren von Reizen dienen. Demzufolge beruht die Wahrnehmung von Musik/Kunst auf dem spezifischen Erkennen von Strukturen und Gestalten“ (Schmitt, 2010, S. 194).

Das Entscheidende im Zitat von Schmitt ist das Erkennen von Strukturen und Gestalten. In diesem Kontext ist Stephen McAdams zu nennen, der analog zur Gestaltpsychologie von einem auditiven Bild (auditory image) spricht, sobald sich Umgebungsgeräusche und Klänge zu einer mentalen Vorstellung zusammenfügen: „To summarize briefly, the auditory image is a psychological representation of a sound entity exhibiting a coherence in its acoustic behaviour“ (McAdams, 1984, S. 291). McAdams stellt die Frage, wie Klangobjekte verarbeitet werden und stellt fest, dass der Mensch die verschiedenen Geräusche, z.B. die einer belebten Straße, in Gruppen zusammenfügt und daraus auditive Bilder im Sinne einer Metapher entstehen. McAdams führt folgendes Beispiel an: „A rhythmic clicking of toe nails and jangling of small metal medaillons is heard as a dog trotting by“ (ebd., S. 289). Oder das Geräusch quietschender Reifen auf Asphalt, was signalisiert, dass gerade ein Auto vorbeigefahren ist. Durch dieses Wissen, dass das Quietschen von Reifen ein Auto symbolisiert, können in Verknüpfung mit dem selektiven Aufnahmeprozess des Ohres diverse Antizipationen und Wahrnehmungsräume geschaffen werden. So können Geräusche mit dem erworbenen Wissen des auditiven Bildes Visuelles vorwegnehmen. Wenn das Auto mit den quietschenden Reifen in die nächste Straße abbiegt und plötzlich ein lauter Knall zu hören ist, dann könnte mit großer Wahrscheinlichkeit ein Unfall passiert sein. Ein weiteres auditives Bild ist entstanden. McAdams untersucht in seinem weiteren Text dieses Phänomen unter Beleuchtung der Auditorischen Szenenanalyse (auditory scene analysis), wie komplexe akustische Reizmuster aufgespalten werden. Die resultierenden Gestaltgesetze in der Literatur versuchen diese auditiven Muster zu erklären (z.B. Gestaltgesetz der Kontinuität: kreuzen sich zwei Melodien, wird die eine als fallend und die andere als aufsteigend wahrgenommen). Durch diese ganzheitliche, auditive Wahrnehmung der Umwelt werden auch Erwartungen an die Musik generiert, die von der sogenannten „Erwartungstheorie“ (Hodges & Sebald, 2011, S. 139) aufgegriffen werden. Pegelbrüche in der Lautstärke, wie zum Thema der Dynamik erläutert wurde, können Erwartungen konterkarieren und Aufmerksamkeit oder einen Schockeffekt erzeugen. Gestaltpsychologische Prinzipien der Wahrnehmungsorganisation wie z.B. das Gesetz der geschlossenen Gestalt, guten Fortsetzung oder der Nähe sollen an dieser Stelle jedoch nicht weiter vertieft werden.^[12] Im alltäglichen Leben spielen diese Gesetze der ganzheitlichen Reizverarbeitung eine große Rolle, um z.B. die Stimme einer Person von den Umgebungsgeräuschen zu trennen. Das Erkennen auditiver Muster ist dennoch eine gute Grundlage, um eine kognitive Repräsentation der Computerspielumgebung besser zu erfassen. Meist geht es dabei um das Erfassen einer Figur-Hintergrund-Differenzierung. Der Begriff umschreibt, dass „bestimmte Reize zusammengefaßt [sic!] im Vordergrund wahrgenommen werden und andere Reize weniger präsent in den Vordergrund geraten. Das impliziert [...] die Abhebbarkeit klanglicher ,Figuren‘ von einem Hintergrund perzipierter akustischer Reize“ (Schmitt, 2010, S. 194). In einem Spiel wie Starcraft II: Wings of Liberty (Blizzard Entertainment, 2010) ist es für den Spieler notwendig, wichtige Soundeffekte von den weniger relevanten Soundeffekten zu unterscheiden. Ertönt ein Signal, dass ein Weltraumbaufahrzeug mit dem Bau eines Maschinendocks fertig ist, so rückt dieses akustische Zeichen aufgrund geringer Relevanz in den Hintergrund, wenn zur gleichen Zeit beispielsweise die Basis angegriffen wird. Die Soundeffekte der Einheiten und deren Statusanzeigen im Kampf sind von größerer Bedeutung für das erfolgreiche Absolvieren jener Gefahrensituation, als die Meldung, dass in dem Moment ein Maschinendock fertiggestellt wurde. Die „Figur“ der Kampf-Soundeffekte differenziert sich von dem Signal der Fertigstellung eines Gebäudes. Die Figur rückt in den Vordergrund und der Rest ist im Hintergrund. Das auditive Bild des Kampfes erzeugt in der Wahrnehmung des Spielers eine Reaktion auf das Spielgeschehen.

Auditive Bilder sind auch für die Verknüpfung von Emotionen verantwortlich. Es können Erwartungen geschaffen werden, die durch musikalische Untermalung des Spielgeschehens eine emotionale Einbeziehung des Nutzers bewirken. Dieser Fall kann ebenfalls für semantisch-konnotierte Stilmittel im Falle eines Leitmotivs eintreten. „Vor allem sind es zwei emotionale Bereiche, die immer wieder zum Ausdruck gebracht werden: Freude und Trauer“ (Rösing, 1993, S. 579). Beispielsweise werden Gefahr und Angst durch Zusammenschmelzen von Klang und mentaler Assoziation des Hörers durch chromatische Figuren oder auch mittels dissonanter Intervalle erzeugt. Des Weiteren ist der Einsatz des Frequenzspektrums möglich, um Affekte beim Nutzer hervorzurufen. Bässe umfassen jene Frequenzen, in welchen „der auditive in einen taktilen Reiz übergeht oder wo auditiver Reiz und taktiler Reiz einander überlappen und den Körper als Ganzes erfassen. Es ist dieser Effekt, wenn die Bässe in Brust und Bauch vibrieren“ (Flückiger, 2002, S. 209). Bässe können ein Gefühl von Potenz und Stärke hervorrufen, aber auch bedrohlich wirken (ebd.). Höhen hingegen haben eine Signalfunktion (z.B. Sirenen) und „lösen entweder unangenehme Gefühle aus, wirken dünner, brüchiger, kälter oder auch strahlender, jubelnder“ (ebd., S. 223). Die psychische Disposition des Hörers ist hierbei entscheidend und wie der Klang semantisch einzuordnen ist.

2.4 Kinesonische Synchrese als Integration von Sound und Bewegung im Bild

Der Mensch ist in der Lage, Klang von seiner ursprünglichen Quelle zu trennen. Diesen Vorgang nennt Schafer (1969) schizophonic activity . Dieser Begriff ist eine Zusammensetzung aus den griechischen Wörtern s’chizein („abspalten) und phoné („Stimme“). Bevor Klänge aufgezeichnet werden konnten, waren diese mit ihren physischen Objekten verbunden, die den Schall erzeugten. Durch die Präsentation des Phonographen im Jahre 1877 von Thomas A. Edison wurde diese Gesetzmäßigkeit aufgehoben. Eine „Entkörperung“ von Klang und Objekt machte seinen Anfang. Ein bezeichnendes Beispiel von Entkörperung ist der Markenname „His Master‘s Voice“ auf dessen Logo ein Hund zu sehen ist, der die Stimme seines verstorbenen Besitzers zu hören scheint.^[13]

[...]

---

^[1] „The activity of playing a game, usually defined so as to exclude the other artistic functions of a game, such as

narrative and the aesthetic enjoyment of visual representations“ (Tavinor, 2009, S. 201).

^[2] In der vorliegenden Arbeit wird zur Vereinfachung nur die männliche Form des Wortes verwendet, gemeint sind aber auch Spielerinnen.

^[3] In dieser Arbeit wird der Begriff „Sound“ bzw. „Computerspielsound“ für alle Töne verwendet, die der Spieler hört und die durch den Spielcode erzeugt wurden (Grimshaw, 2007, S. 24 f.). „Sound“ ist auch ein geläufiger Begriff für ein einzelnes Klangobjekt. Auf den folgenden Seiten wird für ein einzelnes Klangobjekt die Bezeichnung „Soundeffekt“ verwendet.

^[4] Für eine umfassende Analyse musikalischer Wahrnehmung sei auf Bielke (1996), Bruhn, Oerter & Rösing (1993),

Jourdain (2001), Hellbrück & Ellermeier (2004), Neuhoff (2004), Hodges & Sebald (2011) und Tan, Pfordresher & Harré (2010) verwiesen.

^[5] Aus Gründen der besseren Lesbarkeit werden alle digitalen Bildschirmspiele (Computer-, Video-, Handheld- und Automatenspiele) im weiteren Textverlauf synonym als Computerspiele bezeichnet.

^[6] Das sind messbare, physiologische Reaktionen und Verhaltensreaktionen (Flückiger, 2002, S. 251).

^[7] „Audio games are computer games that feature complete auditory interfaces, so they can be played without the use of graphics“ (Friberg & Gärdenfors, 2004, S. 1).

^[8] “In a film an acousmatic situation can develop along two different scenarios: either a sound is visualized first, and subsequently acousmatized, or it is acousmatic to start with, and it is visualized only afterward” (Chion, 1994, S. 72).

^[9] Eine weiterführende Erklärung des Reiz-Reaktions-Mechanismus liefert das Filtermodell von Broadbent. Es besagt, dass das Nervensystem Informationen aufgrund von Kapazitätsengpässen nur begrenzt verarbeiten kann. Bei Lärm kann der akustische Reiz nicht ausgefiltert werden (van der Molen, 1996, S. 340 f.).

^[10] Das Wort Cutscene bezeichnet eine Zwischensequenz, oft im Sinne einer Filmsequenz, die dem Spieler ohne dessen interaktive Beteiligung die Spielhandlung vermittelt (GamesCoop, 2012, S. 207).

^[11] Dieses „Eintauchen“ wird in der Literatur als Immersion bezeichnet, d.h. das „Hineingezogenwerden in einen Text, ein Bild oder ein anderes Medium“ (Neitzel, 2012, S. 76).

^[12] Die Gestaltpsychologie wurde in der Forschung ausführlich behandelt, u.a. von Guski (2000) und Deutsch (1994). Beispielsweise das Gesetz der Nähe: „Danach werden solche Reizelemente als eine zusammengehörige Gestalt organisiert, die räumlich nahe beieinander sind (z.B. ähnlich hohe Töne, benachbarte Reihen von Linien, Punkten usw.)“ (Guski, 2000, S. 61).

^[13] His Master‘s Voice Plattenlabel: http://wecomin.files.wordpress.com/2012/01/hmveg962.jpg [Letzter Zugriff am 20.01.2014].