Dominanzpaarvergleich und Semantisches Differential. Vorbereitung, Durchführung und Auswertung

Inhaltsverzeichnis

1 Einleitung

2 Dominanz-Paarvergleich
2.1 Methodik und Anwendung des Dominanzpaarvergleichs
2.2 Reihenfolge der Stimuluspräsentation
2.3 Urteilskonsistenz
2.4 Urteilskonkordanz
2.5 Ergebnisskalierung
2.5.1 Indirekte Rangordnung
2.5.2 Law of Comparative Judgement - Thurstone Skalierung
2.5.3 BTL-Modell

3 Semantisches Differential
3.1 Methodik und Anwendung des Semantischen Differentials
3.2 Konstruktion eines Semantischen Differentials
3.2.1 Adjektivauswahl und Bipolarität
3.2.2 Anzahl an Antwortkategorien und Nullpunktlage
3.2.3 Intervallgleichheit
3.3 Datenanalyse
3.3.1 Datenreduktion
3.3.2 (Un-) Ähnlichkeitsmaße - Profilanalyse

Literatur- und Quellenverzeichnis

1 Einleitung

In den letzten Jahrzehnten stiegen die Anforderungen seitens der Industrie und der Endkunden an die akustischen Merkmale nahezu jedes industriellen Produktes. Anfänglich lag dabei der Schwer- punkt auf der Verringerung der abgegebenen Schallenergie durch das Produkt, mit dem Ziel, „Je weniger desto besser!“. Heute sind viele Konsumgüter akustisch unbedenklich, d. h. die abgegebene Schallenergie liegt unter festgelegten Werten um eine dauerhafte Hörschädigung, welche durch das Produkt hervorgerufen würde, zu vermeiden. In den 1980er Jahren änderten sich die Anforderungen und es entstand der Bereich der Soundqualität und speziell des Produktsounds mit der Integration bereits existierender objektiver, reliabler, valider, instrumenteller Messverfahren in diesem Bereich. Zwei dieser Messverfahren, mit deren Hilfe die Beurteilung der Soundqualität und des Produktsounds und die Aufklärung des Zusammenhangs zwischen den physikalisch-akustischen Eigenschaften und den wahrgenommenen Geräuscheigenschaften möglich ist, sind das Semantische Differential und der Paarvergleich. Beide Messverfahren und mögliche Methoden der Auswertung werden im Folgenden einführend erläutert.

2 Dominanz-Paarvergleich

2.1 Methodik und Anwendung des Dominanzpaarvergleichs

Der Dominanz-Paarvergleich, auch Präferenztest oder AB-Vergleich genannt, eignet sich zur qualitativen Einstufung von Geräuschen auf Grund der Präferenz eines vorgegebenen Merkmals. Die Aufgabe der Versuchsperson in einem Paarvergleich ist es aus einem Geräuschpaar das dominantere Geräusch bzgl. des gefragten Merkmals auszuwählen. In einem vollständigen Paarvergleich wird jedes Geräusch jeweils einmal mit allen anderen verglichen und bewertet. Die Anzahl notwendiger Vergleiche für n-Stimuli berechnet sich nach Gleichung (1).

Abbildung in dieser Leseprobe nicht enthalten

Die Ergebnisse der Einzelvergleiche werden häufig in einer Dominanzmatrix aufgetragen, der die Präferenzen der Zeilenobjekte gegenüber den Spaltenobjekten (oder umgekehrt) entnommen werden kann. Die Zeilen- bzw. Spaltensummen (sc bzw. sr ) ergeben die Reihenfolge der Stimuli bezgl. des zu bewertenden Merkmals. [Otto et al. 2001]

Unter der Voraussetzung einer eindimensionalen Präferenzrangfolge wird die Methode des Paarvergleiches häufig angewendet um instrumentelle Schätzverfahren auf Basis messbarer Größen mittels Regressionsalgorithmen zu entwickeln. Ergeben sich bei einem durchgeführten Paarvergleich mit mehreren Versuchspersonen Gruppierungen unterschiedlicher Rangfolgen, kann das ein Indiz für die Bewertung der Geräusche auf Grund unterschiedlicher Eigenschaften (Mehrdimensionalität) bzw. sehr hoher Ähnlichkeit zwischen den Geräuschen sein. [Bednarzyk 1999]

2.2 Reihenfolge der Stimuluspräsentation

An die Darbietung der Reihenfolge der Paarvergleiche werden aus experimenteller Sicht folgende Bedingungen gestellt:

1. Eine geordnete und regelmäßige Abarbeitung der Einzelstimuli ist zur Vermeidung von Suggestiv- und Ermüdungseffekten auszuschließen.
2. Innerhalb der Versuchsreihe soll der Abstand der Wiederholung jedes Einzelstimulus maximal sein.
3. Die Darbietungsabfolge aller Vergleichspaare soll ausgewogen erfolgen. Seit dem Ende des 19. und dem Anfang des 20. Jahrhunderts wurden verschiedene Methoden ent- wickelt um einen ausgewogenen Ablauf der Stimuli unter dem Aspekt der maximalen Distanz von Wiederholungen des Einzelstimulus zu ermöglichen. Um diese Aspekte gesamtheitlich zu erfüllen, reicht eine randomisierte Darbietung der Stimuli nicht aus, sondern bedarf einer strukturierten Anord- nung der Vergleichspaare. Einen guten Kompromiss der genannten Bedingungen stellt das Vorgehen von [Ross 1934] dar, welcher leicht in bestehende Versuchsroutinen implementiert werden kann, je- doch nur für eine ungerade Anzahl an Stimuli direkt umsetzbar ist. Bei einer geraden Anzahl an Stimuli ist es dennoch möglich diese Methode zu nutzen, in dem die Anordnung der Vergleichspaare für n+1-Stimuli berechnet und anschließend die Vergleichspaare, die den n+1-ten Stimulus enthalten, aussortiert werden. In Tab. 1 ist die grundlegende Methode dargestellt, wobei die optimale Reihenfol- ge spaltenweise abzulesen ist. Diese Methode führt auf eine Tabelle mitn+¹ Zeilen und n−1 Spalten,

Abbildung in dieser Leseprobe nicht enthalten

Tab. 1: Optimale Reihenfolge der Vergleichspaare nach [Ross 1934] für n-Stimuli.

wobei in den ungeraden Spalten in der letzten Zeile die Stimulusnummer immer mit sich selbst ver- glichen würde. Zur Korrektur wird in den ungeraden Spaltennummern immer der Stimulus 1 mit dem jeweils berechneten verglichen und in den geraden Spalten der Eintrag der letzten Zeile gelöscht. [Ross 1934]

2.3 Urteilskonsistenz

Um die Urteilskonsistenz der 2 Paarvergleichsergebnisse einer Versuchsperson, unter der Voraus- setzung einer eindimensionalen Rangreihenfolge, zu beurteilen wird die Transitivität, d.h. die Stabili- tät des Urteilskriteriums, überprüft und der damit zusammenhängende Kendall-Koeffizient k0 berech- net. Transitivität bei Paarvergleichsurteilen bedeutet, wenn Geräusch A gegenüber dem Geräusch B und B gegenüber C dominanter erscheint, so muss konsistenter Weise das Geräusch A gegenüber dem Geräusch C dominanter beurteilt werden (aus A>B>C folgt: A>C). Intransitivität, d.h. inkonsistente Beurteilungsergebnisse der Form A>B>C und A<C werden auch als zyklische Triaden bezeichnet. In Abb. 1 sind die Paarvergleichsurteile für drei Objekte bei transitiver, konsistenter Beurteilung einer zyklischen, intransitiven Beurteilung grafisch gegenübergestellt. Die Anzahl der zyklischen Triaden t einer Versuchsperson in einem kompletten Paarvergleich berechnet sich nach Gleichung (2) aus der Anzahl der Stimuli n und den Präferenzsummen s² i derZeilen-bzw.SpaltenobjekteausderDomi- nanzmatrix S der Versuchsperson.

Abbildung in dieser Leseprobe nicht enthalten

(a) Transitive, konsistente Urteile (azirkulär).

Abbildung in dieser Leseprobe nicht enthalten

(b) Intransitive, inkonsistente Urteile (zyklische Triade).

Abb. 1: Grafische Darstellung von möglichen Paarvergleichsurteilen bei drei Objekten.

Die Anzahl der maximal möglichen zyklischen Triaden tmax eines kompletten Paarvergleichs berechnet sich in Abhängigkeit der Anzahl der Stimuli n nach Gleichung (3).

Abbildung in dieser Leseprobe nicht enthalten

Aus dem Verhältnis der zirkulären Triaden einer Versuchsperson und den maximal möglichen zirkulären Triaden berechnet sich der Kendall-Konsistenzkoeffizient ko nach Gleichung (4).

Abbildung in dieser Leseprobe nicht enthalten

Die Überprüfung der Zufälligkeit der Höhe des Kendall-Koeffizienten, d. h. ob die Anzahl der zirkulären Triaden geringer ist als durch Zufall erwartet werden könnte, ist mit einem χ² -Test möglich. Die Prüfgröße χ² berechnet sich nach Gleichung (5)

Abbildung in dieser Leseprobe nicht enthalten

mit der Anzahl der Freiheitsgrade Fg nach Gleichung (6).

Abbildung in dieser Leseprobe nicht enthalten

Der zu vergleichende Wert der χ² -Verteilung ist für einige Freiheitsgrade und ausgewählte Wahrscheinlichkeiten tabelliert, bzw. lässt sich mit geeigneter mathematischer Software berechnen¹. Die Verwerfung der Nullhypothese H0, d. h. die Anzahl der zirkulären Triaden ist nicht überzufällig geringer als durch Zufall erwartet werden kann, erfolgt bei einem nach Gleichung (5) höheren χ² -Wert als der zugehörige Wert der χ² -Verteilung. [Bortz et al. 1990]

Ist die Anzahl der zirkulären Triaden nicht signifikant geringer als unter Zufallsbedingungen erwar- tet, ist das ein Indiz für die Mehrdimensionalität der Bewertung, die Inkonsistenz bzw. Nachlässigkeit des Beurteilers oder für eine geringe Distanz zwischen den zu vergleichenden Objekten. In diesem Fall ist ein Ähnlichkeits-Paarvergleich dem hier betrachteten Dominanzpaarvergleich zu bevorzugen. [Bortz und Döring 2003]

2.4 Urteilskonkordanz

Die Konkordanzanalyse nach Kendall untersucht die Übereinstimmung der abgegebenen Urteile in einem kompletten Paarvergleich von m-Beurteilern. Die Addition der Dominanzmatrizen Src aller

2 Dominanz-Paarvergleich 4

Versuchspersonen erfolgt nach Gleichung (7) und ergibt die Häufigkeitsmatrix Hrc, der die Anzahl der Präferenzen über alle Versuchspersonen für alle Stimuli entnommen werden kann. ∑

Abbildung in dieser Leseprobe nicht enthalten

Die Indizes r und c kennzeichnen dabei den jeweiligen Stimulus aus Spalte r bzw. den Stimulus aus Zeile c. Die Summe der übereinstimmenden Urteilerpaare J aller Beurteiler berechnet sich nach Gleichung (8) aus den absoluten Häufigkeitswerten hrc der Häufigkeitsmatrix Hrc.

Abbildung in dieser Leseprobe nicht enthalten

Eine Relativierung der übereinstimmenden Urteilerpaare J auf die Anzahl der Stimuli n und der Beurteiler m führt nach Gleichung (9) auf das Akkordanzmass A nach Kendall, welches bei maximaler Übereinstimmung der m-Beurteiler den Wert A = 1 annimmt.

Abbildung in dieser Leseprobe nicht enthalten

Zur Beurteilung der Zufälligkeit der Übereinstimmung der Beurteiler, wird der χ² -Wert unter Benutzung der ermittelten übereinstimmenden Urteilerpaare J , der Anzahl der Stimuli n und der Anzahl der Beurteiler m nach Gleichung (10) berechnet.

Abbildung in dieser Leseprobe nicht enthalten

2.5.1 Indirekte Rangordnung

Zur Ermittlung einer indirekten Rangordnung der Reize aus dem Dominanz-Paarvergleich werden die Reize entsprechend der Häufigkeiten in einer aufsteigend geordneten Folge mit ordinalem Skalenniveau angeordnet. Mit dem Rang R(sn) des Reizes sn wird die Position der n-ten Beobachtung innerhalb der geordneten Folge bezeichnet. Tritt eine Häufigkeit mehrfach im Datensatz auf, werden die entsprechenden Ränge gemittelt. [Bortz und Döring 2003]

2.5.2 Law of Comparative Judgement - Thurstone Skalierung

Die Thurstone Skalierung, auch Law of Comparative Judgement genannt, ist ein psychologisch moti- viertes, mathematisches Modell zur Transformierung der ordinalen Beurteilungen des Paarvergleiches auf das höhere Intervallskalenniveau. Dabei wird davon ausgegangen, dass jeder dargebotene Reiz Ri einen dazugehörigen Diskriminationsprozess Si auf einer psychologischen, internen, kontinuierlichen Skala auslöst. Die Intensitäten der dargebotenen Reize können auf einer kontinuierlichen Skala an- geordnet werden, die mit der internen Diskriminationsskala korreliert. Eine weitere Annahme ist die Diskrimination als deterministischer Prozess, der den Charakter einer Zufallsvariablen hat, d. h. der korrelative Zusammenhang zwischen Ri und Si ist auf Grund internen Rauschens nicht immer er- füllt. Diese Schwankungen des internen Rauschens werden als Diskriminationsstreuung bezeichnet und als normalverteilt um den „wahren“ Wert der Empfindungsstärke angenommen. Für nicht nor- malverteilte Diskriminationsstreuungen führt die Thurstone-Skalierung zu fehlerhaften Ergebnissen. Die Differenz der beiden Diskriminationsprozesse stellt ebenfalls wieder eine normalverteilte Zu- fallsvariable dar. In Abb. 2 a ist eine Verteilung der Diskriminationsprozesse beispielhaft für zwei Reize Ri und Rj dargestellt. Der Reiz Rj führt zum Skalenwert Sj und Reiz Ri zum Skalenwert Si mit den Standardabweichungen σj bzw. σi. Die Diskrimination beider Reize ist eine zufällige Größe, die um den Skalenwert normalverteilt ist und sich in einem Teilbereich überlagert, d. h. der Reiz Ri kann die Wahrnehmung Sj auslösen und umgekehrt. Diese Wahrscheinlichkeit hängt von der Dif- ferenz der Skalenwerte und der Varianzen beider Stimuli ab. Die Höhe der Skalendifferenz ist ein Maß für den wahrnehmbaren Unterschied der beiden Reize, d. h. bei einer Skalendifferenz von null existiert für den Beurteiler kein wahrnehmbarer Unterschied zwischen den Reizen und je größer die Skalendifferenz wird, um so größer ist der wahrnehmbare Unterschied für den Beurteiler. In Abb. 2 b ist der Zusammenhang der normalverteilten Diskriminationsprozesse und der normalverteilten Diffe- renz grafisch dargestellt. Die Division des Skalendifferenzwertes durch die Standardabweichung der

Abbildung in dieser Leseprobe nicht enthalten

(a) Verteilung der Diskriminationsprozesse Si und Sj her-vorgerufen durch die Reize Ri und Rj

Abbildung in dieser Leseprobe nicht enthalten

(b) Darstellung der Differenzverteilung der Diskriminati- . onsprozesse. Der z-Wert entspricht dem Mittelwert der Dif- ferenzverteilung.

Abb. 2: Thurstone Skalierung - Law of Comparative Judgement.

Differenzverteilung (Gleichung (13)) ergibt den z-Wert, also den abgeschnittenen Flächenanteil der Standardnormalverteilung.

Abbildung in dieser Leseprobe nicht enthalten

Im dargestellten Beispiel in Abb. 2 ergibt sich ein positiver z-Wert, wenn der Beurteiler den Reiz Ri gegenüber dem Reiz Rj dominanter einschätzt und ein negativer z-Wert für die Beurteilung Rj < Ri.

Die Standardabweichung σij der Differenzverteilung berechnet sich nach Gleichung (14), wobei rji die Korrelation zwischen den Skalenwerten kennzeichnet.

Abbildung in dieser Leseprobe nicht enthalten

Thurstone’s vollständiges Law of Comparative Judgement ist somit durch Äquivalenzumformungen in Gleichung (15) gegeben. Die komplette Herleitung ist in [Sixtl 1967] nachzulesen. √

Abbildung in dieser Leseprobe nicht enthalten

Die rechte Seite dieser Gleichung enthält die Varianzen σ² j undσi sowiedieKorrelationsparameterrij als unbekannte Parameter, für die in der Regel keine empirischen Werte gefunden werden können. Zur Lösung des Gleichungssystems werden deshalb folgende drei Approximationen der Gleichung (15) unterschieden:

- Approximation 1: Die Korrelationen der Skalenwerte rij = 0. Dadurch vereinfacht sich das Gleichungssystem zu Gleichung (16).

Abbildung in dieser Leseprobe nicht enthalten

- Approximation 2: Die Verteilungen der Diskriminationsprozesse streuen annähernd gleich; dadurch ergibt sich Gleichung (17).

Abbildung in dieser Leseprobe nicht enthalten

- Approximation 3: Die Korrelationen der Skalenwerte rij = 0 und die Standardabweichungen sind gleich (σj = σi = σij ). Dadurch kommt es zur Vereinfachung gemäß Gleichung (18).

Abbildung in dieser Leseprobe nicht enthalten

In der Praxis wird die dritte Approximation am häufigsten realisiert. Als Wahrscheinlichkeiten der Präferenz eines Reizes werden die ermittelten relativen Häufigkeiten verwendet und die diejenigen z-Werte der Standardnormalverteilung berechnet², die genau diesen Flächenanteil der Verteilung ab- schneiden. Diese z-Werte repräsentieren die Differenzen zwischen zwei Reizen auf einer Intervall- skala. Die somit berechneten Thurstone-Skalenwerte haben einen Mittelwert von null, d. h. es treten positive und negative Werte auf. Mittels zulässiger Lineartransformation wird zu allen Skalenwerten der Betrag des größten negativen Skalenwertes addiert, d. h. die gesamte Skala wird so verschoben, dass der Reiz mit der größten negativen Ausprägung den Nullpunkt der Skala repräsentiert. Nach dieser Transformation können alle für Intervallskalen zulässigen Operationen durchgeführt werden. [Bortz und Döring 2003]

Die Anwendung der Thurstone Skalierung ist sowohl zur Skalierung von einem Beurteiler geeignet, in dem diesen ein Paar von Reizen N-mal zum Vergleich dargeboten wird, als auch zur Skalierung von Gruppenergebnissen, in dem die Reizpaare einer Gruppe, bestehend aus mehreren Beurteilern jeweils einmal zum Vergleich dargeboten werden. Die Berechnung der Skalenwerte mit der oben beschrie- benen Methode eignet sich nur für die Fälle, bei denen in der Häufigkeitsmatrix Hrc keine relativen Häufigkeiten von null und eins vorkommen. Bei einer relativen Häufigkeit von null bzw. eins kommt es nicht zur Überlappung der Häufigkeitsverteilung der beiden Reize und die gesuchten Flächenan- teile in der Standardnormalverteilung können nur bei zij = ±∞ realisiert werden. In diesen Fällen eignet sich ein iteratives Verfahren nach Gulliksen, welches auf der Least-Squares-Methode basiert. [Sixtl 1967]

Abbildung in dieser Leseprobe nicht enthalten

Die Anzahl der Freiheitsgrade fg zur Berechnung des zu vergleichenden Wertes der χ² -Verteilung berechnet sich nach Gleichung (11).

Abbildung in dieser Leseprobe nicht enthalten

Ist der nach Gleichung (10) ermittelte χ² -Wert größer als der χ² -Wert der Verteilung, so führt das zum Ablehnen der Nullhypothese H0 auf dem betrachteten Signifikanzniveau, d. h. die Übereinstimmung der Beurteiler ist überzufällig hoch. [Bortz et al. 1990]

Eine hohe Übereinstimmung der abgegebenen Bewertungen ist notwendig um die individuellen Paar- vergleichsurteile mehrerer Beurteiler zusammenfassen zu können, wohingegen eine geringe Über- einstimmung der Beurteiler ein Indiz für die Mehrdimensionalität des Merkmals sein kann. Jedoch bedeutet eine hohe Akkordanz nicht automatisch eine konsistente Beurteilung der individuellen Ver- suchspersonen, denn diese können genauso einheitlich inkonsistent geurteilt haben. Wiederum führt eine hohe individuelle Konsistenz nicht zwangsweise zu einer hohen Übereinstimmung zwischen den Beurteilern, denn jede Versuchsperson kann in sich komplett konsistent antworten, aber eine vollkommen andere Reihenfolge der zu beurteilenden Stimuli wählen als ein anderer Beurteiler. [Bortz und Döring 2003]

2.5 Ergebnisskalierung

Bei ausreichender Konsistenz und Konkordanz ist die Berechnung von Rangskalen möglich, die je nach Methode Ordinalskalen- oder Intervallskalenniveau aufweisen. Allen Methoden gemeinsam ist die Voraussetzung der Eindimensionalität des zu bewertenden Merkmals. Nach [Sixtl 1967] ist Eindimensionalität dann gegeben, wenn der der größte wahrnehmbare Unterschied zwischen drei Objekten gleich der Summe der beiden kleineren Unterschiede ist (vgl. Gleichung (12)), wobei Dki der wahrgenommene Unterschied zwischen den Objekten k und i ist.

Abbildung in dieser Leseprobe nicht enthalten

[...]

¹ z.B. Matlab: chi2inv (Wahrscheinlichkeit, Freiheitsgrade)

² z.B. Matlab: norminv(rel. Häufigkeit)