Gütekriterien und Sicherung der Validität bei psychologischen Experimenten

Inhaltsverzeichnis

1 Einleitung

2 Gütekriterien eines Experimentes
2.1 Konstruktvalidität
2.2 Inferenzstatistische Validität
2.3 Interne Validität
2.4 Externe Validität

3 Fehler & Störfaktoren
3.1 Interne Fehler
3.2 Externe Fehler

4 Typen experimenteller Kontrolle
4.1 Experimentelle & statistische & instrumentelle Kontrolltechniken
4.2 Versuchsplanerische Kontrolltechniken
4.2.1 Parallelisieren
4.2.2 Randomisieren
4.2.3 Ausschaltung/ Eliminierung
4.2.4 Abschirmung
4.2.5 Wiederholung
4.2.6 Verstärkung
4.2.7 Standardisierung/ Konstanthaltung
4.2.8 Instruktion
4.2.9 Ausbalancieren
4.2.10 Statistische Kontrolltechnik
4.3 Technik zur Sicherung der internen Validität

5 Verschiedene Experimentarten

6 Literaturverzeichnis

1 Einleitung

"Das Experiment bzw. die experimentelle Methode stellt für den Laien, aber auch für viele Wissenschaftler, die einzige oder zumindest wesentlichste empirisch-wissenschaftliche Methode dar. Diese Wertschätzung beruht einerseits auf die übereinstimmend zugestandenen Erfolge der experimentellen Methode im Bereich der Naturwissenschaften. Andererseits wird sie auch erkenntnis-theoretisch begründet: die experimentelle Methode erlaube den schlüssigen Nachweis kausaler Beziehungen. – Dies würde die Beschäftigung mit Experimenten legitimieren."^[1]

Durch Maschewskys Einleitung für sein Werk wird deutlich, welchen Stellenwert das Experiment in der heutigen Wissenschaft hat und somit auch die Relevanz dieser Methode in der Psychologie.

Diese Hausarbeit soll eine Hinführung zum Thema „Gütekriterien und Sicherung der Validität bei psychologischen Experimenten“ sein. Dabei werden die wesentlichen Fachtermini eingeführt und ein grober Überblick über verschiedene Arten der Validität sowie Störfaktoren geboten. Die Vorstellung verschiedener Kontrollt-echniken wird einen großen Teil der Hausarbeit einnehmen.

Ziel dieser Hausarbeit ist es nicht, einen Leitfaden zu erstellen, anhand dessen ein Experiment durchgeführt werden kann, das Anspruch auf Generalisierbarkeit und Interpretierbarkeit hat.

Für die wissenschaftliche Durchführung und Sicherung eines Experimentes sind diese Ausführungen nicht ausreichend. Für diesen Zweck sollte Fachliteratur herangezogen werden. An dieser Stelle möchte ich auf das Literaturverzeichnis verweisen, in dem die von mir verwendeten Werke bibliographisch erfasst wurden.

Aufgrund des Umfangs des Themas ist es mir nicht möglich, die Thematik vertiefter in dieser Hausarbeit darzustellen. Aus diesem Grund verzichte ich im wesentlichen auf Beispiele für diverse Effekte, Faktoren und Kontrollmethoden.

2 Gütekriterien eines Experimentes

Bei jedem Experiment, das inhaltlich interpretierbar sein soll, müssen gewisse festgelegte Bedingungen und Regeln eingehalten werden, damit die erhaltenen Beobachtungsdaten, also die Ergebnisse, als Grundlage für Schlussfolgerungen im Hinblick auf die Fragestellung dienen können.

Zur Bewertung der Güte eines Experimentes werden vier Kriterien als Maßstab herangezogen: Konstruktvalidität, inferenzstatistische Validität, interne und externe Validität.^[2]

2.1 Konstruktvalidität

Eine besonders hohe Konstruktvalidität liegt bei einem Experiment genau dann vor, wenn die unabhängige Variable in psychologisch inhaltlich präziser Weise auf die abhängige Variable wirkt, und somit keine Konfundierung mit irrelevanten Variablen entsteht.

Gewährleistet werden kann eine hohe Konstruktvalidität durch eine exakte Sachrepräsentanz der beobachteten Variablen für das Konstrukt oder einfacher: je exakter die abhängigen und unabhängigen Variablen das theoretische Konstrukt repräsentieren.

2.2 Inferenzstatistische Validität

Die inferenzstatistische Validität bezeichnet die Sicherheit, mit der Schlussfolgerungen, deren Daten anhand von Stichproben experimentell erhoben wurden, auf die Grundgesamtheit übertragbar sind. Trotz relativ konstanter Rahmenbedingungen variieren die Ergebnisse eines Experiments, d.h. die Messwerte sind nicht identisch. Das Maß der Abweichung dieser Messwerte ist ausschlaggebend für die Verallgemeinerungsfähigkeit. Nach den Gesetzen der Wahrscheinlichkeitstheorie lässt sich also feststellen: je geringer die Varianz der Ergebnisse, desto sicherer ist ein verallgemeinernder Schluss zulässig.

2.3 Interne Validität

Thomas Schulz definiert interne Validität folgendermaßen: “Interne Validität besteht in der Vermeidung von möglichen Konfundierungen der Variationen von experimentellen Einheiten mit der Variation von unabhängigen Variablen. Variation von unabhängigen Variablen setzt voraus, dass wenigstens zwei Bedingungen vorliegen. Alle Randbedingungen müssen konstant gehalten werden.“^[3]

Mit anderen Worten liegt interne Validität genau dann vor, wenn die Messwerte der unabhängigen Variablen eindeutig auf die Manipulation dieser Versuchsbedingungen zurückzuführen sind. Diese Effekte und Variation zum nicht manipulierten Experiment, dürfen nicht auf alternative Bedingungen zurückzuführen sein. Dies setzt eine Kontrolle möglicher Störvariablen voraus.

2.4 Externe Validität

Bei der externen Validität geht es im wesentlichen um die Frage, ob und in welchem Rahmen das Ergebnis verallgemeinert werden kann, bzw. um den Grad der Generalisierbarkeit, die wiederum eine interne Validität voraussetzt. Entspricht die Versuchssituation trotz der Reduzierung verschiedenster Einflüsse einer Alltagssituation oder jener Situation, auf die das Versuchsergebnis generalisiert werden soll?

Ist dies der Fall, so liegen auch eine Stichprobenrepräsentativität, Konstruktvalidität sowie Situationsrepräsentativität vor.

3 Störfaktoren & Fehlerquellen

Der Begriff ‚Störfaktor’ wird sehr vielfältig verwendet und hat somit keine eindeutige Bedeutung. Besonders häufig wird er im Zusammenhang mit einer Verletzung der internen Validität gebraucht. Da vor dem Experiment nur durch Randomisierung (s.u.) und andere Kontrolltechniken versucht werden kann, mögliche Störfaktoren zu eliminieren oder zu reduzieren, muss nach dem Versuch überprüft werden, ob diese ausreichend waren oder nicht. Erst wenn ein Störfaktor namentlich genannt und in einem Folgeexperiment belegt werden kann, ist er ein Störfaktor.

Ist man sich bereits vor dem Experiment eines Störfaktores bewusst, muss man das Experiment mit Hilfe verschiedener Kontrollmöglichkeiten (Randomisieren, Ausbalancieren oder Manipulieren etc.) dementsprechend anpassen, um sein Auftreten innerhalb des Experimentes zu verhindern. Bereits ab diesem Zeitpunkt ist dieser Faktor kein Störfaktor mehr. Bredenkamp bezeichnet diesen als ‚Kontrollfaktor’ und sieht in ihm die Möglichkeit, die interne Validität zu erhöhen.^[4]

Um verschiedene Störbedingungen besser differenzieren zu können, unterscheidet man bei der Gesamtvarianz zwischen der Primärvarianz und der Fehlervarianz. Letztere kann entweder inter- oder intraindividuell sein und wird noch einmal unterteilt in Sekundärvarianz (auch systematische Fehler genannt) und Zufallsfehler.

In diesem Zusammenhang versteht man unter der Primärvarianz die Variation der zu beobachtenden Reaktion entlang einer abhängigen Variablen. Im Gegensatz dazu ist die Sekundärvarianz ein systematischer Fehler, eine methodische Datenverzerrung, die auf unkontrollierte Störfaktoren zurückzuführen ist und die interne sowie die externe Validität gefährdet.

Ein unsystematischer Fehler, oder auch Zufallsfehler genannt, dagegen bedroht überwiegend die interne Validität und somit auch die Präzision der Ergebnisse. Die Präzision wird von Bredenkamp^[5] als das dritte Gütekriterium eines Experimentes bezeichnet, das heißt sie gibt die Genauigkeit einer Messung an, also die Reproduzierbarkeit eines exakten Wertes.

Um die inferenzstatistische Validität eines Experimentes zu ermitteln, werden Primärvarianz und Fehlervarianz zueinander in Beziehung gesetzt. Dabei wird die Gesamtvarianz zerlegt in eine sogenannte Zwischen- und Binnenvarianz, mit dem Ziel die Primärvarianz statistisch zu erfassen. Ein experimenteller Effekt läßt sich genau dann klarer darstellen und nachweisen, wenn die Primärvarianz im Vergleich zur Sekundärvarianz und dem Zufallsfehler größer ist.

Aber auch über diese Aufteilung der Störeffekte hinaus gibt es weitere Fehlerquellen, die die zu erhaltenen Ergebnisse beeinflussen und verzerren, so zum Beispiel externe sowie interne Fehler, die im Folgenden näher erläutert werden.

3.1 Interne Fehler

“Ein [systematischer] interner Fehler [dagegen] liegt vor, wenn die Variation der abhängigen Variable in den experimentellen Einheiten (z.B. Gruppen) nicht eindeutig auf die Variation der unabhängigen Variable zurückgeführt werden kann, weil die experimentellen Einheiten Eigenschaften haben, die mit der Variation der Behandlung kovariieren.“.^[6]

Daher ergeben sich folgende entscheidende logische Eigenschaften eines Experiments: zum einen muß mindestens eine Vergleichs- (Kontroll-) Bedingung (-P) bestehen, um festzustellen, ob P lediglich hinreichend oder auch notwendige Bedingung für das Auftreten von Q ist. Zum anderen muß der Unterschied zwischen P und –P feststellbar und definierbar sein. Dies ist nur dann möglich, wenn der Satz der Antecedens- Bedingungen, der in P und –P enthalten ist, so wenig wie möglich abgeändert wird. Um zum Beispiel die optischen Sinne auszuschalten, werden lediglich die Augen abgedeckt. Würde der Versuchsperson ein schwarzes Tuch über den Kopf gelegt oder das Sehvermögen durch eine lokale Betäubung ausgeschaltet, wären verschiedenste Nebeneffekte zu erwarten, die das Ergebnis verzerren und zu einer theoretischen Konfundierung führen könnten.

[...]

^[1] Maschewsky, Werner, Das Experiment in der Psychologie. Frankfurt/Main, New York: Campus Verlag, 1977, S. 9

^[2] Nach Cook, T.D. & Campbell, D.T.: The design and conduct of quasi- experiments and true experiments in field settings. In M.D. Dunnette (Ed.), Handbook of industrial and organized psychology. Chicago: Rand McNally, 1976, S. 208 und 239

^[3] Schulz, Thomas; Muthig, Klaus- Peter; Koeppler, Karlfritz, Theorie, Experiment und Versuchsplanung in der Psychologie. Stuttgart: Kohlhammer, 1981, S. 94

^[4] Bredenkamp, Jürgen, Experiment und Feldexperiment. In Graumann, C.F. (Hrsg.), Handbuch der Psychologie, Bd. 7, 1 Göttingen: Hogrefe 1969, S. 332 – 374

^[5] Bredenkamp, Jürgen, Experiment und Feldexperiment. In Graumann, C.F. (Hrsg.), Handbuch der Psychologie, Bd. 7, 1 Göttingen: Hogrefe 1969, S. 332 – 374

^[6] Schulz, Thomas; Muthig, Klaus- Peter; Koeppler, Karlfritz, Theorie, Experiment und Versuchsplanung in der Psychologie. Stuttgart: Kohlhammer, 1981, S. 92