Gütekriterien psychologischer Tests

Inhalt

Einleitung

Objektivität
Durchführungsobjektivität
Auswertungsobjektivität
Interpretationsobjektivität

Reliabilität
Retest-Reliabilität
Paralleltest-Reliabilität
Innere Konsistenz

Validität
Inhaltliche Validität
Konstruktvalidität
Kriteriumsvalidität
Prognostische Validität
Übereinstimmungsvalidität

Normierung

Ökonomie

Wechselbeziehungen zwischen (Haupt-)Gütekriterien

Schluss

Literaturverzeichnis

Einleitung

In Kombination konstituieren einzelne Items bestimmte Skalen oder Tests. Damit deren psychometrische Eigenschaften einer Beschreibung als Ganzes zuzuführen sind, wurden verschiedene Kriterien entwickelt. (Vgl. Amelang und Zielinski, S.139) Um die Qualität eines Tests bzw. eines Fragebogens zu bestimmen, werden verschiedene Varianten für die Bestimmung dieser Gütekriterien herangezogen. Die Testgüte soll somit möglichst genau beurteilt bzw. berechnet werden.

Von standardisierten Tests und Fragebögen, die diesen Kriterien genügen, sind projektive Tests zu unterschieden, die anstelle standardisierter Items bewusst sehr unstrukturiertes Material verwenden, um so Unbewusstes und Vorverbales zu erfassen^[1]. (Vgl. Bortz und Döring, S.194)

Lienert und Raatz (vgl. S. 7) unterschieden bei den Gütekriterien eines Tests zwischen Haupt- und Nebengütekriterien. Unter die Hauptgütekriterien werden die Objektivität, die Validität und Reliabilität subsumiert. Nebengütekriterien sind u.a. die Forderung nach Normierung und Ökonomie^[2]. (Ebd.)

Diese Gütekriterien werde ich nun im Einzelnen vorstellen. Ableitungen aus der Klassischen Testtheorie (KTT) werde ich aus Gründen des Umfangs nur einmalig exemplifizieren. Viele Aussagen zu den Gütekriterien erhalten aber ihre Relevanz erst aus den Grundannahmen der KTT bzw. durch Deduktionen aus dieser. Deshalb habe ich auf die Reproduktion bestimmter Schlussfolgerungen, da ich deren unvermittelte Darstellung als nicht sinnvoll erachte – sie würden zusammenhangslos in der Luft hängen –, verzichtet.

Objektivität

„Unter Objektivität eines Tests verstehen wir den Grad, in dem die Ergebnisse eines Tests unabhängig vom Untersucher sind.“ (Lienert und Raatz, 7)^[3]

Von einem vollkommen objektiven Test würde man dementsprechend dann sprechen, wenn verschiedene Untersucher bzw. Testleiter bei der selben Testperson zum selben Ergebnis gelangen.^[4] Neben der „Objektivität“ der Ergebnisse geht es auch um die Objektivität der Auswertung und der Interpretation. (Vgl. Kubinger, 26)

Lienert und Raatz (vgl. 8) unterscheiden dementsprechend die Durchführungs-, Auswertungs- und Interpretationsobjektivität. Diese unterschiedlichen Aspekte der Objektivität gestatten es, die Phase der Testdurchführung zu fixieren, in der Nicht-Übereinstimmungen auftreten respektive ausgelöst werden (ebd.).

Durchführungsobjektivität

Die Durchführungsobjektivität bezeichnet den Grad, in dem Variationen im Verhalten des Testleiters und der von diesem hergestellten Durchführungsbedingungen zu Veränderungen im Verhalten der Testpersonen führen. Um eine geringe Varianz des Testleiterverhaltens zu gewährleisten, wird eine Maximierung der Standardisierung der Testsituation angestrebt^[6]. Wenn die Testsituation und das Testleiterverhalten standardisiert sind, kann man davon ausgehen, dass Durchführungsobjektivität vorliegt^[7].^[5]

Auswertungsobjektivität

Dieser Aspekt der Objektivität „betrifft die numerische oder kategoriale Auswertung des registrierten Testverhaltens nach vorgegebenen Regeln.“ (Lienert und Raatz, S.8)

Dieses Kriterium kann als im absoluten Sinne erfüllt betrachtet werden, wenn die richtigen Lösungen bzw. Antworten anhand eines Lösungsschlüssels exakt festgelegt sind. Zur quantitativen Bestimmung werden die Testprotokolle einer Stichprobe mindestens zwei verschiedenen Auswertern vorgelegt, die unabhängig von einander die Punktwerte ermitteln. Um das Ausmaß der Übereinstimmung zu bestimmen, werden diese Ergebnisse korreliert^[8]. (Vgl. Amelang und Zielinski, S. 143f)

Interpretationsobjektivität

Interpretationsobjektivität ist gegeben, wenn aus den selben Auswertungsergebnissen verschiedene „Interpreten“ die selben Schlussfolgerungen ziehen.

Dies ist bei normierten Tests immer gegeben^[9]. (Vlg. Kubinger, S.33) Die Interpretationsobjektivität eines Tests ist hoch, wenn man sich bei der Interpretation eines Testwertes an vorgegebenen Vergleichwerten^[10] orientiert und nicht etwa an individuellen Deutungen. Entsprechende Normen werden anhand repräsentativer Stichproben ermittelt und dienen als Vergleichsmaßstab. (Vgl. Bortz und Döring, S.194f)

Reliabilität

„Unter der Reliabilität oder Zuverlässigkeit eines Tests versteht man den Grad der Genauigkeit, mit dem er ein bestimmtes Persönlichkeits- oder Verhaltensmerkmal mißt, gleichgültig, ob er dieses Merkmal auch zu messen beansprucht...“ (Lienert und Raatz, 9) Dieser Anspruch wird bei der Fragestellung nach der Validität eingelöst. Der Grad der Reliabilität wird durch einen Reliabilitätskoeffizienten bestimmt. Dieser gibt an, in welchem Maß unter gleichen Bedingungen gewonnene Messwerte ein und der selben Testperson übereinstimmen. In welchem Maß das Testergebnis also reproduzierbar ist^[11].

Wie auch schon bei der Objektivität werden auch bei der Reliabilität verschiedene Aspekte unterschieden – die Reliabilität eines Tests existiert nicht per se. (Vgl. Lienert und Raatz, S. 9)

Die unterschiedlichen Bestimmungen der Reliabilität bzw. die ihnen entsprechenden Begriffe werden gleich vorgestellt:

Vorher soll aber ein Grundgedanke dieser Konzepte, wie in der Einleitung angekündigt, verdeutlicht werden.

Von den Axiomen der KTT leiten sich die Reliabilität betreffend u.a. folgende Aussagen ab^[12]: Die Fehlerwerte eines Tests sind unabhängig von den wahren Werten dieses Tests t. Sie sind aber auch unabhängig vo n den wahren Werten eines anderen Tests u als auch unabhängig von seinen Fehlerwerten . Somit bestehen zwischen den Fehlerwerten von zwei Tests nur Nollkorrelationen:

[...]

^[1] Ein Beispiel für diese Tests ist der Rorschach-Test. Dass diese letztgenannten Tests den an sie herangetragen Gütekriterien eher schlecht entsprechen, sollte der Leser bei der folgenden allgemein gehaltenen Darstellung der Gütekriterien zur Verdeutlichung immer wieder bedenken.

^[2] Weitere als Nebengütekriterien etikettierte und hier nur der Vollständigkeit genannte Forderungen sind: der Test soll nützlich und vergleichbar sein (vgl. Lienert und Raatz, S.7). Das Testkuratorium der Förderation deutscher Psychologenverbände legt ebenfalls (hier nur genannte) Gütekriterien fest: Zumutbarkeit, (Un-)Verfälschbarkeit und Fairness (vgl. Kubinger, S.25). Auf das Gütekriterium der Skalierung werde ich ebenfalls nicht eingehen. Der Grund ist einfach: Zum Verständnis dieses Kriteriums wäre ein Rekurs auf die Probabilistische Testtheorie notwendig. Diese stellt für mich wie vermutlich auch für die meisten Leser Neuland dar und würde dementsprechend dieses Referat als auch mich überfordern. Der interessierte Leser kann sich diesbezüglich z.B. bei Kubinger ab S. 63 in Kenntnis setzen.

^[3] Da die Objektivität nicht nur, wie in dieser Definition, vom Verhalten des Testleiters abhängig ist, wird unter der Durchführungsobjektivität auch die Untersuchungssituation (bspw. räumliche und zeitliche Bedingungen) mit einbezogen.

^[4] Kubinger weist darauf hin, dass diese Überlegung als rein theoretische zu betrachten sei. Plausibelisiert wird dieser Hinweis durch den Verweis auf die Testwiederholung, die im Regelfall nicht unter den selben Bedingungen erfolgen könne; allein schon durch mögliche Übungseffekte. (Vgl. Kubinger, S. 26)

^[5] Vgl. Amelang und Zilinski, S.143

^[6] Zu dieser Standardisierung gehören bspw.: identische Testmaterialien und Zeitvorgaben für alle Teilnehmer und ausformulierte Instruktionen und Regeln, wie auf Nachfragen oder Störungen reagiert werden soll. Eine strikte Standardisierung der Testdurchführung minimiert die soziale Interaktion zwischen Testleiter und Testperson. Bei projektiven Verfahren ist dies meist nicht möglich. (Vgl. Amelang und Zielinski, S. 143)

^[7] Hingewiesen wird darauf, dass die quantitative Bestimmung der Durchführungsobjektivität auf erhebliche Schwierigkeiten stößt (vgl. Amelang und Zielinski, S. 143). Vgl. auch FN 4.

^[8] Bei mehreren Beurteilern wird die mittlere Korrelation zwischen ihnen herangezogen (vgl. Amelang und Zielinski, S.143).

^[9] Siehe auch bei Normierung.

^[10] Diese sind bei standardisierten Tests in den dazugehörigen Normtabellen abgebildet, d.h. für die einzelnen Rohwerte sind entsprechende Standardwerte aufgeführt (vgl. Amelang und Zielinski, S. 146).

^[11] Kubinger (36) problematisiert, dass der Anspruch der theoretischen Reproduzierbarkeit – bspw. aufgrund von Übungs- und Erinnerungseffekten bei vor allem kurzfristigen Testwiederholungen – in der psychologischen Diagnostik schwer haltbar ist.

^[12] Vgl. Amelang & Zielinski , S. 35ff. Einige der Formeln wurden von mir formal modifiziert.