Entwicklung und Auswertung eines Wissenstests "Methodenkenntnisse" zum Thema "Hypothesenbildung und statistische Entscheidungen"

GLIEDERUNG

1 Einordnung des Themas

2 Grundlagen der Testaufgabenentwicklung
2.1 Gütekriterien
2.2 Theoretische Modelle
2.3 Aufgabentypen
2.4 Aufgabenkonstruktion
2.5 Aufgabenanalyse
2.6 Auswertung und Interpretation

3 Testaufgaben
3.1 Allgemeine Hinweise
3.2 Aufgaben, Lehrziele und Lösungen

4 Zusammenfassung und Ausblick

5 Literatur

1 EINORDNUNG DES THEMAS

Der Begriff „Test“ hat viele Bedeutungen, obwohl die Übersetzung aus dem Engli­schen zunächst einfach nur „Probe“ bedeutet. Unter einem Test kann man u.a. das Verfahren zur Untersuchung eines Merkmals verstehen, aber auch den Vorgang der Untersuchung, die dazu benötigten Materialien oder auch bestimmte statistische Ver­fahren (z.B. c2-Test). Von diesen Bedeutungen ist die erste hier relevant. Lienert (1989, S. 7) definiert sie folgendermaßen: „Ein Test ist ein wissenschaftliches Routi­neverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persön­lichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den re­lativen Grad der individuellen Merkmalsausprägung.“

Unterscheiden lassen sich Tests nicht nur anhand des gemessenen Merkmals, son­dern z.B. auch nach Art der Beantwortung (frei - gebun­den), Art der Messung (direkt - indirekt), Art der Durchführung (in Gruppen oder einzeln) oder danach, ob mehr Wert auf Schnelligkeit oder Schwierigkeitsniveau ge­legt wird (Lienert, 1989, S. 21ff).

Hier sollen Methodenkenntnisse zum Thema „Hypothesenbildung und statistische Entscheidungen“ gemessen werden, bezogen auf den Fernstudienkurs 4771 „Be­schreibende und schließende Statistik“ (Abschnitte 5.3, 5.4, 22 und 23). Es handelt sich also um einen Leistungstest, da Wissen und nicht etwa ein Persönlichkeits­merkmal erfasst werden soll.

Mit Hilfe dieses Leistungstests soll entschieden werden können, ob ein Proband die genannten Kenntnisse besitzt, d.h. ob er den Kurs(teil) beherrscht. Das Ziel besteht folglich in einer Auslese derjenigen Personen, die ein bestimmtes Merkmal (Metho­denkenntnisse) besitzen. Der Geltungsbereich des Tests erstreckt sich im Prinzip auf Studenten, die diesen Kurs bearbeitet haben, da andere grundlegende Methodenkurse nicht völlig deckungsgleich sein müssen.

Da das Methodenwissen nicht „entweder vorhanden oder nicht vorhanden“ ist, son­dern ver­mutlich in graduellen Abstufungen vorkommt, muss entschieden werden, ab wann ein Proband als „Könner“ eingestuft werden soll.

Zudem soll nicht die Leistung im Vergleich zu anderen Studenten festgestellt wer­den, sondern die Leistung in Bezug auf ein vorgegebenes Lehrziel. D.h. es handelt sich um eine kriteriumsorientierte im Gegensatz zu einer normorientierten Messung. Vereinfacht könnte man sagen, es soll nach absoluten und externen, nicht nach rela­tiven Standards gemessen werden (Klauer, 1987, S. 4). Klauer (1987, S. 11) defi­niert: „Kriteriumsorientiert ist ein Test, der die Gesamtheit einer wohldefinierten Menge von Aufgaben enthält oder repräsentiert und der zu dem Zweck konstruiert ist,

- die Fähigkeit des Probanden zur Lösung der Aufgaben der definierten Menge zu schät­zen oder/und
- ihn gemäß dieser Fähigkeit einer Klasse von Probanden zuzuordnen.“

2 GRUNDLAGEN DER TESTAUFGABENENTWICKLUNG

2.1 GÜTEKRITERIEN

Wie schon in Lienerts Definition erwähnt, müssen Tests bestimmte Qualitätsstan­dards erfüllen. Als Kriterien für die Güte eines Tests gelten in erster Linie seine Ob­jektivität, seine Reliabilität und seine Validität. Objektiv ist ein Test dann, wenn ver­schiedene Anwender mit ihm zu den selben Ergebnissen gelangen. Lienert (1989, S. 13f) unterscheidet dabei die Durchführungsobjektivität, die durch eine bestmögliche Standardisierung der Instruktion und der Testsituation erreicht wird, die Auswer­tungsobjektivität, die von eindeutigen Regeln zur Bewertung abhängt, und die Inter­pretationsobjektivität, durch die aus dem gleichen Resultat auch gleiche Schlüsse ge­zogen werden sollen. Bei Leistungstests ist die Objektivität meist gut zu verwirkli­chen, anders als bei projektiven Tests.

Reliabel ist ein Test, wenn er das betreffende Merkmal sehr genau misst; dies ist feststellbar mit Paralleltests, mit Testwiederholungen oder anhand der inneren Kon­sistenz eines Tests (a.a.O., S. 14ff).

Valide ist ein Test, wenn er tatsächlich das Merkmal erfasst, um das es geht. Lienert (a.a.O., S. 16f) spricht von inhaltlicher Validität, die vorliegt, wenn der Test selbst das beste Kriterium zur Merkmalserfassung darstellt, von Konstruktvalidität, bei der ein Merkmal optimal operationalisiert worden ist und von kriterienbezogener Vali­dität, die von der Übereinstimmung zwi­schen Test und einem Außenkriterium ab­hängt.

Bei einem kriteriumsorientierten Test ist die Kontentvalidität (Inhaltsvalidität) aus­schlaggebend (Klauer, 1987, S. 12f).

Als Nebenkriterien nennt Lienert (1989, S. 18f) Normierung, Vergleichbarkeit, Öko­nomie und Nützlichkeit des Tests. Diese Maßstäbe gelten sowohl für den gesamten Test als auch für die einzelnen Items (Aufgaben). Ein Item kann als sehr objektiv, reliabel und valide betrachtet werden,

- wenn es von diversen Perso­nen übereinstimmend als richtig oder falsch gewertet wird,
- wenn die Beantwortung nach einem gewissen Zeitraum oder in einem parallelen Test gleich erfolgt und
- wenn ein Proband mit starker Merkmalsausprägung eher wie erwartet antwortet (vgl. a.a.O., S. 38).

2.2 THEORETISCHE MODELLE

Testtheorien beschäftigen sich mit den Anforderungen, denen ein Test entsprechen muss, damit seine Ergebnisse etwas über die tatsächliche Merkmalsausprägung aus­sagen (vgl. Bortz, 1984, S. 134). Nach der klassischen Testtheorie soll eine valide Aufgabe möglichst trennscharf sein, also die „guten“ von den „schlechten“ Proban­den absondern können. Dies ist am ehesten der Fall bei einem mittleren Schwierig­keitsindex (ein hoher Schwierigkeitsindex besteht in der Statistik bei vielen richtigen Lösungen). Bei kriteriumsorientierten Tests entsteht jedoch ein Problem (vgl. Klauer, 1987, S. 7f): Wenn alle Schüler einer Gruppe ein Lehrziel erreicht haben (wie es pä­dagogisch er­wünscht ist), variieren ihre Ergebnisse nicht mehr. Doch wenn die Vari­anz der Test­werte gegen Null geht, verschwinden auch Reliabilität und Validität, wie sich ma­thematisch zeigen lässt. Ebenso existiert keine Trennschärfe mehr, wenn die Aufga­ben von allen gelöst werden. Nach Klauer ist der Grund dafür, dass klassisch kon­struierte Tests nur für vergleichende Messungen geeignet sind.

Außerdem ist auch die Aufgabenselektion nach klassischen Maßstäben nicht immer möglich (Schott, 1988, S. 180). Items mit ungenügender Trennschärfe müssen beibe­halten werden, um eine ausreichende Inhaltsvalidität zu gewährleisten. Z.B. trennt die Aufgabe „Blutgruppen kennen“ bei angehenden Ärzten vielleicht nicht gut und hat einen zu hohen Schwierigkeitsindex, sie stellt aber eine wichtige Basisqualifika­tion dar, die geprüft werden sollte (Schott, a.a.O.).

Dagegen vereinigt die Genera­lisierbarkeitstheorie Reliabilität und Kontentvali­dität und dies ohne die klassischen Voraussetzungen (Klauer, 1987, S. 114f). Ein Test soll dabei zufallsparallel sein, d.h. aus einer definierten Itemgesamtmenge wird eine zu­fällige Stichprobe gezogen. Aus diesen Aufgaben wird dann der Test erstellt, das Er­gebnis stellt eine Schätzung des Merkmals bezogen auf die Gesamtmenge dar (Ai­ken, 1998, S. 45f).

2.3 AUFGABENTYPEN

Jede Aufgabe besteht aus einer Frage oder einem Problem und der Lösung bzw. der Stellungnahme. Dabei wird zunächst formal unterschieden zwischen gebundenen und freien Antworten (vgl. Lienert, 1989, S. 25ff). Gebunden sind Richtig-Falsch-Aufga­ben, Multiple-Choice-Aufgaben und Zu- oder Umordnungsaufgaben: Der Proband wählt aus den vorgegebenen Möglichkeiten die ihm richtig erscheinende Antwort oder bearbeitet die Reihenfolge vorgegebener Begriffe. Freie Aufgaben erlauben da­gegen die selbstständige Formulierung einer Lösung, meist als Kurzaufsatz mit be­schränkter Wortzahl. Bortz (1984, S. 144) nennt als Zwischenform die halboffene Beantwortung bei Ergänzungsaufgaben, Reihen- und Sammelantworten.

[...]