GLIEDERUNG

1  Einordnung des Themas  1

2  Grundlagen der Testaufgabenentwicklung.  2

2.1  Gütekriterien.  2

2.2  Theoretische Modelle  3

2.3  Aufgabentypen  4

2.4  Aufgabenkonstruktion.  5

2.5  Aufgabenanalyse  6

2.6  Auswertung und Interpretation.  7

3  Testaufgaben.  8

3.1  Allgemeine Hinweise  8

3.2  Aufgaben, Lehrziele und Lösungen  9

4  Zusammenfassung und Ausblick.  14

5  Literatur  16

II

1 EINORDNUNG DES THEMAS

Der Begriff „Test“ hat viele Bedeutungen, obwohl die Übersetzung aus dem Englischen zunächst einfach nur „Probe“ bedeutet. Unter einem Test kann man u.a. das Verfahren zur Untersuchung eines Merkmals verstehen, aber auch den Vorgang der Untersuchung, die dazu benötigten Materialien oder auch bestimmte statistische Verfahren (z.B. χ ² -Test). Von diesen Bedeutungen ist die erste hier relevant. Lienert

(1989, S. 7) definiert sie folgendermaßen: „Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung.“

Unterscheiden lassen sich Tests nicht nur anhand des gemessenen Merkmals, sondern z.B. auch nach Art der Beantwortung (frei - gebunden), Art der Messung (direkt - indirekt), Art der Durchführung (in Gruppen oder einzeln) oder danach, ob mehr Wert auf Schnelligkeit oder Schwierigkeitsniveau ge legt wird (Lienert, 1989, S. 21ff).

Hier sollen Methodenkenntnisse zum Thema „Hypothesenbildung und statistische Entscheidungen“ gemessen werden, bezogen auf den Fernstudienkurs 4771 „Beschreibende und schließende Statistik“ (Abschnitte 5.3, 5.4, 22 und 23). Es handelt sich also um einen Leistungstest, da Wissen und nicht etwa ein Persönlichkeitsmerkmal erfasst werden soll.

Mit Hilfe dieses Leistungstests soll entschieden werden können, ob ein Proband die genannten Kenntnisse besitzt, d.h. ob er den Kurs(teil) beherrscht. Das Ziel besteht folglich in einer Auslese derjenigen Personen, die ein bestimmtes Merkmal (Methodenkenntnisse) besitzen. Der Geltungsbereich des Tests erstreckt sich im Prinzip auf Studenten, die diesen Kurs bearbeitet haben, da andere grundlegende Methodenkurse nicht völlig deckungsgleich sein müssen.

Da das Methodenwissen nicht „entweder vorhanden oder nicht vorhanden“ ist, sondern vermutlich in graduellen Abstufungen vorkommt, muss entschieden werden, ab wann ein Proband als „Könner“ eingestuft werden soll.

Zudem soll nicht die Leistung im Vergleich zu anderen Studenten festgestellt werden, sondern die Leistung in Bezug auf ein vorgegebenes Lehrziel. D.h. es handelt sich um eine kriteriumsorientierte im Gegensatz zu einer normorientierten Messung. Vereinfacht könnte man sagen, es soll nach absoluten und externen, nicht nach relativen Standards gemessen werden (Klauer, 1987, S. 4). Klauer (1987, S. 11) defi-

1

niert: „Kriteriumsorientiert ist ein Test, der die Gesamtheit einer wohldefinierten Menge von Aufgaben enthält oder repräsentiert und der zu dem Zweck konstruiert ist,

- die Fähigkeit des Probanden zur Lösung der Aufgaben der definierten Menge zu schätzen oder/und

- ihn gemäß dieser Fähigkeit einer Klasse von Probanden zuzuordnen.“

2 GRUNDLAGEN DER TESTAUFGABENENTWICKLUNG

2.1 GÜTEKRITERIEN

Wie schon in Lienerts Definition erwähnt, müssen Tests bestimmte Qualitätsstandards erfüllen. Als Kriterien für die Güte eines Tests gelten in erster Linie seine Objektivität, seine Reliabilität und seine Validität. Objektiv ist ein Test dann, wenn verschiedene Anwender mit ihm zu den selben Ergebnissen gelangen. Lienert (1989, S. 13f) unterscheidet dabei die Durchführungsobjektivität, die durch eine bestmögliche Standardisierung der Instruktion und der Testsituation erreicht wird, die Auswertungsobjektivität, die von eindeutigen Regeln zur Bewertung abhängt, und die Interpretationsobjektivität, durch die aus dem gleichen Resultat auch gleiche Schlüsse gezogen werden sollen. Bei Leistungstests ist die Objektivität meist gut zu verwirklichen, anders als bei projektiven Tests.

Reliabel ist ein Test, wenn er das betreffende Merkmal sehr genau misst; dies ist feststellbar mit Paralleltests, mit Testwiederholungen oder anha nd der inneren Konsistenz eines Tests (a.a.O., S. 14ff).

Valide ist ein Test, wenn er tatsächlich das Merkmal erfasst, um das es geht. Lienert (a.a.O., S. 16f) spricht von inhaltlicher Validität, die vorliegt, wenn der Test selbst das beste Kriterium zur Merkmalserfassung darstellt, von Konstruktvalidität, bei der ein Merkmal optimal operationalisiert worden ist und von kriterienbezogener Validität, die von der Übereinstimmung zwischen Test und einem Außenkriterium abhängt.

Bei einem kriteriumsorientierten Test ist die Kontentvalidität (Inhaltsvalidität) ausschlaggebend (Klauer, 1987, S. 12f).

Als Nebenkriterien nennt Lienert (1989, S. 18f) Normierung, Vergleichbarkeit, Ökonomie und Nützlichkeit des Tests. Diese Maßstäbe gelten sowohl für den gesamten Test als auch für die einzelnen Items (Aufgaben). Ein Item kann als sehr objektiv, reliabel und valide betrachtet werden,

2

- wenn es von diversen Personen übereinstimmend als richtig oder falsch gewertet wird,

- wenn die Beantwortung nach einem gewissen Zeitraum oder in einem parallelen Test gleich erfolgt und

- wenn ein Proband mit starker Merkmalsausprägung eher wie erwartet antwortet (vgl. a.a.O., S. 38).

2.2 THEORETISCHE MODELLE

Testtheorien beschäftigen sich mit den Anforderungen, denen ein Test entsprechen muss, damit seine Ergebnisse etwas über die tatsächliche Merkmalsausprägung aussagen (vgl. Bortz, 1984, S. 134). Nach der klassischen Testtheorie soll eine valide Aufgabe möglichst trennscharf sein, also die „guten“ von den „schlechten“ Probanden absondern können. Dies ist am ehesten der Fall bei einem mittleren Schwierigkeitsindex (ein hoher Schwierigkeitsindex besteht in der Statistik bei vielen richtigen Lösungen). Bei kriteriumsorientierten Tests entsteht jedoch ein Problem (vgl. Klauer, 1987, S. 7f): Wenn alle Schüler einer Gruppe ein Lehrziel erreicht haben (wie es pädagogisch erwünscht ist), variieren ihre Ergebnisse nicht mehr. Doch wenn die Varianz der Testwerte gegen Null geht, verschwinden auch Reliabilität und Validität, wie sich ma thematisch zeigen lässt. Ebenso existiert keine Trennschärfe mehr, wenn die Aufga ben von allen gelöst werden. Nach Klauer ist der Grund dafür, dass klassisch konstruierte Tests nur für vergleichende Messungen geeignet sind. Außerdem ist auch die Aufgabenselektion nach klassischen Maßstäben nicht immer möglich (Schott, 1988, S. 180). Items mit ungenügender Trennschärfe müssen beibehalten werden, um eine ausreichende Inhaltsvalidität zu gewährleisten. Z.B. trennt die Aufgabe „Blutgruppen kennen“ bei angehenden Ärzten vielleicht nicht gut und hat einen zu hohen Schwierigkeitsindex, sie stellt aber eine wichtige Basisqualifikation dar, die geprüft werden sollte (Schott, a.a.O.).

Dagegen vereinigt die Generalisierbarkeitstheorie Reliabilität und Kontentvalidität und dies ohne die klassischen Voraussetzungen (Klauer, 1987, S. 114f). Ein Test soll dabei zufallsparallel sein, d.h. aus einer definierten Itemgesamtmenge wird eine zufällige Stichprobe gezogen. Aus diesen Aufgaben wird dann der Test erstellt, das Ergebnis stellt eine Schätzung des Merkmals bezogen auf die Gesamtmenge dar (Aiken, 1998, S. 45f).

3