Entwicklung eines Constructed-Response-Tests

Inhaltsverzeichnis

Abkürzungsverzeichnis

Abbildungsverzeichnis

Tabellenverzeichnis

1. Einleitung
1.1 Problem- und Zielstellung der Arbeit
1.2 Vorgehen in der Arbeit

2. Vorüberlegungen zu Untersuchungsdesign und Testart
2.1 Empfehlungen zum Untersuchungsdesign
2.2 Normorientierte oder kriteriumsorientierte Leistungsmessung

3. Theoretische Grundlagen zur Entwicklung lernzielorientierter Tests
3.1 Notwendige Schritte bei der Entwicklung eines lernzielorientierten Tests
3.2 Lernzielbeschreibung als Ausgangspunkt der Testentwicklung
3.2.1 Lernzielbegriff und Verfahren der Lernzielbeschreibung
3.2.2 Taxonomien als Hilfsinstrument bei der Lernzielbeschreibung
3.2.2.1 Klärung des Taxonomie-Begriffs
3.2.2.2 Erläuterungen des Vorgehens bei der Selektion der Klassifikationssysteme
3.2.2.3 Erläuterung der Merkmale zur Charakterisierung der Klassifikationssysteme
3.2.2.4 Charakterisierung der Klassifikationssysteme
3.2.2.5 Auswahl eines geeigneten Klassifikationssystems für die Lernzielbeschreibung
3.2.3 Lernzielbeschreibung mithilfe der Taxonomie von Anderson und Krathwohl
3.2.3.1 Wesentliche Eigenschaften der überarbeiteten Taxonomie
3.2.3.2 Wissensdimension
3.2.3.3 Dimension der kognitiven Prozesse
3.2.4 Von Lernzielen zu lernzielorientierten Testaufgaben
3.2.4.1 Lernzielbeschreibung mithilfe einer taxonomisch strukturierten Lernzielmatrix
3.2.4.2 Planung der Aufgabenanzahl mithilfe der Lernzielmatrix
3.3 Regeln für die Aufgabenkonstruktion und mögliche Aufgabenformate
3.4 Testzusammenstellung, -anweisung und -durchführung
3.4.1 Zusammenstellung und Anordnung der Aufgaben zum Test
3.4.2 Formulierung der Testanweisungen
3.4.3 Durchführung des Tests und Bewertung der Aufgaben
3.5 Aufgaben- und Testanalyse
3.5.1 Besonderheit der Testwerte bei lernzielorientierten Tests
3.5.2 Analyse der Aufgaben
3.5.3 Ermittlung der Gütekriterien eines Tests
3.5.3.1 Testobjektivität
3.5.3.2 Testreliabilität
3.5.3.3 Testvalidität
3.6 Ermittlung der Lernwirksamkeit als Interpretation der Testergebnisse

4. Entwicklung der Vorform eines Tests zum Thema „Inflation“
4.1 Vorbemerkungen zur Testentwicklung
4.2 Lernzielbeschreibung und Planung der Aufgabenanzahl
4.3 Aufgabenkonstruktion
4.3.1 Einordnung der Items in die Lernzielmatrix und verwendete Aufgabenformate
4.3.2 Erläuterungen zu den konstruierten Testaufgaben
4.4 Anordnung der Aufgaben im Test
4.5 Formulierung der Testanweisungen und Empfehlungen zur Bewertung

5. Hinweise für den praktischen Einsatz des Tests als Schlussbetrachtung

Literaturverzeichnis

Anhang

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

Abbildungsverzeichnis

Abb. 1: Empfohlener Versuchsplan zur Messung der Lernwirksamkeit

Abb. 2: Entwicklungsschritte lernzielorientierter Tests

Abb. 3: Vorgehen der Lernzielbeschreibung zur Sicherung der Kontentvalidität

Abb. 4: Strukturelle und terminologische Änderungen der Anderson-Taxonomie

Abb. 5: Schritte zur Konstruktion lernzielorientierter Tests

Abb. 6: Überblick über die wichtigsten Aufgabenformate

Abb. 7: Beispielhafte Aufgaben für das Selected-Response-Format

Abb. 8: Beispiel für eine Completion- und eine Short-Answer-Aufgabe

Abb. 9: Beispielhafte Aufgaben für das Essay-Format

Abb. 10: Streuung der Testwerte bei norm- und lernzielorientierten Tests

Tabellenverzeichnis

Tab. 1: Überblick über die wichtigsten Verfahren der Lernzielbeschreibung

Tab. 2: Das allgemeine Schema der Tyler-Matrix

Tab. 3: Vor- und Nachteile relevanter Verfahren zur Lernzielbeschreibung

Tab. 4: Übersicht über die wesentlichen Merkmale der Klassifikationssysteme

Tab. 5: Taxonomietabelle von Anderson und Krathwohl

Tab. 6: Tyler- bzw. Lernzielmatrix mit taxonomischer Strukturierung

Tab. 7: Angabe der Aufgabenanzahl in der Lernzielmatrix

Tab. 8: Datenmatrix zur Ermittlung der Trennschärfe

Tab. 9: Zu überprüfende Teillernziele und geplante Aufgabenanzahl je Zelle

Tab. 10: Einordnung der konstruierten Testaufgaben in die Lernzielmatrix

Tab. 11: Zuteilung der verwendeten Aufgabenformate zu den konstruierten Items

1. Einleitung

1.1 Problem- und Zielstellung der Arbeit

Mit welchen Medien können Schüler besser lernen? Welche Lehrmethode ist lernwirksa- mer? Mit der Frage der Lernwirksamkeit wird sich immer wieder im Rahmen der Unter- richtsforschung beschäftigt. Dabei gibt die Lernwirksamkeit von bestimmten Unterrichts- methoden oder Lehrmedien - um es allgemeiner zu bezeichnen: die Lernwirksamkeit einer pädagogisch-didaktischen Intervention - an, ob sie bei den Schülern einen Lernzuwachs (Lerngewinn) bewirkt hat oder nicht. Eine lernwirksame Intervention sollte demnach zu einer positiven Veränderung der Lernleistung führen. Die Erfassung dieser Veränderung sollte möglichst objektiv, gültig und zuverlässig erfolgen. Gegenüber anderen Beurtei- lungsmethoden wie beispielsweise dem Lehrerurteil kommt dabei der Anwendung von psychometrischen Tests die bedeutsamste Rolle zu (vgl. u.a. Ingenkamp, 1970, S. 1007f., Raatz, 1978, S. 187f). Unter einem Test verstehen Lienert und Raatz (1998) „… ein wis- senschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch ab- grenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung“ (S. 1). Meist können die bereits vorhandenen, im Handel erhältlichen Tests nicht für die Messung der Lernwirk- samkeit einer bestimmten pädagogisch-didaktischen Intervention verwendet werden, da diese eher allgemein und nicht auf die speziellen Inhalte zugeschnitten sind, die durch die Intervention vermittelt werden sollen. In diesem Fall müssen Tests entwickelt werden, die sich direkt auf die Intervention beziehen. Dabei stellt sich dann die Frage, wie man bei der Konstruktion eines solchen Tests vorgehen sollte und was es zu beachten gilt.

Die vorliegende Arbeit soll versuchen, diese Frage im Ansatz zu beantworten. Dabei liegt folgendes Problem vor: Eine pädagogisch-didaktische Intervention zum Thema „Inflation“ soll auf ihre Lernwirksamkeit hin untersucht werden. Da es für dieses Themengebiet kei- nen bereits entwickelten Test gibt, der zur Überprüfung von Leistungen dieses doch sehr kleinen Ausschnitts aus dem Bereich der Volkswirtschaftslehre herangezogen werden kann, stellt sich folgende Aufgabe: Ziel der vorliegenden Arbeit soll sein, einen Test mit einer entsprechenden Musterlösung zu entwickeln, der die Lernwirksamkeit einer pädago- gisch-didaktischen Intervention zum Thema „Inflation“ erfasst. Dabei sollen ausschließlich jene Lernleistungen gemessen werden, die dem kognitiven Verhaltensbereich zugeordnet werden können.¹ Der Test überprüft also, ob die Intervention einen Lernzuwachs in Bezug auf das Erinnern bzw. die Erkenntnis von Wissen sowie die Entwicklung von intellektuellen Fähigkeiten und Fertigkeiten (vgl. Bloom, Engelhart, Furst, Hill & Krathwohl, 1976) bewirkt hat. Des Weiteren interessiert in erster Linie das aktive Wissen, dass den Schülern durch die Intervention vermittelt werden kann. Daher kommen für den in dieser Arbeit zu konstruierenden Test ausschließlich Aufgabenarten in Frage, bei denen die Antwort selbst formuliert werden muss. In der englisch sprachlichen Literatur werden diese Formate auch als Constructed-Response-Aufgaben bezeichnet (vgl. z. B. Roid & Haladyna, 1982, S. 45).² Der zu konstruierende Test stellt lediglich eine Vorform dar, da er im Rahmen dieser Arbeit keiner praktischen Erprobung unterzogen werden kann.

1.2 Vorgehen in der Arbeit

In Kapitel 2 werden Vorüberlegungen zum Untersuchungsdesign und zur Testart angestellt. Dabei soll in Abschnitt 2.1 zunächst ein Versuchsplan vorgeschlagen werden. In Abschnitt 2.2 wird erörtert, welche Testart am besten für die Messung der Lernwirksamkeit einer pädagogisch-didaktischen Intervention geeignet erscheint.

Kapitel 3 liefert die theoretische Basis für die Entwicklung eines Tests. Abschnitt 3.1 gibt einen Überblick über die dazu notwendigen Konstruktionsschritte. In Abschnitt 3.2 wird ein geeignetes Verfahren zur Lernzielbeschreibung ausgewählt und im Anschluss daran genauer erläutert. Des Weiteren soll ausführlich dargelegt werden, wie man von Lernzielen zu konkreten Testaufgaben kommt. Abschnitt 3.3 enthält Konstruktionsregeln für die Ent- wicklung von Aufgaben und gibt einen Überblick über mögliche Aufgabenformate. Dabei soll insbesondere das Constructed-Response-Format näher beleuchtet werden. Anschlie- ßend wird erörtert, was bei der Zusammenstellung der Aufgaben und ihrer Anordnung im Test beachtet werden muss. Weiterhin wird auf notwendige Angaben in den Testanwei- sungen eingegangen und Überlegungen zu den Bedingungen bei der Durchführung des Tests angestellt. Darüber hinaus werden Möglichkeiten bei der Bewertung der Testaufga- ben aufgezeigt (Abschnitt 3.4). Abschnitt 3.5 befasst sich ausführlich mit den notwendigen Verfahren im Rahmen der Aufgaben- und Testanalyse, die dazu dienen den Test in seine Endform zu überführen sowie die Güte desgleichen zu überprüfen. Zum Abschluss des Kapitels werden Überlegungen angestellt, wie die Lernwirksamkeit einer pädagogisch- didaktischen Intervention anhand der gewonnenen Testdaten ermittelt werden kann (Ab- schnitt 3.6).

Kapitel 4 widmet sich dem konstruierten Test. Basierend auf Kapitel 3, soll erläutert wer- den, welche Lernziele für den Test festgelegt und wie diese beschrieben wurden (Abschnitt 4.2). Anschließend wird das Vorgehen bei der Entwicklung der Aufgaben erläutert (Ab- schnitt 4.3) und erklärt, welche Überlegungen für ihre Anordnung im Test getroffen wur- den (Abschnitt 4.4). Zum Abschluss wird auf die formulierten Anweisungen im Test ein- gegangen und darüber hinaus Empfehlungen für die Bewertung der Aufgaben gegeben.

Die Schlussbetrachtung dieser Arbeit stellen Hinweise für den praktischen Einsatz des Tests dar (Kapitel 5).

2. Vorüberlegungen zu Untersuchungsdesign und Testart

2.1 Empfehlungen zum Untersuchungsdesign

Wie bereits eingangs erwähnt, soll mithilfe des zu konstruierenden Tests die Lernwirksam- keit einer pädagogisch-didaktischen Intervention gemessen werden. Um diese ermitteln zu können, schlägt der Autor der vorliegenden Arbeit vor, den Test sowohl direkt vor als auch direkt nach der Intervention einzusetzen und die Ergebnisse einander gegenüberzustellen. Der Vortest soll dabei das Vorwissen der Probanden vor der Intervention erfassen. Dersel- be Test prüft als Nachtest, was die Versuchspersonen durch die Intervention gelernt haben. Eine positive Veränderung der Leistung im Nachtest gegenüber dem Vortest lässt die Lernwirksamkeit einer pädagogischen Intervention vermuten (vgl. dazu genauer Abschnitt 3.6).

Um sicherzustellen, dass der Lerngewinn auch tatsächlich auf den Einfluss der pädago- gisch-didaktischen Intervention zurückzuführen ist und nicht durch die Einwirkung ande- rer, so genannter Störfaktoren zustande kam, sollte eine äquivalente Kontrollgruppe zum Vergleich herangezogen werden (vgl. Schwarz, 1970, S. 479f.; Stelzl, 1993, S. 170). Diese Kontrollgruppe muss dem Test ebenfalls zu zwei Zeitpunkten unterzogen werden, ohne jedoch in der Zwischenzeit die spezielle pädagogisch-didaktische Intervention zu erfahren, deren lernwirksamen Einfluss es zu überprüfen gilt. Demnach erhält die Kontrollgruppe im Gegensatz zur Versuchsgruppe, in der Fachsprache ausgedrückt, kein Treatment (hier: die spezielle Intervention). Es kann daher vermutet werden, dass sich die beiden Gruppen hin- sichtlich ihrer Leistung im Nachtest unterscheiden. Graphisch ließe sich der Versuchsplan folgendermaßen darstellen:

Abb. 1: Empfohlener Versuchsplan zur Messung der Lernwirksamkeit

Abbildung in dieser Leseprobe nicht enthalten

(Quelle: eigene Darstellung)

Durch das Heranziehen einer Kontrollgruppe, auf die die Störvariablen in gleicher Weise wirken wie auf die Versuchsgruppe, können diese unerwünschten Einflüsse kontrolliert werden. Störgrößen, die bei einer Vortest-Nachtest-Anordnung auftreten und die Untersu- chungsergebnisse verzerren können, sind unter anderem in Schwarz (1970, S. 459f.) und Petermann (1978, S. 18ff.) aufgeführt. Zur Verdeutlichung soll folgendes Beispiel dienen: Ein wesentlicher Störfaktor ist der Lerneffekt, der durch den Vortest verursacht werden und eine Verbesserung der Leistung im Nachtest bewirken kann. Da der Test jedoch auch zweimal mit der Kontrollgruppe durchgeführt werden soll, tritt dieser Effekt gleichermaßen in beiden Gruppen auf. Den Nettoeffekt der pädagogisch-didaktischen Intervention auf die Lernleistung kann man dann durch die Gegenüberstellung der Nachtest-Vortest- Differenz jeweils beider Gruppen ermitteln (vgl. Rossi & Freeman, 1993, S. 268f.; zur Quantifizierung der Lernwirksamkeit vgl. genauer Abschnitt 3.6).

Für eine eindeutige Interpretation der Testergebnisse, das heißt, ob eine pädagogisch- didaktische Intervention lernwirksam war oder nicht, ist es unbedingt erforderlich, dass sich Kontroll- und Versuchsgruppe nur geringfügig hinsichtlich ihrer Ausgangsbedingun- gen wie etwa Vorwissen, Motivation oder Intelligenz unterscheiden (vgl. Bortz & Döring, 2006, S. 54). Mögliche Gruppenunterschiede lassen sich beispielsweise ausgleichen, wenn die Versuchspersonen bei einer genügend großen Stichprobe per Randomisierung (Zufalls- ziehung) auf die jeweiligen Gruppen aufgeteilt werden (vgl. dazu und zu den Möglichkei- ten, wenn keine Randomisierung möglich ist Bortz & Döring, 2006, S. 54ff., S. 524ff., S. 550ff.). Die so genannte randomisierte Kontrollgruppenanordnung bei zwei oder mehreren Testzeitpunkten weist eine hohe interne Validität auf (vgl. Schwarz, 1970, S. 479f.) und wird daher vom Autor der vorliegenden Arbeit für die Messung der Lernwirksamkeit pä- dagogisch-didaktischer Intervention empfohlen.

2.2 Normorientierte oder kriteriumsorientierte Leistungsmessung

Die Lernwirksamkeit einer pädagogisch-didaktischen Intervention soll mithilfe eines Tests gemessen werden, der die Lernleistung bei Versuchs- und Kontrollgruppe sowohl vor als auch nach der Intervention erfasst. Nun stellt sich allerdings die Frage, mit welcher Art von Tests man die Leistung der Probanden am besten erfassen kann, um letztendlich auf die Lernwirksamkeit einer Intervention zu schließen. Grundsätzlich unterscheidet man normorientierte und kriteriumsorientierte Tests. Der Hauptunterschied zwischen diesen beiden Testtypen liegt in der Art der Informationen, die aus den Ergebnissen einer Leis- tungsmessung gewonnen werden.

Ein normorientierter Test lässt eine Interpretation der individuellen Testleistung in Relati- on zu anderen Probanden zu. Aus einer Reihe verschiedener Testergebnisse von unter- schiedlichen Personen kann eine Rangordnung aufgestellt und damit die relative Position eines Individuums in Bezug auf die festgelegte Personengruppe angegeben werden. Die Leistungsbeurteilung eines Probanden erfolgt bei normorientierten Tests durch den Ver- gleich seiner Leistung mit den Leistungen der anderen Gruppenmitglieder. Eine Person kann demnach besser oder schlechter als eine andere sein, weshalb sich solche Tests gut zur Leistungsdifferenzierung, beispielsweise für die Notenvergabe in der Schule eignen. Allerdings geben die Testwerte kaum Auskunft über den Umfang und die Art der be- herrschten Fähigkeiten (vgl. u.a. Büscher, 1984, S. 99f.; Glaser, 1973, S. 11; Klauer, 1987, S. 7).

Bei kriteriumsorientierten Tests werden die individuellen Testergebnisse in Bezug zu ei- nem vorher festgelegten Kriterium (z. B. Leistungsstandart) interpretiert. Die Leistungs- bewertung erfolgt dabei unabhängig von den Leistungen anderer Personen (vgl. Glaser, 1973, S. 10) und lässt daher absolute Aussagen über die Fähigkeiten eines Individuums zu. Ist das als Bewertungsmaßstab dienende Kriterium ein Lernziel oder eine Gruppe von Lernzielen, so spricht man in diesem Zusammenhang auch von lernzielorientierten³ Tests. Nach Fricke (1974) ist ein lernzielorientierter Test „… ein wissenschaftliches Routinever- fahren zur Untersuchung der Frage, ob und eventuell wie gut ein bestimmtes Lehrziel er- reicht ist. Die hierbei verwendeten Testaufgaben sind nicht identisch mit dem Lehrziel, sondern repräsentieren es nur und dienen dazu, den individuellen Fähigkeitsgrad eines Schülers mit einem gewünschten Fähigkeitsgrad zu vergleichen“ (S. 17). Kriteriumsorientierte bzw. lernzielorientierte Tests eigenen sich für solche Situationen gut, in denen man wissen möchte, ob und wie gut ein Individuum über eine bestimmte Fähig- keit verfügt. Lernzielorientierte Tests lassen sich aber auch bei der Entscheidung über Me- thoden (z. B. Lehrprogramme) einsetzen: Bezieht sich ein dementsprechender Test auf eine Gruppe von Lernzielen, die durch eine bestimmte Unterrichtseinheit erreicht werden sollen und legt man diesen Test nach Abschluss der Unterrichtseinheit den Schülern vor, so er- fährt man auch etwas über die Wirksamkeit der Unterrichtsmethode (vgl. Popham & Husek, 1973, S. 48f.).

Nun könnte man meinen, dass ein und derselbe Test dazu verwendet werden kann, um die Leistung der Probanden entweder normorientiert oder lernzielorientiert zu bewerten. Der Unterschied zwischen diesen beiden Testverfahren läge dann nicht im Messinstrument, sondern in der Art der Interpretation der gewonnenen Testdaten. Dennoch gibt es entschei- dende Konstruktionsunterschiede zwischen den Testarten: So hat ein normorientierter Test das Ziel, zwischen den Leistungen der Versuchspersonen zu differenzieren. Der Test sollte daher so konstruiert werden, dass er zwischen guten bzw. schlechten Personen unterschei- det und die Testwerte möglichst gut streuen. Demzufolge sind Testaufgaben (auch Test- items genannt), die von allen oder keinem Probanden gelöst werden konnten, aus dem Messinstrument zu eliminieren. Bei der Konstruktion eines lernzielorientierten Tests dage- gen muss sichergestellt werden, dass die entwickelten Aufgaben repräsentativ für das fest- gelegte Lernziel sind. Es ist daher nicht erforderlich, zu leichte oder zu schwere Items aus dem Test auszuschließen, wenn sie dazu dienen, das Lernziel möglichst gut abzubilden. In Bezug auf die Konstruktion von norm- oder lernzielorientierten Messinstrumenten führen diese verschiedenen Absichten meist zur Formulierung von recht unterschiedlichen Test- items (vgl. Büscher, 1984, S. 101f.). Ein Testkonstrukteur muss daher vor der Testentwick- lung entscheiden, welche Art der Leistungsmessung (norm- oder lernzielorientiert) vorge- nommen werden soll, um die Konstruktionsschritte, die Auswertung und auch die Testana- lyse dementsprechend vorzunehmen (vgl. Fricke, 1974, S. 17f.).

Vergleicht man nun die Ausführungen zu beiden Testarten, so wird deutlich, dass es für die Frage nach der Lernwirksamkeit einer Intervention unerheblich ist, wie eine Person in Re- lation zu einer Gruppe anderer Personen steht. Es ist also nicht Sinn und Zweck des in die- ser Arbeit zu konstruierenden Tests, zwischen den Leistungen der Versuchspersonen zu differenzieren. Vielmehr ist es von Bedeutung, in welchem Ausmaß die Individuen be- stimmte Fähigkeiten besitzen bzw. ob und inwieweit die vorher festgelegten Lernziele er- reicht wurden. Ein lernzielorientierter Test scheint daher für die Messung der Lernwirk- samkeit einer pädagogisch-didaktischen Intervention am besten geeignet zu sein.

3. Theoretische Grundlagen zur Entwicklung lernzielorientierter Tests

3.1 Notwendige Schritte bei der Entwicklung eines lernzielorientierten Tests

Wie im vorangegangenen Abschnitt erwähnt, unterscheiden sich die Vorgehensweisen bei der Konstruktion von normorientierten und lernzielorientierten Tests. Es wurde deutlich gemacht, dass sich die lernzielorientierte Leistungsmessung am besten eignet, um die Lernwirksamkeit einer pädagogisch-didaktischen Intervention zu ermitteln. Nachfolgende Abbildung gibt einen Überblick über den Ablauf einer lernzielorientierten Testentwick- lung. Die einzelnen Konstruktionsschritte werden in den nachstehenden Abschnitten aus- führlich erläutert.

Abb. 2: Entwicklungsschritte lernzielorientierter Tests

Abbildung in dieser Leseprobe nicht enthalten

(Quelle: eigene Darstellung in Anlehnung an Beiner, 1982, S. 176)

3.2 Lernzielbeschreibung als Ausgangspunkt der Testentwicklung

3.2.1 Lernzielbegriff und Verfahren der Lernzielbeschreibung

Wie in Abschnitt 2.2 aufgeführt, erfassen lernzielorientierte Tests, ob bzw. wie gut ein Lernziel erreicht wurde. Den Ausgangspunkt bei der Entwicklung dieser Testart bilden demzufolge die Lernziele der pädagogisch-didaktischen Intervention. Nach dem Verständ- nis von Meyer (1991, S. 21, 32f.) stellt ein Lernziel eine sprachlich formulierte Vorstellung über gewünschte, beobachtbare Verhaltensänderungen und über nicht unmittelbar be- obachtbare Verhaltensdispositionen von Lernenden dar, die durch Unterricht oder andere Lehrveranstaltungen bewirkt werden sollen. Weiterhin ist Meyer der Auffassung, dass bei der Formulierung eines Lernziels neben der Verhaltenskomponente immer auch eine In- haltskomponente, im Sinne des zu lernenden Stoffs, angegeben werden sollte (vgl. Meyer, 1991, S. 22, 33). Auch Speth (1996, S. 164) ist der Meinung, dass diese beiden Komponen- ten untrennbar miteinander verknüpft sind, da ein gewünschtes Verhalten immer auf be- stimmte Inhalte, an denen es gelernt werden soll, bezogen wird. Zusammenfassend lässt sich festhalten, dass Lernziele gewünschte, beobachtbare bzw. nicht unmittelbar beobacht- bare Verhaltensweisen⁴ ausdrücken. Darüber hinaus sollte bei der Lernzielformulierung immer neben der Verhaltenskomponente auch gleichermaßen die Inhaltskomponente mit angegeben werden. Dieses Verständnis von Lernzielen und Lernzielformulierungen wird der vorliegenden Arbeit zugrunde gelegt.

Für die Entwicklung lernzielorientierter Tests kommt im Gegensatz zur normorientierten Testkonstruktion⁵ vor allem der präzisen Lernzielbeschreibung eine besondere Bedeutung zu, da damit der erste Schritt zur Sicherung einer hohen Kontentvalidität (vgl. dazu genau- er Abschnitt 3.5.2) als ein „… notwendiges Definitionsmerkmal kriteriumsorientierter Tests …“ (Schott, 1983, S. 13) getan wird. Unter Kontentvalidität (auch Inhaltsvalidität genannt) versteht man in diesem Zusammenhang die Forderung, dass sich die konstruierten Testaufgaben zweifelsfrei zu den jeweils zu überprüfenden Lernzielen zuordnen lassen (vgl. u.a. Herbig, 1976, S. 132; Klauer, 1987, S. 16). Dazu umschreibt man die gewünsch- ten Lernziele jeweils durch eine Menge von gleichartigen Testitems, die alle möglichen Varianten eines Aufgabengebietes umfassen. Diese so genannten Aufgabenuniversen (auch als Aufgabenklassen, Grundmengen oder Itemuniversen bezeichnet) sind in der Regel so groß, dass sie real nicht existieren. Genauer gesagt wäre eine Aufzählung aller Aufgaben, mit denen sich das Erreichen eines bestimmten Lernziels überprüfen ließe, zu aufwändig oder sogar unmöglich. Daher muss dafür gesorgt werden, dass jedes Aufgabenuniversum zunächst vollständig beschrieben wird, um anschließend daraus eine repräsentative Stich- probe von kontentvaliden Testaufgaben (die so genannte Testmenge oder Itemmenge) zu ziehen (vgl. Fricke, 1974, S. 22f.). Nachfolgende Abbildung soll veranschaulichen, wie man von einem Lernziel zu kontentvaliden Testaufgaben kommt.

Abb. 3: Vorgehen der Lernzielbeschreibung zur Sicherung der Kontentvalidität

Abbildung in dieser Leseprobe nicht enthalten

(Quelle: eigene Darstellung)

Das Hauptproblem der Sicherung einer hohen Kontentvalidität liegt vor allem bei der ge- nauen Erfassung und Beschreibung der einzelnen Aufgabenuniversen (vgl. Fricke & Lühmann, 1982, S. 2). In diesem Zusammenhang sind eine Vielzahl von Verfahren der Lernzielbeschreibung entwickelt worden, die dieses Problem zu lösen versuchen. Es stellt sich die Frage, welches Vorgehen für den zu konstruierenden Test in dieser Arbeit in Be- tracht kommt. In der Literatur findet man einige Arbeiten, die einen Überblick über die wichtigsten Ansätze zur Lernzielbeschreibung liefern (vgl. u.a. Fricke, 1974, S. 23ff.; Klauer, 1987, S. 20ff.; Roid & Haladyna, 1982, S. 92ff.; Wieberg, 1983, S. 35ff.). Da eine Aufzählung und Erläuterung aller Verfahren den Rahmen dieser Arbeit sprengen würde, werden im Folgenden lediglich einige ausgewählte näher betrachtet. Dazu erfolgt eine Ori- entierung an den Ausführungen von Wieberg (1983). Er unterteilt die Verfahren der Lern- zielbeschreibung in „umgangssprachlich orientiert“ und „formalsprachlich orientiert“. Da- rüber hinaus stellt Wieberg im Gegensatz zu den Zusammenfassungen von Fricke (1974), Klauer (1987) sowie Roid und Haladyna (1982) die Vor- und Nachteile der einzelnen Ver- fahren in Form einer Kurzbeurteilung gegenüber (vgl. Wieberg, 1983, S. 52). Nachfolgen- de Tabelle soll einen Überblick über die von Wieberg betrachteten Ansätze liefern. Zur intensiven Auseinandersetzung mit den einzelnen Verfahren sei auf die aufgeführte Litera- tur verwiesen.

Tab. 1: Überblick über die wichtigsten Verfahren der Lernzielbeschreibung

Abbildung in dieser Leseprobe nicht enthalten

(Quelle: eigene Zusammenstellung, in Anlehnung an Wieberg, 1983, S. 34ff.)

Die Gruppe der umgangssprachlich orientierten Verfahren geht von einer umgangssprach- lich bzw. pseudofachsprachlich gegebenen Formulierung der Lernziele aus. Zentrales An- liegen ist, die vagen Lernzielformulierungen in einem ersten Schritt näher zu präzisieren. Auf Grundlage dieser Präzisierungen werden dann in einem zweiten Schritt Testitems ge- bildet. Umgangssprachlich orientierte Verfahren sind auf alle möglichen Stoffbereiche und Arten von Lernzielen anwendbar. Sie erfordern jedoch entweder aufwändige Analyseleis- tungen oder extreme Komplexitätsreduzierungen von Seiten des Testkonstrukteurs. Bei ersterem leidet die Anwenderfreundlichkeit des Verfahrens, letzteres führt zu einer einge- schränkten Eindeutigkeit bezogen auf die erzeugte kontentvalide Testmenge.

Die andere Gruppe der Verfahren geht dagegen von formalsprachlich formulierten Lern- zielen aus, ohne die Präzisierung von vagen, umgangssprachlichen Zielvorstellungen ex- plizit zu behandeln. Sie beschäftigen sich lediglich mit der Angabe eines Algorithmus zur Gewinnung von repräsentativen Testmengen. Fricke (1974, S, 30) bezeichnet diese Algo- rithmen als generative Regeln, mit deren Hilfe kontentvalide Testaufgaben automatisiert erzeugt werden können. Die formalsprachlich orientierten Verfahren versuchen daher, die Aufgabenuniversen für bestimmte Bereiche so eng zu formulieren, „… dass die einzelnen Aufgaben auch von einem Computer generiert werden könnten“ (Stelzl, 1993, S. 127). Aus diesem Grund können solche Verfahren hauptsächlich nur für Aufgabenformate eingesetzt werden, bei denen die Probanden die richtige Antwort aus Vorgaben auswählen müssen (Selected-Response-Aufgaben) (vgl. Wieberg, 1983, S. 43). Wie bereits in Abschnitt 1.1 erwähnt, soll der Test in erster Linie das aktive Wissen der Probanden messen, was bedeu- tet, dass die Testpersonen die Antworten selbst formulieren müssen. Nach Auffassung des Autors kommen die formalsprachlich orientierten Verfahren aufgrund ihrer Restriktion für den in dieser Arbeit zu entwickelnden Test nicht in Frage. Im Folgenden wird daher nur auf die umgangssprachlich orientierten Verfahren (vgl. Wieberg, 1983, S. 35ff.) näher eingegangen, da es bei diesen offensichtlich keine Beschränkung auf bestimmte Aufgaben- formate gibt.

Bei den umgangssprachlich orientierten Verfahren sei zunächst die behavioristische Lernzieloperationalisierung zu erwähnen, bei der die Lernziele durch beobachtbare Ver- haltensbegriffe präzisiert werden sollen. Insbesondere der Ansatz von Mager (1984) er- langte in diesem Zusammenhang weite Verbreitung. Seiner Auffassung nach sollte ein Lernziel ein Endverhalten (beobachtbares Verhalten, das vom Lernenden nach einem Lernprozess erwartet wird), die Bedingungen, unter denen das Verhalten des Schülers ge- zeigt werden soll (z. B. Hilfsmittel) und einen Beurteilungsmaßstab enthalten, an dem das Erreichen des Lernziels letztendlich gemessen werden soll. Dieses Verfahren berücksichtigt jedoch keine Lernzielinhalte, an denen die Lernenden das geforderte Verhalten ausüben sollen. Daher ist es für eine Erzeugung von kontentvaliden Itemmengen nicht geeignet (vgl. Wieberg, 1983, S. 36).

Tyler (1973, S. 51ff.) schlug vor, den Inhalts- und Verhaltensaspekt von Lernzielen aufzuspalten und die einzelnen Komponenten in die sogenannte Tyler-Matrix (auch Lernzielmatrix genannt) einzuordnen. Die auf das spezielle Lernthema bezogenen Inhalte sollen dabei in die Zeilen, die angestrebten Verhaltensweisen in die Spalten eingetragen werden. Nach Bedarf kann man die Lernzielkomponenten noch weiter unterteilen. Anschließend werden die Spalten und Zeilen der Matrix vollständig miteinander kombiniert. Nachfolgende Darstellung soll das allgemeine Schema der Tyler-Matrix verdeutlichen.

Tab. 2: Das allgemeine Schema der Tyler-Matrix

Abbildung in dieser Leseprobe nicht enthalten

(Quelle: eigene Darstellung)

Die durch die Kombination entstandenen Zellen stellen mögliche Teillernziele und gleich- zeitig jeweils eine Menge gleichartiger Aufgaben dar. Diese Aufgabenuniversen sind durch die speziellen Inhalte und Verhaltensweisen eindeutig definiert und dienen als Orientierung für die Itemkonstruktion. Wesentliche Vorteile eines solchen Vorgehens sind nach einer Beurteilung von Wieberg (1983, S. 52) der geringe Trainings- und Zeitaufwand, um dieses Verfahren anwenden zu können. Darüber hinaus entspricht die Aufspaltung von Lernzielen nach Inhalts- und Verhaltensbereichen dem zugrunde liegenden Verständnis dieser Arbeit, das weiter oben aufgeführt wurde. Kritisch ist jedoch anzumerken, dass der Anwender der Tyler-Matrix die einzelnen Zeilen und Spalten beliebig nach seinem subjektiven Verständ- nis bezeichnen kann. Darüber hinaus werden die Inhalts- und Verhaltensaspekte der Lern- ziele additiv aneinander geknüpft, ohne dass klar wird, wie diese zusammenwirken (vgl. Wieberg, 1983, S. 36). Insgesamt beurteilt Wieberg (1983, S. 52) das Tyler-Verfahren als nicht klar, nicht theoriebezogen und nicht präzise genug⁶ (vgl. zu den Vor- und Nachteilen des Verfahrens auch Tab. 3).

Taxonomien können ebenso wie die Tyler-Matrix als Hilfsinstrument zur Erzeugung kontentvalider Testaufgaben verwendet werden. Man betrachtet sie als Weiterentwicklung des oben dargestellten Verfahrens nach Tyler, da sie den Verhaltens- oder den Inhaltsbe- reich (oder auch beide) anhand vordefinierter Kategorien systematisch und normiert struk- turieren⁷. Für die Strukturierung der Verhaltenskomponente von Lernzielen ist insbesonde- re die Taxonomie kognitiver Verhaltensweisen von Bloom et al. (vgl. Bloom, Engelhart, Furst, Hill & Krathwohl, 1956) populär geworden. Nach der Beurteilung Wiebergs (1983, S. 52) sind Taxonomien ebenso wie die Tyler-Matrix wenig theoriebezogen. Der Unter- schied zwischen den beiden Verfahren besteht darin, dass die Taxonomien aufgrund ihrer vorgegebenen Dimensionierung und Kategorisierung der Inhalts- und/oder Verhaltensbe- reiche eine intersubjektiv verständliche Beschreibung der Spalten und Zeilen der Tyler- Matrix ermöglichen (vgl. Wieberg, 1983, S. 37). Demzufolge gestatten sie eine eindeutige bzw. präzise Lernzielbeschreibung und erleichtern damit im Wesentlichen die Kommuni- kation über Lernziele (vgl. Bloom et al., 1976, S. 24). Darüber hinaus lassen sich durch diese vorgegebene Systematisierung weitere relevante Teillernziele aufdecken (vgl. Mess- ner, 1970, S. 764f.). „Etwa wenn das Klassifikationsschema auf seine Vollständigkeit überprüft und so festgestellt wird, welche Verhaltensweisen es eventuell noch zu berück- sichtigen gilt“ (Speth, 1996, S. 163). Wieberg (1983) bemängelt jedoch, dass „… die Übereinstimmung verschiedener Konstrukteure hinsichtlich der erzeugten Items bei vorge- gebener Matrix dennoch nicht als befriedigend einzuschätzen“ (S. 37) sei (vgl. zu den Vor- und Nachteilen des Verfahrens auch Tab. 3).

Die Test Specifications⁸ (vgl. Popham, 1980, S. 22ff.) des Instituts für „Instructional Objectives Exchange“ (IOX) bestehen in der Regel aus vier Komponenten. Den ersten Bestandteil stellt eine allgemeine Beschreibung über das dar, was der Test misst. Dies soll einen kurzen Überblick über die relevanten Verhaltensweisen geben, die an späterer Stelle näher beschrieben werden müssen. Den nächsten Bestandteil bildet ein Beispielitem, das zur Veranschaulichung dienen und im Test verwendet werden soll. Die dritte Komponente der Test Specifications stellen Stimulusmerkmale dar, die nähere Angaben über den rele- vanten Inhaltsaspekt des Tests liefern. Die Merkmale der Antworten bilden den letzten Bestandteil. Sie liefern eine genaue Beschreibung über das gewünschte Verhalten und be- ziehen sich auf die Komponente der Stimulusmerkmale. Wieberg (1983, S. 52) befindet, dass die Test Specifications theoriebezogen und klar sind, was als vorteilhaft im Vergleich zu den Verfahren der Tyler-Matrix bzw. der Taxonomien angesehen werden kann. Jedoch ist der erforderliche Zeit- und Trainingsaufwand für die Anwendung dieses Verfahren recht hoch. Darüber hinaus sind die Test Specifications im Gegensatz zur Methode der Taxonomien nicht präzise (vgl. zu den Vor- und Nachteilen des Verfahrens auch Tab. 3).

Beim Verfahren zur „Planung von Unterricht unter dem Gesichtspunkt der Lehrstoff- Analyse“, im Folgenden PLANA-Verfahren (vgl. Schott, Neeb & Wieberg, 1981, S. 63ff.) genannt, wird der Lehrstoff in Inhalts- und Verhaltenskomponenten zerlegt und mittels einer umfassenden Lehrstoffanalyse präzisiert. Aufbauend auf dieser Präzisierung werden Aufgabenklassen gebildet, die durch einen Anfangs- und Endzustand sowie durch einen Operator hinreichend genau beschrieben werden können. Der Operator soll dabei den An- fangszustand einer Handlung in den gewünschten Endzustand überführen. Daran anknüp- fend können Lernziele bestimmt werden. Die dazugehörigen Aufgaben werden anschlie- ßend unter Verwendung entsprechender Konstruktionsregeln entwickelt. In Anhang 1 sind die einzelnen Stufen des Vorgehens im Überblick dargestellt. Gegenüber den anderen um- gangssprachlich orientierten Verfahren nimmt PLANA eine gewisse Sonderstellung ein: Es befasst sich sowohl mit der Präzisierung von vagen, umgangssprachlich formulierten Lernzielvorstellungen als auch mit der Angabe eines Algorithmus für die Gewinnung von kontentvaliden Testmengen, was Gegenstand der formalsprachlich orientierten Verfahren ist. Wieberg (1983, S. 52) schätzt das Vorgehen nach PLANA wie das Verfahren der Test Specifications als theoriebezogen und klar genug ein, was vorteilhaft gegenüber der Tyler- Matrix bzw. den Taxonomien ist. Das PLANA-Verfahren erfordert allerdings eine eingehende Analyse des Lehrstoffs, daher ist es recht zeitaufwändig. Darüber hinaus ist ein hoher Trainingsaufwand erforderlich, um das Verfahren anwenden zu können, weshalb es eher für erfahrene Testautoren in Betracht kommt (vgl. Wieberg, 1983, S. 52). Tabelle 3 stellt noch einmal die genannten Vor- und Nachteile der Tyler-Matrix, der Taxonomien, der Test Specifications und des PLANA-Verfahrens gegenüber.

Tab. 3: Vor- und Nachteile relevanter Verfahren zur Lernzielbeschreibung

Abbildung in dieser Leseprobe nicht enthalten

(Quelle: modifizierte Darstellung nach Wieberg, 1983, S. 50ff.)⁹ - … Nachteil / + … Vorteil

Dieser Gegenüberstellung der Vor- und Nachteile nach zu urteilen, scheint das PLANA- Verfahren gegenüber den anderen Verfahren überlegen zu sein, da es laut Wieberg (1983, S. 52) theoriebezogen, präzise und klar genug ist. Wegen des hohen Trainings- und Zeitaufwands lässt sich allerdings vermuten, dass ein Vorgehen nach dem PLANA-Verfahren den Rahmen der vorliegenden Arbeit sprengen würde. Dieselben Überlegungen hinsichtlich des Aufwands gelten auch für die Test Specifications. Hinzu kommt, dass dieses Verfahren im Gegensatz zu den Taxonomien weniger präzise ist.

Für die nachfolgende Testkonstruktion wird größeren Wert auf einen möglichst geringen Zeit- und Trainingsaufwand in Bezug auf die Anwendung des Verfahrens gelegt. In der vorliegenden Arbeit wird daher die Methode der Tyler-Matrix in Verbindung mit einer Taxonomie für die präzise Lernzielbeschreibung und der daran anknüpfenden Konstrukti- on kontentvalider Aufgaben verwendet. Die vom Test zu überprüfenden Lernziele werden gemäß dem Vorschlag von Tyler (1973) in Inhalts- und Verhaltenskomponenten zerlegt, diese Komponenten in eine Matrix eingeordnet und anschließend miteinander kombiniert. Zur normierten und systematischen Strukturierung des Verhaltens- und eventuell auch des Inhaltsbereichs wird eine Taxonomie herangezogen. Ein praktikables Vorgehen, das be- schreibt, wie man mithilfe der Lernzielmatrix-Methode von bestimmten Lernzielen zu lernzielorientierten Testaufgaben gelangt, wurde von Schott (1974, S. 50ff.) vorgeschla- gen. Für den in dieser Arbeit zu entwickelnden Test wird auf diesen Vorschlag zurückge- griffen. Die Vorgehensweise wird allerdings zu einem späteren Zeitpunkt (Abschnitt 3.2.4.1) erläutert, da sich zunächst die Frage stellt, welche Taxonomie zur präzisen Lernzielbeschreibung für die vorliegende Arbeit zweckmäßig ist. Diesbezüglich soll im folgenden Abschnitt vorab näher auf den Taxonomie-Begriff eingegangen werden. Anschließend erfolgt eine Betrachtung von mehreren Taxonomien bzw. Ordnungssystemen für Lernziele. Darauf basierend wird eine Taxonomie ausgewählt, die eine präzise Lernzielbeschreibung ermöglicht und auf deren Grundlage sich in Verbindung mit der Tyler-Matrix kontentvalide Testaufgaben entwickeln lassen.

3.2.2 Taxonomien als Hilfsinstrument bei der Lernzielbeschreibung

3.2.2.1 Klärung des Taxonomie-Begriffs

In der Literatur werden die Begriffe „Klassifikation“ und „Taxonomie“ häufig synonym verwendet, was genau genommen nicht richtig ist. Bei einer Klassifikation werden Ereig- nisse oder Gegenstände bestimmten Teilklassen zugeordnet. Die Einordnung sollte keine Überschneidung dieser Teilklassen zulassen und außerdem die gesamte ursprüngliche Menge an Ereignissen und Gegenständen abdecken (vgl. Meyer, 1991, S. 100). Im Ver- gleich dazu ist eine Taxonomie „… eine Klassifikation (Zuteilungsordnung) für Ereignisse und Gegenstände, die mit dem Anspruch theoretischer Begründbarkeit und empirischer Überprüfbarkeit vorgetragen wird“ (Meyer, 1991, S. 100). Der Taxonomie-Begriff ist demnach eine spezifischere Verwendung des Klassifikationsbegriffs. Frey (1972) fügt dem hinzu, dass sich die Taxonomie „… ausdrücklich mit den Gesetzmäßigkeiten, Prinzipien und Regeln, nach denen Klassifikationen oder Ordnungen erstellt werden“ (S. 191) befasst. Eine Taxonomie muss nach diesen genannten Ausführungen zufolge theoretisch begründ- bar sein und angeben, nach welchem Kriterium ihre Klassifikation erfolgte. Weiterhin kann eine Taxonomie hierarchisch sein, was bedeutet, dass sich eine Reihenfolge durch die Über- oder Unterordnung der Elemente ergibt (vgl. Meyer, 1991, S. 100). Sind die Ele- mente beispielsweise nach dem Kriterium der Komplexität klassifiziert, so können bei ei- ner hierarchischen Anordnung Aussagen getroffen werden wie „B ist komplexer als A und C ist komplexer als B“. Insbesondere im Zusammenhang mit den Verhaltenskomponenten von Lernzielen sind Taxonomien häufig (aber nicht immer) hierarchisch ausgeprägt. Sie dienen dann in erster Linie der Klassifikation und Abgrenzung von Lernzielen, beispielsweise nach ihrer Komplexität und ermöglichen dadurch zugleich eine Ordnung nach dem Anspruchsniveau (vgl. u.a. Metzger, S. 62; Möller, 1976, S. 225).

Besondere Bedeutung im Rahmen der Lernzielklassifizierung erlangte die Taxonomie von Bloom et al. für den kognitiven Verhaltensbereich (vgl. Bloom et al., 1956; im Folgenden auch als Bloomsche Taxonomie bezeichnet). Sie wird oftmals zitiert, insbesondere in der Literatur zur Konstruktion von Leistungstests und wurde mittlerweile in über 20 Sprachen übersetzt (vgl. Krathwohl, 2002, S. 213). Mithilfe dieser Taxonomie können beabsichtigte kognitive Verhaltensweisen als Ergebnis eines Erziehungsprozesses klassifiziert werden (vgl. Bloom et al., 1976, S. 26). Das Klassifikationssystem enthält die sechs Hauptkatego- rien „Wissen“, „Verstehen“, „Anwendung“, „Analyse“, „Synthese“ und „Bewertung“, die sich noch weiter untergliedern lassen. Sie sind nach dem Grad ihrer Komplexität angeord- net, wobei „Wissen“ den niedrigsten und „Bewertung“ den höchsten Komplexitätsgrad aufweist. Darüber hinaus setzt das Erreichen einer höheren Taxonomiestufe das Erreichen der nächst niedrigeren voraus. Diese Art der hierarchischen Strukturierung bezeichnet man als kumulative Hierarchie (vgl. Anderson & Krathwohl, 2001, S. 309; Krathwohl, 2002, S. 212f.). Bloom et al. (1976) geben in ihrem Klassifikationssystem neben detaillierten Defi- nitionen der Taxonomiestufen auch Beispiele für Lernziele sowie Hinweise und zahlreiche illustrative Testaufgaben für die Überprüfung der einzelnen Kategorien an.

Für die Lernzielbeschreibung im Rahmen der lernzielorientierten Testerstellung kommen neben der Taxonomie von Bloom et al. (1976) möglicherweise auch andere Klassifikati- onssysteme in Frage. In Abschnitt 3.2.2.4 werden daher im Überblick ausgewählte Arbei- ten zur Klassifikation von Lernzielen betrachtet, die in den Jahren nach der Publikation der Bloomschen Taxonomie erschienen sind. Die Betrachtungen beschränken sich dabei aus- schließlich auf den kognitiven Bereich, denn der Test soll wie in Abschnitt 1.1 erwähnt kognitive Lernleistungen erfassen. Da die Arbeiten nicht alle den Ansprüchen einer Taxo- nomie wie etwa der theoretischen Begründbarkeit und der Angabe von Ordnungsprinzipien genügen bzw. einige Autoren ihren Ansatz nicht als Taxonomie bezeichnen, wird im Fol- genden der allgemeine Ausdruck „Klassifikationssystem“ gewählt. In Abschnitt 3.2.2.5 wird erläutert, welches der betrachteten Ordnungssysteme für eine umfassende Klassifika- tion von Lernzielen und demzufolge auch für eine präzise Lernzielbeschreibung sowie die darauf aufbauende Entwicklung von Testaufgaben geeignet erscheint. Zunächst sollen je- doch das Vorgehen bei der Auswahl relevanter Klassifikationssysteme und im Anschluss daran die Merkmale, die für die Charakterisierung herangezogen wurden, erläutert werden.

3.2.2.2 Erläuterungen des Vorgehens bei der Selektion der Klassifikationssysteme

Recherchiert man in der Literatur nach Klassifikationssystemen für den kognitiven Be- reich, so lassen sich unzählige Arbeiten verschiedenster Autoren finden. Die meisten da- von sind jedoch für] den Zweck der vorliegenden Arbeit ungeeignet. Es ist daher notwen- dig, kurz zu schildern, wonach die Klassifikationssysteme für die nähere Betrachtung aus- gewählt wurden.

Vorab erfolgte eine Recherche nach Ordnungssystemen, die für die Lehrplanung, die Un- terrichtspraxis oder die Leistungsbewertung entwickelt wurden. Des Weiteren grenzte der Autor der vorliegenden Arbeit die Auswahl dahingehend ein, ob die Klassifikationssyste- me zur Einordnung von Lernzielen erstellt wurden bzw. ob sie dafür geeignet sind. Es wurden daher auch Ordnungsysteme betrachtet, die nicht in erster Linie zur Klassifikation von Lernzielen erstellt wurden, jedoch durchaus dazu verwendet werden können. Dies be- trifft insbesondere die Arbeiten von Gagné (1970), Ausubel und Robinson (1969), Romiszowski (1981), Biggs und Collis (1982), Quellmalz (1987), Presseisen (1989), Vermunt und Verloop (1999) sowie Reigeluth & Moore (1999). So wurde z. B. das Klassi- fikationssystem von Quellmalz (1987) hauptsächlich für die Planung von Unterricht ent- worfen, um höheres Denken zu fördern (vgl. Quellmalz, 1987, S. 87). Das System von Reigeluth und Moore (1999) wurde entwickelt, um mehrere Unterrichtstheorien miteinan- der vergleichen zu können (vgl. Reigeluth & Moore, 1999, S. 51f.). Nicht geeignet für die Einordnung von Lernzielen sind dagegen beispielsweise die Klassifikationssysteme von Sternberg (2001) oder Hokanson und Hooper (2004). Sie wurden dementsprechend auch nicht in für die nähere Betrachtung ausgewählt.

Wie bereits erwähnt, fielen auch Arbeiten in die engere Auswahl, die nicht den Ansprü- chen einer Taxonomie genügen bzw. von den Autoren selbst nicht als solche bezeichnet werden. So sind beispielsweise zu den Klassifikationssystemen von Westphalen (1980), des Deutschen Bildungsrates (1970) oder von Jonassen und Tessmer (1996/97)¹⁰ keine für die Kategorisierung herangezogene Theorie bzw. keine Ordnungsprinzipien, nach denen die Klassifikation erfolgte, angegeben. Da sich jene Arbeiten ungeachtet dessen für die Einstufung von Lernzielen eigenen, wurden sie bei der näheren Betrachtung mit berück- sichtigt. Weiterhin sollten die Klassifikationssysteme einen eigenständigen Beitrag zur Lernzielklassifizierung liefern. Beispielsweise stellt die Arbeit von Metfessel, Michael und Kirsner (1969) für jede Kategorie und Unterkategorie der Bloomschen Taxonomie ledig- lich eine große Anzahl von passenden Verben zur Verfügung, um die Handhabung der originalen Taxonomie zu optimieren. Ebenso liefert Ormell (1974) lediglich Modifikati- onsvorschläge zur Verbesserung der Bloomschen Taxonomie. So empfiehlt er beispiels- weise, die Kategorien nicht hierarchisch, sondern nebeneinander anzuordnen (vgl. Ormell, 1974, S. 8). Diese beiden Klassifikationssysteme wurden aufgrund ihres geringen eigen- ständigen Beitrages zur Lernzielklassifizierung nicht weiter betrachtet. Insgesamt wurden neben der Taxonomie von Bloom et al. (1956) weitere 23 Klassifikationssysteme näher beleuchtet. Um einen Überblick über die Arbeiten der einzelnen Autoren zu geben, wurden die Kategorien bzw. Dimensionen der Klassifikationssysteme in Anhang 2 tabellarisch zusammengefasst.

3.2.2.3 Erläuterung der Merkmale zur Charakterisierung der Klassifikationssysteme

Für eine Charakterisierung der Ordnungsschemata mussten vorab Merkmale festgelegt werden, die weitestgehend in allen betrachteten Klassifikationssystemen identifiziert wer- den können. Insgesamt gestaltete sich die Merkmalsauswahl sehr schwierig, da sich die Ordnungsschemata in ihrer Darstellung teilweise stark voneinander unterscheiden. In den meisten Fällen wurden die Klassifikationssysteme sehr umfangreich beschrieben, was eine Durchsicht der Arbeiten bis ins letzte Detail aufgrund des begrenzten zeitlichen Rahmens unmöglich machte. Darüber hinaus waren die Beschreibungen einiger Ordnungssysteme recht unstrukturiert, was die Aufdeckung der wesentlichen Charakteristika erschwerte. Um die übrigen 23 Klassifikationssysteme mit der Bloomschen Taxonomie weitestgehend ver- gleichen zu können, wurden zum einen Merkmale gewählt, die für die Taxonomie von Bloom et al. (1956) kennzeichnend sind. Zum anderen wurden Charakteristika festgelegt, die für die anschließende Testentwicklung von Bedeutung sind. Folgende Merkmale wur- den für die Charakterisierung der Klassifikationssysteme gewählt: Eindimensionale bzw. mehrdimensionale Klassifikationssysteme, Lernergebnisse bzw. keine Lernergebnisse als Gegenstand der Kategorien, hierarchische bzw. keine hierarchische Anordnung der Kate- gorien, „Wissen“ als separate Dimension, Vorschläge bzw. keine Vorschläge zur Über- prüfung des Erreichens der Kategorien sowie Aufnahme von nicht-kognitiven Elementen in das Klassifikationssystem. Sie sollen im Folgenden näher erläutert werden.

Eindimensionale Klassifikationssysteme: Eindimensionale Klassifikationssysteme beziehen sich nur auf eine Komponente von Lernzielen, das heißt, entweder auf den Verhaltens- oder auf den Inhaltsbereich¹¹. Die meisten eindimensionalen Klassifikationssysteme, so z. B. auch die Bloomsche Taxonomie, beziehen sich auf den Verhaltensaspekt.

Mehrdimensionale Klassifikationssysteme: Mehrdimensionale Lernzielklassifikationsschemata bestehen aus zwei oder mehreren Dimensionen, welche wiederum mehrere Kategorien umfassen. Meist werden die Kategorien der einen Dimension mit denen der anderen Dimension in einer Matrix miteinander kombiniert. Das Klassifikationsschema von Merrill (1994) enthält beispielsweise zwei Dimensionen, dabei bezieht sich eine auf den Verhaltensaspekt, die andere auf den Inhaltsaspekt von Lernzielen.

Lernergebnisse als Gegenstand der Kategorien: Nach Meyer (1991, S. 22) enthalten Lern- ziele Angaben über gewünschte Lernergebnisse. Demzufolge sind Lernergebnisse, gemäß dem in Abschnitt 3.2.1 festgelegten Verständnis von Lernzielen, beobachtbare bzw. nicht unmittelbar beobachtbare Verhaltensresultate eines vorangegangenen Lernprozesses. Spe- ziell für den kognitiven Bereich geht es dabei um Verhaltensweisen, die sich auf geistige Handlungen oder Denken beziehen. Da nicht bei allen Klassifikationsschemata angegeben ist, ob die Kategorien Lernergebnisse zum Gegenstand haben, wurde die Definition der einzelnen Kategorien herangezogen. Werden darin beobachtbare bzw. nicht unmittelbar beobachtbare Verhaltensweisen beschrieben, so wurde davon ausgegangen, dass Lerner- gebnisse der Gegenstand der Kategorien sind. Bei den mehrdimensionalen Klassifikations- systemen bezieht sich dies lediglich auf die Verhaltensdimension. Als Beispiel für ein Klassifikationsschema, dessen Kategorien Lernergebnisse beinhalten, kann die Taxonomie von Bloom et al. (1956) genannt werden.

Keine Lernergebnisse als Gegenstand der Kategorien: Dieses Merkmal trifft auf Klassifi- kationssysteme zu, die keine Verhaltensresultate, sondern ein anderes Objekt als Gegen- stand der Kategorien aufweisen. So werden beispielsweise in der Arbeit von Gagné (1970) Lernarten kategorisiert. Bei Biggs und Collis (1982) sind Antwortstrukturen Gegenstand der Kategorien.

Hierarchische Anordnung der Kategorien: Sind die Kategorien eines Klassifikationssys- tems hierarchisch angeordnet, so ergibt sich eine Reihenfolge durch Über- oder Unterord- nung der einzelnen Klassen (vgl. Meyer, 1991, S. 100). Beispielsweise sind die Kategorien der Taxonomie von Gagné (1970) hierarchisch nach ansteigender Komplexität angeordnet. Dieses Merkmal bezieht sich bei den mehrdimensionalen Klassifikationssystemen auf die Verhaltensdimension.

Keine hierarchische Anordnung der Kategorien: Hier ist die Anordnung der Kategorien nicht durch Über- oder Unterordnung gekennzeichnet. Können keine Aussagen darüber gefunden werden, ob die Kategorien eines Klassifikationssystems hierarchisch angeordnet sind, so wird von einer nicht-hierarchischen Anordnung ausgegangen. Als Beispiel ließe sich hier das Klassifikationsschema von Westphalen (1980) aufführen.

„Wissen“ als separate Dimension: Mit diesem Merkmal ist gemeint, dass „Wissen“, im Sinne von formalen Inhalts- bzw. Wissensarten, eine separate Dimension bildet. Auf diese Weise können bei der Klassifizierung sowohl die Inhalts- als auch die Verhaltenskomponenten von Lernzielen berücksichtigt werden, wodurch eine umfassendere Lernzielklassifizierung möglich wird (vgl. Möller, 1999, S. 83). Als Beispiel sei an dieser Stelle die Taxonomie von Anderson und Krathwohl (2001) aufgeführt.

Vorschläge zur Überprüfung des Erreichens jeder Kategorie: Dieses Merkmal trifft zu, wenn zum jeweiligen Klassifikationssystem Angaben darüber zu finden sind, wie jede Kategorie mithilfe von Testaufgaben überprüft werden kann. Die Taxonomie von Bloom et al. (1956) stellt hier ein Beispiel dar.

Keine Vorschläge zur Überprüfung des Erreichens jeder Kategorie: In den Arbeiten von beispielsweise Gagné (1970) oder Ausubel (1969) sind keine Angaben darüber zu finden, wie die einzelnen Kategorien überprüft werden können.

Aufnahme von nicht-kognitiven Komponenten in das Klassifikationssystem: In einigen Klassifikationssystemen werden nicht nur kognitive Verhaltensweisen kategorisiert, sondern auch affektive und/oder psychomotorische. Als Beispiel lässt sich hier die Arbeit von Hannah und Michaelis (1977) aufführen.

3.2.2.4 Charakterisierung der Klassifikationssysteme

Um die Klassifikationssysteme nicht einzeln beschreiben zu müssen, werden die Arbeiten mit weitestgehend gleichen Merkmalen zu Gruppen zusammengefasst und innerhalb dieser Gruppen näher dargestellt. Dazu empfiehlt es sich, die nachfolgende Tabelle heranzuzie- hen, welche einen Überblick über die Charakterisierung der einzelnen Klassifikationssysteme nach den eben aufgeführten Merkmalen gibt.

Tab. 4: Übersicht über die wesentlichen Merkmale der Klassifikationssysteme

Abbildung in dieser Leseprobe nicht enthalten

(Quelle: eigene Zusammenstellung) X ... Merkmal trifft zu / ? ... keine Angabe in der Quelle

Eindimensionale Klassifikationssysteme mit Lernergebnissen als Gegenstand und einer hierarchischen Anordnung der Kategorien: Wie bereits in Abschnitt 3.2.2.1 erwähnt, sind in der Bloomschen Taxonomie (vgl. Bloom, 1976) Vorschläge zur Überprüfung der Kate- gorien aufgeführt. Zu jeder Unterkategorie lassen sich zahlreiche Aufgabenbeispiele fin- den, die jedoch hauptsächlich für das Selected-Response-Format (Aufgaben, bei denen die richtige Antwort aus Vorgaben ausgewählt werden muss, vgl. Abschnitt 3.3) angegeben wurden. Ebenso sind im Klassifikationssystem von Hannah und Michaelis (1977) für jede Unterkategorie beispielhafte Testitems aufgeführt, im Vergleich zur Taxonomie von Bloom jedoch auch für das Constructed-Response-Format (Aufgaben, bei denen die Ant- wort frei zu formulieren ist, vgl. Abschnitt 3.3). Darüber hinaus vereinen die Autoren in ihrem Ordnungssystem alle drei Bereiche - den kognitiven, den affektiven sowie den psychomotorischen Bereich und klassifizieren damit auch nicht-kognitive Lernziele. Hauenstein (1998) nahm sich vor, die Taxonomien für den kognitiven, affektiven und psychomotorischen Bereich zu vereinheitlichen. Er gibt konstruktive Vorschläge zur Ver- besserung aller drei Gebiete. Neben der kognitiven Komponente werden also auch nicht- kognitive Komponenten in das Klassifikationssystem aufgenommen. Weiterhin führt Hauenstein beispielhafte Aufgabenstellungen und passende Schlüsselwörter für jede Kate- gorie und Unterkategorie des kognitiven Bereichs auf, die als Hilfestellung zur Formulie- rung von Lernzielen dienen sollen. Der Deutsche Bildungsrat (1970) dagegen liefert in seinem Klassifikationssystem keine Vorschläge zur Überprüfung der Kategorien. Ebenso lassen sich für das Ordnungssystem von Bruce (1981)¹² keine Angaben darüber finden, ob er Hinweise zur Überprüfung der Lernziele für jede Kategorie aufgeführt hat.

Eindimensionale Klassifikationssysteme mit Lernergebnissen als Gegenstand und keiner hierarchischen Anordnung der Kategorien: Das Ordnungssystem von Gerlach und Sulli- van (1967)¹³ verfügt neben beispielhaften Lernzielen über passende Testitems zur Über- prüfung der Kategorien. Quellmalz (1987) gibt ebenfalls Vorschläge zur Überprüfung jeder Kategorie an, diese fallen jedoch im Vergleich zu Gerlach und Sullivan nicht so ausführ- lich aus. Ferner lassen sich bei Romiszowski (1981) eher allgemeine Empfehlungen und Angaben über mögliche Aufgabenformate zur Überprüfung der Kategorien finden. Die Vorschläge werden nicht durch Beispiele veranschaulicht. Darüber hinaus nimmt der Au- tor neben der kognitiven auch eine psychomotorische und eine affektive Komponente in sein Klassifikationsschema auf. Gagné ersetzt ab der vierten Ausgabe der „Bedingungen des menschlichen Lernens“ (vgl. Gagné, 1985) die acht Lernarten (vgl. Gagné 1970) durch fünf Klassen, welche die Arten von gelernten Fähigkeiten darstellen. Im Gegensatz zu den früheren Ausgaben Gagné’s können die Kategorien eine beliebige Reihenfolge annehmen und berühren neben dem kognitiven Bereich auch den affektiven und psychomotorischen. In Gagné, Briggs und Wager (1992, S. 263ff.) sind ausführliche Vorschläge zur Überprü- fung des Erreichens der Kategorien aufgeführt. Im Gegensatz dazu machen Reigeluth und Moore (1999) keine Vorschläge zur Überprüfung der Kategorien. Auch in den Klassifika- tionssystemen von Westphalen (1980), Vermunt und Verloop (1999) sowie Jonassen und Tessmer (1996/97)¹⁴ lassen sich keine Vorschläge zur Überprüfung der Kategorien finden. Anders als jedoch bei Reigeluth und Moore, nehmen diese Autoren auch nicht-kognitive Komponenten in die Ordnungssysteme auf.

Eindimensionale Klassifikationssysteme, die anstelle von Lernergebnissen einen anderen Gegenstand der Kategorien aufweisen: In Gagné’s (1970) Lernhierarchie sind im Gegen- satz zu den bisher betrachteten Ordnungssystemen nicht Lernergebnisse, sondern Lernarten Gegenstand der Kategorien. Diese werden benötigt, um gewünschte Lernergebnisse zu erreichen. Die einzelnen Klassen sind hierarchisch angeordnet, allerdings gibt Gagné keine Hinweise zur Überprüfung des Erreichens seiner Kategorien. Auch in der Taxonomie von Ausubel und Robinson (1969) werden Lernarten klassifiziert. Wie bei Gagné sind die Ka- tegorien hierarchisch organisiert und es werden keine Hinweise zu ihrer Überprüfung ge- geben. Gegenstand der Kategorien im Ordnungssystem von Biggs und Collis (1982) sind Antwortstrukturen, die bestimmten kognitiven Entwicklungsstufen zugeordnet werden können. Anders als bei Gagné oder Ausubel und Robinson sind die Kategorien nicht hie- rarchisch angeordnet. Darüber hinaus führen Biggs und Collis für jede Klasse exemplari- sche Testaufgaben und Antwortbeispiele aus unterschiedlichen Schulfächern auf. Im Klas- sifikationssystem von Stahl und Murphy (1981)¹⁵ bilden Phasen der Informationsverarbei- tung den Gegenstand der Kategorien. Die einzelnen Klassen sind hierarchisch angeordnet. Es lassen sich keine Angaben finden, ob Stahl und Murphy Hinweise zur Überprüfung der Kategorien liefern. Im Gegensatz zu den anderen in dieser Gruppe betrachteten Arbeiten nehmen die Autoren neben der kognitiven auch eine affektive Komponente in das Klassifi- kationssystem auf.

Mehrdimensionale Klassifikationssysteme mit Lernergebnissen als Gegenstand der Kate- gorien, „Wissen“ als separate Dimension und Vorschlägen zur Überprüfung des Errei- chens jeder Kategorie: Im dreidimensionalen Klassifikationssystem von Williams (1977) sind die Kategorien der Verhaltensdimension nicht hierarchisch angeordnet. Dies trifft ebenfalls auf das fünfdimensionale Ordnungssystem von Marzano (1992) sowie auf das zweidimensionale Klassifikationsschema von Merrill (1994) zu. Dagegen sind die Katego- rien der kognitiven Prozessdimension in der zweidimensionalen Taxonomie von Anderson und Krathwohl (2001) hierarchisch geordnet.

Mehrdimensionale Klassifikationssysteme mit Lernergebnissen als Gegenstand und ohne Angabe von Vorschlägen zur Überprüfung des Erreichens jeder Kategorie: DeCorte’s (1973)¹⁶ dreidimensionales Ordnungsschema verfügt durch die Dimension „Products“ über eine separate Wissensdimension. Ebenso grenzt DeBlock (1972)¹⁷ in seinem dreidimensionalen Klassifikationssystem „Wissen“ durch die separate Dimension „Content“ vom Verhaltensbereich ab. Im Ordnungssystem von Presseisen (1989, 2001¹⁸ ) dagegen gibt es keine separate Wissensdimension, die die systematische und normierte Strukturierung der Inhaltskomponente von Lernzielen ermöglicht. Des Weiteren sind die Kategorien der Dimension “Essential Thinking Skills” hierarchisch angeordnet.

[...]

---

¹ Demgegenüber sind affektive und psychomotorische Verhaltensweisen abzugrenzen: Der affektive Bereich umfasst Interessen, Einstellungen, Haltungen und Werte, psychomotorische Verhaltensweisen beziehen sich auf motorische oder manipulative Fertigkeiten (vgl. dazu Bloom et al., 1976, S. 21)

² Aufgaben, bei denen die Schüler die richtige Antwort aus Vorgaben auswählen müssen, werden als Selected-Response-Aufgaben bezeichnet (vgl. z. B. Roid & Haladyna, 1982, S. 45 sowie Abschnitt 3.3).

³ Klauer (1974, S. 14f.) schlägt vor, den Begriff „lernzielorientiert“ durch „lehrzielorientiert“ zu ersetzen, da die Unterrichtsziele, das heißt, die Lehrziele vom Lehrer festlegt werden. Im Folgenden wird diese Unter- scheidung nicht getroffen und daher von „lernzielorientierten“ Tests gesprochen. Gegebenenfalls werden

die Begriffe synonym verwendet.

⁴ Wenn daher nachfolgend der Begriff „Verhalten“ verwendet wird, so umfasst dies stets beobachtbare und nicht unmittelbar beobachtbare Verhaltensweisen. Andernfalls wird es explizit angegeben.

⁵ Es sei darauf hingewiesen, dass sich auch normorientierte Tests an Lernzielen orientieren. Jedoch ist das Vorgehen bei der Lernzielbeschreibung ungenauer und der Grad der Lernzielspezifizierung daher allge- meiner als bei der lernzielorientierten Testentwicklung (vgl. u.a. Büscher, 1984, S. 99; Ingenkamp, 1988,

S. 120f.; Rapp, 1974, S. 180f.).

⁶ Unter dem Beurteilungskriterium „Klarheit“ versteht Wieberg „das Ausmaß, in dem 2 Itemkonstrukteure ähnliche Items aufgrund einer Zielvorgabe nach dem jeweiligen Verfahren produzieren würden.“ (Wieberg, 1983, S. 50). Mit „Präzision“ ist die „Detailliertheit der Handanweisungen zur Aneignung des

Verfahrens“ (Wieberg, 1983, S. 51) gemeint und die „Theoriebezogenheit“ eines Verfahrens bezieht sich auf „das Ausmaß, in dem das Verfahren die Präzisierung vorhandener Konstruktbildungen erlaubt und thematisiert“ (Wieberg, 1983, S. 51). Allerdings bleibt bei dem letztgenannten Kriterium ungeklärt, was Wieberg unter „Konstruktbildungen“ versteht.

⁷ Anders als bei der Tyler-Matrix sind Taxonomien keine auf den speziellen Lehrstoff der Lernziele bezogene Klassifikationssysteme. So ist beispielsweise der Inhaltsbereich im Klassifikationssystem von Merrill (1994) nach allgemeinen Wissens- bzw. Inhaltsformen wie Fakten, Konzepte, Prinzipien und Prozesse ge-

gliedert (vgl. im Gegensatz dazu Tyler, 1973, S. 57, der den Inhaltsbereich nach speziellen Inhalten, wie z.

B. nach Themen des Biologieunterrichts unterteilt). Ebenso formal wird der Verhaltensbereich durch Ta- xonomien strukturiert. Bloom et al. (1976, S. 71) bspw. klassifizieren die Verhaltenskomponente von Lernzielen nach den Kategorien Wissen, Verstehen, Anwendung, Analyse, Synthese und Evaluation. Ta- xonomien sind also unabhängig vom materialen Inhalt der Lernziele (vgl. u.a. Dubs, 1971, S. 171; Metz- ger, 1975, S. 58).

⁸ Die Test Specifications können als eine Optimierung gegenüber der Methode der Amplified Objectives (vgl. Popham, 1980, S. 20f.), welche ebenfalls zu den umgangssprachlich orientierten Verfahren gezählt wird, betrachtet werden. Aufgrund dessen soll dieses Verfahren hier nicht näher betrachtet werden.

⁹ Wieberg (1983) bemerkt, dass seine tabellarische Kurzbeurteilung nicht als fundierte Diskussion der Vor- und Nachteile der einzelnen Verfahren, sondern als Diskussionsanregung aufzufassen sei. Darüber hinaus solle man beachten, dass die Beurteilungskriterien keinesfalls als gleichwertig und gleich gewichtet be-

trachtet werden können (vgl. Wieberg, 1983, S. 51). Der Autor der vorliegenden Arbeit erachtet diesen ta- bellarischen Überblick dennoch als nützliche Orientierungshilfe bei der Auswahlentscheidung für ein Ver- fahren zur präzisen Lernzielbeschreibung und der darauf aufbauenden Konstruktion kontentvalider Aufga- ben.

¹⁰ Jonassen, D. H. & Tessmer, M. (1996/97). An outcomes-based taxonomy for instructional systems design, evaluation and research. Training Research Journal, 2, 11-46, zitiert in Moseley et al., 2005, S. 266ff.

¹¹ Wie bereits erwähnt wurde, strukturieren Taxonomien bzw. Klassifikationssysteme den Inhaltsbereich nicht nach dem materialen (also auf ein spezielles Unterrichtsthema bezogenen) Inhalt, sondern nach for- malen Wissens- bzw. Inhaltsarten, in die man einen speziellen Unterrichtsstoff systematisch und normiert einordnen kann.

¹² Bruce, R. L. (1981). Programming for intangibles. Cornell Information Bulletin 179, Extension publication 9 / 81 5M HO 7488. Ithaca, NY: New York State College of Human Ecology at Cornell University, zitiert in Anderson & Krathwohl, 2001, S. 269f.

¹³ Gerlach, V. & Sullivan, A. (1967). Constructing statements of outcomes. Inglewood, CA: Southwest Re- gional Laboratory for Educational Research and Development, zitiert in DeLandsheere, 1977, S. 124f.

¹⁴ Jonassen, D. H. & Tessmer, M. (1996/97). An outcomes-based taxonomy for instructional systems design, evaluation and research. Training Research Journal, 2, 11-46, zitiert in Moseley et al., 2005, S. 266ff.

¹⁵ Stahl, R. J. & Murphy, G. T. (1981). The domain of cognition: An alternative to Blooms cognitive domain within the framework of an information processing model. (ERIC Document Reproduction Service No. ED 208 511), zitiert in Anderson & Krathwohl, 2001, S. 265ff.; Moseley et al., 2005, S. 79ff.

¹⁶ DeCorte, E. (1973). Onderwijsdoelstellingen. Louvain: Universitaire Pers, zitiert in Anderson, 2001, S. 275f.)

¹⁷ DeBlock, A., et al. (1972). La taxonomie des objectifs pour la discipline du Latin. Didactica Classica Gan- densia, 12-13, 119-131, zitiert in Anderson, 2001, S. 274f. & in DeLandsheere, 1977, S. 126f.

¹⁸ Presseisen, B. Z. (2001). Thinking skills: meanings and models revisited. In: A. L. Costa (Ed.). Developing minds: a resource book for teaching thinking (3rd edn). Alexandria, VA: Association for Supervision and Curriculum Development Publications, zitiert in Moseley et al., 2005, S. 94ff.