Die Anwendbarkeit probabilistischer Modelle im Rahmen der Wissensraumtheorie


D I S S E R T A T I O N

zur Erlangung des Doktorgrades der Naturwissenschaften
an der Fakultät für Human- und Sozialwissenschaften der Universität Wien


eingereicht von
Michael Weber

Wien, September 2004

Danksagung

Ich möchte mich an dieser Stelle bei all jenen Menschen bedanken, die mich in den letzten Jahren beim Schreiben dieser Arbeit immer wieder motiviert und auf unterschiedliche Weise unterstützt haben.

An erster Stelle seien Prof. Dr. Anton Formann und Dr. habil. Jürgen Heller genannt. Beide hatten immer wieder ein offenes Ohr, wenn es darum ging, meine Ideen und Gedankengänge zu diskutieren. Diese Diskussionen haben viel dazu beigetragen, Schwachstellen in der Argumentation aufzudecken, aus gedanklichen Sackgassen herauszufinden und die eigene Argumentation zu festigen.

Besonderer Dank geht auch an Manuela. Ihr ist es zu verdanken, dass die Zahl der Tippfehler in dieser Arbeit auf ein Minimum reduziert werden konnte und auch die Beistriche größtenteils an den richtigen Stellen gelandet sind. Nicht zuletzt möchte ich mich bei meiner Familie und meinen Freunden dafür bedanken, dass sie mich in den für ich besonders schwierigen Phasen immer wieder motiviert und mir so aus so manchem ,,Tief" herausgeholfen haben.

I

Inhaltsverzeichnis

1 EINLEITUNG 1
2 WISSENSRAUMTHEORIE 4
2.1 EINFÜHRUNG 4

2.2 BEGRIFFSERKLÄRUNGEN 5
2.2.1 WISSENSZUSTAND (KNOWLEDGE STATE) 5
2.2.2 WISSENSSTRUKTUR (KNOWLEDGE STRUCTURE) 5
2.2.3 WISSENSRAUM (KNOWLEDGE SPACE) 6
2.2.4 VERMUTUNGSRELATION (SURMISE-RELATION) 7
2.2.5 BASIS EINES WISSENSRAUMS 8
2.2.6 ÄQUIVALENTE ITEMS 9
2.2.7 VERMUTUNGSSYSTEME (SURMISE SYSTEMS) 9

2.3 ERWEITERUNGEN DER WISSENSRAUMTHEORIE 10
2.3.1 PROBABILISTISCHE WISSENSSTRUKTUREN 10
2.3.2 FERTIGKEITEN (SKILLS) 10

2.4 ZIELE UND PROBLEME DER WISSENSRAUMTHEORIE 11
2.4.1 ZIELE 11
2.4.2 PROBLEME 12

2.5 KONSTRUKTION VON WISSENSSTRUKTUREN 12
2.5.1 EXPERTENBEFRAGUNGEN 13
2.5.2 ANNAHME VON DEN AUFGABEN ZU GRUNDE LIEGENDEN FERTIGKEITEN 13
2.5.2.1 Das disjunktive Modell 14
2.5.2.2 Das konjunktive Modell 14
2.5.2.3 Das Kompetenz-Modell 15
2.5.2.4 Die Komponentenanalyse 16
2.5.3 GENERIERUNG DER WISSENSSTRUKTUR MITTELS DATENANALYSE 19
2.5.3.1 Item Tree Analysis (ITA) 19
2.5.3.2 Kritische Antwortmusterhäufigkeiten (Knowledge State Frequency Analysis) 21

2.6 STATISTISCHE MAßE FÜR DIE ANPASSUNGSGÜTE VON WISSENSRÄUMEN AUF DATEN 23
2.6.1 SYMMETRISCHE DISTANZEN 23
2.6.1.1 Kritik an den mittleren symmetrischen Distanzen 24
2.6.2 DISTANCE AGREEMENT COEFFICIENT (DA) 24
2.6.2.1 Kritik am DA Koeffizient 25
2.6.3 CORRELATIONAL AGREEMENT COEFFICIENT (CA) 26
2.6.3.1 Kritik am CA Koeffizient 27
2.6.4 VIOLATIONAL COEFFICIENT (VC) 29
2.6.5 APP 30
2.6.5.1 Kritik am APP 31

3 WISSENSRAUMTHEORIE UND LATENT CLASS ANALYSE 32
3.1 DIE LATENT CLASS ANALYSE FÜR DICHOTOME DATEN 34

3.2 GEGENÜBERSTELLUNG 36

3.3 ALLGEMEINE PROBLEME BEI DER KONSTRUKTION VON WISSENSSTRUKTUREN AUS DATEN 39

Inhaltverzeichnis II

3.4 DIE ANWENDBARKEIT DER LCA IM RAHMEN DER ITA 44
3.4.1 MODELLAUSWAHL UND ­EVALUIERUNG 44
3.4.2 DIE ITEM TREE LATENT CLASS ANALYSE (ITLCA) 47
3.4.3 VERGLEICH DER VERFAHREN ZUR KONSTRUKTION VON WISSENSSTRUKTUREN AUS DATEN 49
3.4.4 ERGEBNISSE 53
3.4.5 VERGLEICH DER ITLCA UND DER KSFA 63

3.5 KONSTRUKTION VON WISSENSSTRUKTUREN AUS DATEN MITTELS RESTRINGIERTER LCA 66

3.6 EINFLUSS DER STICHPROBENGRÖßE AUF DIE RESULTATE DER LATENT CLASS AANALYSE 71

3.7 DISKUSSION DER ERGEBNISSE 77
4 WISSENSRAUMTHEORIE UND RASCH MODELL 78
4.1 DAS ISOP- MODELL VON SCHEIBLECHNER 79
4.1.1 MODELLTESTS 81
4.1.2 INDEX DER ISOTONIE 83

4.2 VERMUTUNGSRELATION, ITEMSCHWIERIGKEITEN UND STOCHASTISCHE DOMINANZ 84
4.2.1 STOCHASTISCHE DOMINANZ 84
4.2.1.1 Stochastische Dominanz und Rasch Modell 85
4.2.1.2 Stochastische Dominanz und ISOP Modell 86
4.2.1.3 Stochastische Dominanz und Wissensraumtheorie 87
4.2.2 HERLEITUNGEN UND BEWEISE 87
4.2.2.1 Nomenklatur und allgemeine Annahmen 88
4.2.2.2 Dominanz zweier Items, die von einem dritten Item gleich dominiert werden 90
4.2.2.3 Dominanz zweier Items, die von einem dritten Item unterschiedlich stark dominiert werden 91
4.2.3 GEGENÜBERSTELLUNG DER DREI MODELLE UNTER VERWENDUNG DER STOCHASTISCHEN DOMINANZEN 92

4.3 DIE BEDEUTUNG DER VERTEILUNG DER WISSENSZUSTÄNDE FÜR DIE ANNAHME DER EINDIMENSIONALITÄT DER ITEMS 93

4.4 RE-ANALYSE PUBLIZIERTER DATENSÄTZE 96
4.4.1 DARSTELLUNG DER REANALYSIERTEN DATENSÄTZE 97
4.4.2 ERGEBNISSE DER ISOP MODELLKONTROLLEN 104

4.5 EIGNUNG DER MITTELS RASCH MODELL GESCHÄTZTEN ITEMSCHWIERIGKEITEN ZUR ERSTELLUNG
VON WISSENSSTRUKTUREN 107
4.5.1 WAHRSCHEINLICHKEITSAUFGABEN (HELD, 1993) 108
4.5.1.1 Ergebnis der Rasch Analyse 109
4.5.1.1.1 Rasch Analyse des ursprünglichen Datensatzes (WK1) (Held, 1993) 109
4.5.1.1.2 Raschanalyse des neuen Datensatzes (WK2) 109
4.5.1.2 Ergebnisse der ISOP Analyse 110
4.5.1.3 Gegenüberstellung der aus Datensatz WK1 resultierenden Strukturen 112
4.5.1.4 Gegenüberstellung der aus Datensatz WK2 resultierenden Strukturen 113
4.5.2 ZAHLENREIHEN ERGÄNZEN 115
4.5.2.1 Ergebnis der Modellkontrollen zum ISOP Modell 116
4.5.2.2 Ergebnis der Rasch Analyse 117
4.5.2.3 Ergebnis der ITA, der ITA* und der KSFA 117
4.5.2.4 Gegenüberstellung der resultierenden Strukturen 117
4.5.3 RE-ANALYSE DES DATENSATZES VON BAHRICK AND HALL 118
4.5.3.1 Ergebnis der unrestringierten LCA 119
4.5.3.2 Ergebnis der restringierten LCA und ITLCA 120
4.5.3.3 Ergebnis der Raschanalyse 121
4.5.3.4 Ergebnis der Modellkontrollen zum ISOP Modell 121
4.5.3.5 Ergebnis der ITA, der ITA* und der KSFA 122
4.5.3.6 Gegenüberstellung der resultierenden Strukturen 123

Inhaltverzeichnis III

4.6 SIMULATIONEN ZUR STABILITÄT DES DA UND APP KOEFFIZIENTEN 126

4.7 DISKUSSION DER ERGEBNISSE DER RE-ANALYSEN 128

5 GEGENÜBERSTELLUNG VON SKILL - ANSATZ UND LLTM 130
5.1 DAS LINEAR LOGISTISCHE TEST MODELL 130

5.2 BESCHREIBUNG DES WMT 132

5.3 BESCHREIBUNG DER STICHPROBE 134

5.4 ERSTELLUNG VON WISSENSSTRUKTUREN 136
5.4.1 MODELL 1 138
5.4.2 MODELL 2 138
5.4.3 MODELL 3 140
5.4.4 MODELL 4 140

5.5 ERGEBNISSE FÜR 24 ITEMS 141
5.5.1 WISSENSSTRUKTUREN UND ERGEBNISSE FÜR ALLE ITEMS DES WMT 142
5.5.2 MODELL 5 144

5.6 ERGEBNISSE FÜR DIE 15 LLTM KONFORMEN ITEMS DES WMT 146

5.7 DISKUSSION DER ERGEBNISSE 148
6 DISKUSSION 149
7 ZUSAMMENFASSUNG 154
8 LITERATURVERZEICHNIS 157

9 ANHANG 164
9.1 ANHANG A 164
9.2 ANHANG B 166
9.3 ANHANG C 169
9.4 ANHANG D 172
9.5 ANHANG E 173
9.6 ANHANG F 175
9.7 ANHANG G 176
9.8 ANHANG H 177

IV

Abbildungsverzeichnis

Abbildung 2.1 Hasse-Diagramm der Vermutungsrelation des in Bsp. 2.1 beschriebenen quasi-ordinalen Wissensraums 8
Abbildung 2.2 Aufgaben- und Attributsstruktur 18
Abbildung 2.3 Vier-Felder-Tafel für 2 Items 19
Abbildung 2.4 ,,Gelöst/Nicht-gelöst"-Matrix für k Items 19
Abbildung 2.5 Hasse-Diagramm der Vermutungsrelation der 5 Items des Beispieldatensatzes 27
Abbildung 2.6 Hasse-Diagramm der Vermutungsrelation dreier Items sowie die Auftrittswahrscheinlichkeiten der daraus resultierenden Wissenszustände 29
Abbildung 3.1 Hasse-Diagramm der Vermutungsrelation und Wissenszustände des Wissensraums A 39
Abbildung 3.2 Hasse-Diagramm der Vermutungsrelation und Wissenszustände des Wissensraums B 40
Abbildung 3.3 Hasse-Diagramme dreier unterschiedlich stark verbundener Vermutungsrelationen für 4 Items 42
Abbildung 3.4 Hasse-Diagramm der Vermutungsrelation eines Wissensraumes mit zwei unverbundnen Itemmengen 43
Abbildung 3.5 Hasse-Diagramme der 5 verschiedenen Vermutungsrelationen 49
Abbildung 3.6 Wissenszustände der 5 Strukturen 50
Abbildung 3.7 Verteilung der von den einzelnen Verfahren falsch klassifizierten Antwortmuster 58
Abbildung 3.8 Hasse-Diagramm der Vermutungsrelation der 5 Items 64
Abbildung 3.9 Verteilung der Anzahl der von KSFA und LCA falsch klassifizierten Antwortmuster 68
Abbildung 4.1 Kontingenztafel aller möglichen Antwortkombinationen zweier Items 81
Abbildung 4.2 Hasse-Diagramm der Vermutungsrelation dreier Items und die Wissenszustände des resultierenden Wissensraums 87
Abbildung 4.3 Vier-Felder-Tafeln für 3 dichotome Items 89
Abbildung 4.4 Hasse-Diagramm der Vermutungsrelation der Struktur 5 94
Abbildung 4.5 Beschreibung der für die Konstruktion der Schachaufgaben verwendeten Motive 98
Abbildung 4.6 Beispiel für ein Schachproblem mit den Motiven ,,Gabel", ,,Pin" und ,,Deckung" 98
Abbildung 4.7 Aufgaben zum ,,Zahlenreihen Ergänzen" sowie deren Komponenten und Attribute 99
Abbildung 4.8 Elementarkompetenzen der Geometrieaufgaben 99
Abbildung 4.9 Typisches Beispiel für die ,,Geometrieaufgaben" aus dem Wissensbereich um die Satzgruppe des Pythagoras 100
Abbildung 4.10 Aufgaben zur Teilbarkeitslehre 100
Abbildung 4.11 Die von Held und Korossy ausgewählten Aufgaben zur elementaren Algebra 101
Abbildung 4.12 Beschreibung der für die Konstruktion der Schachaufgaben verwendeten Motive 102

V

Abbildung 4.13 Beispiel für ein Schachproblem mit den Motiven ,,Elimination", ,,Deckung" und ,,Patt" 103
Abbildung 4.14 Beispiele für die von Wesiak verwendeten vier Aufgabentypen 104
Abbildung 5.1 Typisches Beispiel des WMT 132
Abbildung 5.2 Rohscoreverteilung des WMT 134
Abbildung 5.3 Ordnung der Attribute der 3 Faktoren 145

VI

Tabellenverzeichnis

Tabelle 2.1 Ergebnisse der ITA Analysen 28
Tabelle 3.1 Auftrittswahrscheinlichkeiten der Antwortmuster in Abhängigkeit von der Wissenszustandsverteilung des Wissensraums A sowie den itemspezifischen Fehlerwahrscheinlichkeiten 40
Tabelle 3.2 Auftrittswahrscheinlichkeiten der Antwortmuster in Abhängigkeit von der Stateverteilung des Wissensraums B sowie den itemspezifischen Fehlerwahrscheinlichkeiten 40
Tabelle 3.3 Wissenszustände und deren Auftrittswahrscheinlichkeiten in der High- und Low Score Variante 52
Tabelle 3.4 Scoreverteilung der Normalverteilungsbedingung 53
Tabelle 3.5 Vergleich der 4 Verfahren hinsichtlich der Zahl korrekt reproduzierter Wissensstrukturen und falsch klassifizierter Antwortmuster 54
Tabelle 3.6 Ergebnis des Friedman Tests zum Vergleich der 4 Methoden hinsichtlich der Anzahl falsch klassifizierter Antwortmuster 54
Tabelle 3.7 Ergebnisse der Friedman Tests zum Vergleich der 4 Methoden pro Verteilung 55
Tabelle 3.8 Ergebnisse der Wilcoxon Tests zum Vergleich von KSFA und ITLCA pro Verteilung 56
Tabelle 3.9 Ergebnisse der 4 Methoden pro Simulationsbedingung 56
Tabelle 3.10 Ergebnisse der Kruskal Wallis Tests zum Vergleich der Strukturen 59
Tabelle 3.11 Ergebnisse der Kruskal Wallis Tests pro Verfahren hinsichtlich der Zahl der falsch klassifizierten Antwortmuster pro Verteilung 59
Tabelle 3.12 Mittelwerte der absoluten Abweichungen der mittels ITLCA geschätzten von den in der Simulation verwendeten Fehlerwahrscheinlichkeiten 60
Tabelle 3.13 LCA Ergebnis für ITA Lösung mit 28 Wissenszuständen 61
Tabelle 3.14 Ergebnisse der Pearson-F² und Likelihoodquotiententests (L²) 61
Tabelle 3.15 LCA Ergebnisse für ITA Lösungen mit 36 und 16 Wissenszuständen (States) 62
Tabelle 3.16 Ergebnisse der F² und Likelihoodquotiententests (L²) 63
Tabelle 3.17 Ergebnisse der ITLCA für Datensatz 1 65
Tabelle 3.18 Ergebnisse der ITLCA für Datensatz 2 66
Tabelle 3.19 Wissenszustände der Strukturen 6 und 7 und deren Auftrittswahrscheinlichkeiten 69
Tabelle 3.20 Einfluss der Stichprobengröße auf die Zahl der pro Methode und Struktur falsch klassifizierten Antwortmuster 72
Tabelle 3.21 Einfluss der Stichprobengröße auf die Zahl der pro Methode falsch klassifizierten Antwortmuster73
Tabelle 3.22 Einfluss der Stichprobengröße auf die Zahl der pro Methode und Simulationsbedingung falsch klassifizierten Antwortmuster 73
Tabelle 3.23 Wilcoxon Tests zum Vergleich der Anzahl von ITLCA und der KSFA pro Struktur falsch klassifizierter Antwortmuster (N= 150) 74

Tabellenverzeichnis VII

Tabelle 3.24 Wilcoxon Tests zum Vergleich der Zahl von ITLCA und KSFA pro Verteilung falsch klassifizierten Antwortmuster (N= 150) 75
Tabelle 3.25 Vergleich der für jede der vier Methoden falsch klassifizierten Antwortmuster getrennt nach Verteilung und Wissenszuständen 76
Tabelle 4.1 Modellkonforme Auftrittswahrscheinlichkeiten der Antwortmuster 89
Tabelle 4.2 Auftrittswahrscheinlichkeiten der Antwortmuster in Abhängigkeit von der Verteilung der Wissenszustände sowie der itemspezifischen Fehlerwahrscheinlichkeiten 95
Tabelle 4.3 Ergebnisse der ISOP Modellkontrollen 105
Tabelle 4.4 Ergebnis der Rasch Modellkontrollen für Datensatz 13 (,,Aufgaben zur induktiven Problemlösung")106
Tabelle 4.5 Geschätzte Leichtigkeitsparameter der ,,Wahrscheinlichkeitsaufgaben" für die Datensätze WK1, WK2 und die Gesamtdaten 110
Tabelle 4.6 Ergebnis der ISOP Modellkontrollen 111
Tabelle 4.7 Wissenszustände der 4 anhand von Datensatz WK1 konstruierten Wissensstrukturen 111
Tabelle 4.8 Vergleich der Methoden zur Konstruktion von Wissensstrukturen (Datensatz WK1) 112
Tabelle 4.9 Die vier häufigsten Antwortmuster der Datensätze WK1 und WK2 113
Tabelle 4.10 Wissenszustände der 4 anhand von Datensatz WK2 konstruierten Wissensstrukturen 114
Tabelle 4.11 Vergleich der Methoden zur Konstruktion von Wissensstrukturen (Datensatz WK2) 114
Tabelle 4.12 Ergebnis der ISOP Modellkontrollen 116
Tabelle 4.13 Ergebnis der Modellkontrollen zum Rasch Modell 117
Tabelle 4.14 Vergleich der Methoden zur Konstruktion von Wissensstrukturen für die Aufgaben des Tests ,,Zahlenreihen Ergänzen" 118
Tabelle 4.15 Ergebnisse der 5 Klassenlösung der unrestringierten LCA 119
Tabelle 4.16 Ergebnis der Modellkontrollen zum Rasch Modell und Itemschwierigkeitsparameter 121
Tabelle 4.17 Ergebnis der ISOP Modellkontrollen 121
Tabelle 4.18 Itemschwierigkeitsparameter geschätzt anhand von Datensatz 1 122
Tabelle 4.19 Wissenszustände der für die einzelnen Methoden resultierenden Wissensstrukturen 122
Tabelle 4.20 Vergleich der zur Konstruktion von Wissensstrukturen verwendeten Methoden 123
Tabelle 4.21 Wissensstrukturen bei Verwendung der ITA für die unterschiedlichen Datensätze 124
Tabelle 4.22 Wissensstrukturen bei Verwendung der ITA* für die unterschiedlichen Datensätze 124
Tabelle 4.23 Wissensstrukturen bei Verwendung der Itemschwierigkeiten für die unterschiedlichen Datensätze 125
Tabelle 5.1 Ergebnis des Andersen Tests (N= 381) 135
Tabelle 5.2 Ergebnis des Martin Löf Tests (N= 381) 135
Tabelle 5.3 Ergebnisse des t-Tests für den Vergleich von Datensatz 1 und 2 135
Tabelle 5.4 Ergebnis des Andersen Tests (N= 521) 136
Tabelle 5.5 Ergebnisse der Modelltests zur Gültigkeit des LLTM für k=15 Items 136

Tabellenverzeichnis VIII

Tabelle 5.6 Q-Matrix der 24 Items des WMT 137
Tabelle 5.7 Items des WMT mit den ihnen zugeordneten Attributen laut Modell 1 139
Tabelle 5.8 Items des WMT mit den ihnen zugeordneten Attributen laut Modell 4 141
Tabelle 5.9 Vergleich der Wissensstrukturen für 24 Items mittels DA Koeffizient 142
Tabelle 5.10 Vergleich der mittleren minimalen Distanzen der für 24 Items erzielten Wissensstrukturen mit denen von Zufallsstrukturen 143
Tabelle 5.11 Median und Quartile der pro Wissenszustand gelösten Aufgaben 144
Tabelle 5.12 Items des WMT mit den ihnen zugeordneten Attributen laut Modell 5 145
Tabelle 5.13 Vergleich der Wissensräume anhand des CA und VC 146
Tabelle 5.14 Vergleich der Wissensstrukturen für 15 Items mittels DA und DA* 146
Tabelle 5.15 Vergleich der DA Koeffizienten der erzielten Wissensstrukturen für 15 Items mit denen von gleich großen Zufallsstrukturen 147
Tabelle 5.16 Vergleich der Wissensräume anhand des CA und VC 147

1

1. Einleitung

Psychologische Tests sind wesentliche Bestandteile des Berufsalltags vieler Psychologinnen und Psychologen und finden nach wie vor im Rahmen der Selektionsdiagnostik (z.B. zur Personalauslese) Verwendung. Zunehmend gewinnt jedoch die „sequentielle Diagnostik“ (siehe z.B. Kubinger, 1995) an Bedeutung. Durch das Feststellen individueller Stärken und Schwächen einer Person ist es möglich, entsprechend abgestimmte Förderungsprogramme anzubieten. Das steigende Angebot an Lernsoftware und die dadurch entstehende Vielzahl an neuen Möglichkeiten erlaubt es, der vermehrten Nachfrage nach einer individuell abgestimmten Leistungsförderung nachzukommen. Zur Entwicklung von sogenannten tutoriellen Systemen, die entsprechend dem jeweiligen Wissensstand einer Person individuelles Lernen ermöglichen, ist es vor allem notwendig zu wissen, über welche Fertigkeiten eine Person verfügt und welche sie benötigt, um sich weiter entwickeln zu können. Weiters ist es im Sinne der Testgütekriterien „Zumutbarkeit“ und „Ökonomie“ wünschenswert, die Vorgabe der Testung adaptiv gestalten zu können. Adaptive Tests ermöglichen einen maximalen diagnostischen Informationsgewinn bei gleichzeitig minimaler Beanspruchung einer Testperson im Hinblick auf zeitliche, physische und psychische Komponenten.

Lange Zeit war adaptives Testen unmittelbar mit der Forderung nach Raschhomogenität der Items verbunden. Doignon und Falmagne (1985) formulierten mit der Wissensraumtheorie einen neuen testtheoretischen Ansatz, in dessen Rahmen sowohl die Bestimmung der individuellen Fertigkeiten als auch adaptives Testen ermöglicht wird, ohne die Items den strengen Forderungen des Rasch-Modells (z.B. Eindimensionalität oder Parallelität der Item-Charakteristik-Kurven) auszusetzen. Diese, neben der klassischen und der modernen Testtheorie, dritte Theorie psychologischer Tests basiert auf der Mengenlehre. Im Zentrum steht die Annahme der Existenz von Relationen zwischen Items, welche es ermöglichen, von der Lösung einer Teilmenge von Items auf die Lösung einer weiteren Teilmenge von Items zu schließen. Das primäre Problem der

2
1. Einleitung

Wissensraumtheorie stellt der deterministische Ansatz dar. Ein deterministisches Testmodell bietet zwar denkbar einfache Möglichkeiten der Modelltestung, stellt jedoch für die praktische Anwendung unrealistische Anforderungen und kann daher höchstens von akademischem Interesse sein. Somit war es unerlässlich, Überlegungen für mögliche probabilistische Varianten der Wissensraumtheorie zu entwickeln. Diese Annahmen führen in dem ursprünglich deterministisch formulierten Modell zu einer Charakterisierung von Personengruppen anhand latenter Antwortmuster. Diese Art der Charakterisierung findet sich jedoch bereits in der von Lazarsfeld und Henry (1968) dargestellten Latent Class Analyse (LCA).
Im Rahmen der vorliegenden Arbeit werden nun erstmals die beiden Zugänge gegenüber gestellt, um Parallelen und Unterschiede herauszuarbeiten. Die Probabilisierung der Wissensraumtheorie stellt zwar eine deutliche Verbesserung für die Anwendbarkeit in einer realistischen Umgebung dar, es treten dadurch jedoch weitere Probleme in Erscheinung. So wird es unter anderem notwendig, Kennwerte zu entwickeln, die eine Abschätzung ermöglichen, inwiefern ein Modell die empirische Wirklichkeit hinreichend beschreibt. Es muss prüfbar sein, ob ein für einen gegebenen Datensatz formuliertes Modell als gültig angenommen werden kann. Umgekehrt wird es notwendig, für eine gegebene Itemmenge die den Items zu Grunde liegenden Relationen zu ermitteln. Aufgrund der aus dem Vergleich der LCA mit der Wissensraumtheorie resultierenden Erkenntnisse ergeben sich in weiterer Folge neue Lösungsansätze für diese zentralen Probleme der Wissensraumtheorie. Einerseits zeigt sich, dass die im Rahmen der Latent Class Analyse verwendeten Kennwerte für die Modellgeltung auch im Rahmen der Wissensraumtheorie angewandt werden können, andererseits wird ein neues, exakteres Verfahren zur Identifizierung von Wissensstrukturen vorgestellt, das anhand simulierter Datensätze den bisher im Rahmen der Wissensraumtheorie verwendeten Methoden zur Konstruktion von Wissensstrukturen aus Daten gegenübergestellt wird. Der Vorteil der Verwendung simulierter Datensätze liegt sowohl in der Kenntnis der den Daten zu Grunde liegenden Wissensstrukturen, als auch darin, dass durch das experimentelle Design mögliche Störfaktoren systematisch kontrolliert werden können. Weiters wird versucht, anhand der im Rahmen der Wissensraumtheorie verwendeten Methoden zur Konstruktion von

3
1. Einleitung
 

Wissensstrukturen Beziehungen zur modernen Testtheorie herzustellen und diese formal zu untermauern. Wie gezeigt werden kann, hängt die Geltung von Modellen der Item Response Theory (IRT) auf wissensraumkonforme Daten wesentlich von der Verteilung der Wissenszustände ab. Somit ist es möglich, Datensätze zu simulieren, die entweder nur der Wissensraumtheorie oder auch IRT Modellen entsprechen. Um die praktische Relevanz zu gewährleisten, werden daher für die Überprüfung der vermuteten Beziehungen im Rahmen der Wissensraumtheorie real erhobene Datensätze reanalysiert. Die beobachteten Beziehungen eröffnen abermals neue Methoden zur Konstruktion von Wissensstrukturen aus Daten. Diese neuen Methoden werden in weiterer Folge den bisher im Rahmen der Wissensraumtheorie verwendeten Methoden gegenübergestellt. Dabei wird darauf geachtet, dass die Validierung der Wissensstrukturen, welche mit Hilfe der verschiedenen Methoden gewonnen werden, an einem weiteren Datensatz erfolgt. Sofern die Größe der vorhandenen Datensätze es erlaubt, werden diese hierfür in zwei hinreichend große Teilstichproben aufgeteilt. Sollte eine Aufteilung aufgrund des zu geringen Stichprobenumfangs nicht möglich sein, werden neue Datensätze erhoben.

4

2. Wissensraumtheorie

2.1 Einführung

Ausgehend von den Arbeiten von Doignon und Falmagne (1985) ist die Wissensraumtheorie ein auf der Mengentheorie basierendes Rahmenmodell zur Wissensmodellierung und Wissensdiagnostik. Sie kann neben der klassischen und modernen Testtheorie als ein dritter, neuer testtheoretischer Ansatz verstanden werden, mit dem Ziel einer möglichst effizienten Schätzung des Wissenszustandes einer Person über ein bestimmtes Wissensgebiet. Es wird von der Annahme ausgegangen, dass durch die Vorgabe von Aufgaben, die sich mit einem bestimmten Thema beschäftigen, der Wissensstand einer Person erfasst werden kann. Da die Menge der vorzugebenden Aufgaben mitunter sehr groß ist, werden Relationen zwischen den Items angenommen, wodurch Rückschlüsse auf das Wissen einer Person möglich werden, ohne der Person alle Items vorgeben zu müssen. Diese Struktur, welche die Aufgaben zueinander in Beziehung setzt, bildet den Kern der Wissensraumtheorie. Im Folgenden werden die im Rahmen dieser Arbeit benötigten Begriffe der Wissensraumtheorie dargestellt. Für eine umfassende Darstellung sowie für einen Überblick über den Forschungsstand sei auf Doignon und Falmagne (1999) verwiesen.

5
2. Wissensraumtheorie
 

2.2 Begriffserklärungen

2.2.1 Wissenszustand

(Knowledge State) Unter dem Wissenszustand (W) einer Person versteht man jene Teilmenge vorgegebener Items, die diese Person unter idealen Bedingungen zu lösen vermag. Da in der Praxis diese idealen Bedingungen nicht herstellbar sind, muss bei konkreten Antworten damit gerechnet werden, dass eine Person Aufgaben, die zu ihrem Wissenszustand gehören, aus Unachtsamkeit nicht löst bzw. zufällig Aufgaben löst, die nicht zu ihrem Wissenszustand zählen. Der Wissenszustand einer Person ist daher im Allgemeinen nicht direkt beobachtbar und muss aus den gegebenen Antworten der Person erschlossen werden.

2.2.2 Wissensstruktur (Knowledge Structure)

Ein weiterer zentraler Begriff in der Wissensraumtheorie ist die Wissensstruktur (). Eine Wissensstruktur ist die Menge aller Wissenszustände. Die trivialen Wissenszustände „kein Item gelöst“ und „alle Items gelöst“, welche unabhängig von der den Items zu Grunde liegenden Struktur angenommen werden können, sind Elemente jeder Wissensstruktur. Eine Wissensstruktur kann demnach folgendermaßen definiert werden: Ein Paar (Q, ) wird als Wissensstruktur bezeichnet, wenn 1) Q eine endliche, nicht leere Menge von Aufgaben und 2)  eine Familie von Teilmengen von Q ist, die zumindest die leere Menge sowie Q selbst enthält. Die in  enthaltenen Teilmengen sind die Wissenszustände. Die Menge Q wird die Domäne der Wissensstruktur genannt. Der Nomenklatur der Literatur zur Wissensraumtheorie folgend, wird die Zahl der in einer Wissensstruktur enthaltenen Wissenszustände mit || bezeichnet;  bezeichnet die leere Menge. Anstatt der Darstellung eines Wissenszustandes W als Menge der von einer Person unter idealen Bedingungen lösbaren Aufgaben, kann auch die Darstellung