Psychologische Tests sind wesentliche Bestandteile des Berufsalltags vieler PsychologInnen. Zunehmend gewinnt jedoch die „sequentielle Diagnostik“ an Bedeutung. Zur Entwicklung tutorieller Systeme ist es notwendig zu wissen, über welche Fertigkeiten eine Person verfügt und welche sie benötigt, um sich weiter entwickeln zu können. Adaptive Tests ermöglichen einen maximalen diagnostischen Informationsgewinn bei minimaler Beanspruchung einer Testperson. Lange war adaptives Testen mit der Forderung nach Raschhomogenität der Items verbunden. Die Wissensraumtheorie ist ein neuer, auf der Mengelehre basierender testtheoretischer Ansatz, in deren Rahmen sowohl die Bestimmung der individuellen Fertigkeiten als auch adaptives Testen möglich ist. Im Zentrum stehen Relationen zwischen Items, welche es ermöglichen, von der Lösung einer Teilmenge von Items auf die Lösung einer weiteren Teilmenge von Items zu schließen. Das primäre Problem der Wissensraumtheorie stellt der deterministische Ansatz dar, da es für die praktische Anwendung unrealistische Anforderungen stellt. Daher war es unerlässlich probabilistische Varianten der Wissensraumtheorie zu entwickeln. Diese führen zu einer Charakterisierung von Personengruppen anhand latenter Antwortmuster. Diese Art der Charakterisierung findet sich auch in der von Lazarsfeld und Henry (1968) dargestellten Latent Class Analyse. Im Rahmen der vorliegenden Arbeit werden die beiden Zugänge einander gegenüber gestellt. Daraus ergeben sich neue Lösungsansätze für zentrale Probleme der Wissensraumtheorie, wie z.B.
• die Entwicklung von Kennwerten die abschätzen ob ein Modell die empirische Wirklichkeit hinreichend beschreibt,
• die Prüfung, ob ein für einen Datensatz formuliertes Modell als gültig angenommen werden kann oder
• die Ermittlung den Items zu Grunde liegender Relationen.
Weiters werden Beziehungen der Wissensraumtheorie zur modernen Testtheorie hergestellt und diese formal untermauert. Um die praktische Relevanz zu gewährleisten, werden neben simulierten auch real erhobene Datensätze analysiert.
Die Ergebnisse eröffnen neue Methoden zur Konstruktion von Wissensstrukturen aus Daten. Diese Methoden werden den bisher im Rahmen der Wissensraumtheorie verwendeten Methoden gegenübergestellt.
Inhaltsverzeichnis
1 EINLEITUNG
2 WISSENSRAUMTHEORIE
2.1 EINFÜHRUNG
2.2 BEGRIFFSERKLÄRUNGEN
2.2.1 WISSENSZUSTAND (KNOWLEDGE STATE)
2.2.2 WISSENSSTRUKTUR (KNOWLEDGE STRUCTURE)
2.2.3 WISSENSRAUM (KNOWLEDGE SPACE)
2.2.4 VERMUTUNGSRELATION (SURMISE-RELATION)
2.2.5 BASIS EINES WISSENSRAUMS
2.2.6 ÄQUIVALENTE ITEMS
2.2.7 VERMUTUNGSSYSTEME (SURMISE SYSTEMS)
2.3 ERWEITERUNGEN DER WISSENSRAUMTHEORIE
2.3.1 PROBABILISTISCHE WISSENSSTRUKTUREN
2.3.2 FERTIGKEITEN (SKILLS)
2.4 ZIELE UND PROBLEME DER WISSENSRAUMTHEORIE
2.4.1 ZIELE
2.4.2 PROBLEME
2.5 KONSTRUKTION VON WISSENSSTRUKTUREN
2.5.1 EXPERTENBEFRAGUNGEN
2.5.2 ANNAHME VON DEN AUFGABEN ZU GRUNDE LIEGENDEN FERTIGKEITEN
2.5.2.1 Das disjunktive Modell
2.5.2.2 Das konjunktive Modell
2.5.2.3 Das Kompetenz-Modell
2.5.2.4 Die Komponentenanalyse
2.5.3 GENERIERUNG DER WISSENSSTRUKTUR MITTELS DATENANALYSE
2.5.3.1 Item Tree Analysis (ITA)
2.5.3.2 Kritische Antwortmusterhäufigkeiten (Knowledge State Frequency Analysis)
2.6 STATISTISCHE MAßE FÜR DIE ANPASSUNGSGÜTE VON WISSENSRÄUMEN AUF DATEN
2.6.1 SYMMETRISCHE DISTANZEN
2.6.1.1 Kritik an den mittleren symmetrischen Distanzen
2.6.2 DISTANCE AGREEMENT COEFFICIENT (DA)
2.6.2.1 Kritik am DA Koeffizient
2.6.3 CORRELATIONAL AGREEMENT COEFFICIENT (CA)
2.6.3.1 Kritik am CA Koeffizient
2.6.4 VIOLATIONAL COEFFICIENT (VC)
2.6.5 APP
2.6.5.1 Kritik am APP
3 WISSENSRAUMTHEORIE UND LATENT CLASS ANALYSE
3.1 DIE LATENT CLASS ANALYSE FÜR DICHOTOME DATEN
3.2 GEGENÜBERSTELLUNG
3.3 ALLGEMEINE PROBLEME BEI DER KONSTRUKTION VON WISSENSSTRUKTUREN AUS DATEN
3.4 DIE ANWENDBARKEIT DER LCA IM RAHMEN DER ITA
3.4.1 MODELLAUSWAHL UND –EVALUIERUNG
3.4.2 DIE ITEM TREE LATENT CLASS ANALYSE (ITLCA)
3.4.3 VERGLEICH DER VERFAHREN ZUR KONSTRUKTION VON WISSENSSTRUKTUREN AUS DATEN
3.4.4 ERGEBNISSE
3.4.5 VERGLEICH DER ITLCA UND DER KSFA
3.5 KONSTRUKTION VON WISSENSSTRUKTUREN AUS DATEN MITTELS RESTRINGIERTER LCA
3.6 EINFLUSS DER STICHPROBENGRÖßE AUF DIE RESULTATE DER LATENT CLASS AANALYSE
3.7 DISKUSSION DER ERGEBNISSE
4 WISSENSRAUMTHEORIE UND RASCH MODELL
4.1 DAS ISOP- MODELL VON SCHEIBLECHNER
4.1.1 MODELLTESTS
4.1.2 INDEX DER ISOTONIE
4.2 VERMUTUNGSRELATION, ITEMSCHWIERIGKEITEN UND STOCHASTISCHE DOMINANZ
4.2.1 STOCHASTISCHE DOMINANZ
4.2.1.1 Stochastische Dominanz und Rasch Modell
4.2.1.2 Stochastische Dominanz und ISOP Modell
4.2.1.3 Stochastische Dominanz und Wissensraumtheorie
4.2.2 HERLEITUNGEN UND BEWEISE
4.2.2.1 Nomenklatur und allgemeine Annahmen
4.2.2.2 Dominanz zweier Items, die von einem dritten Item gleich dominiert werden
4.2.2.3 Dominanz zweier Items, die von einem dritten Item unterschiedlich stark dominiert werden
4.2.3 GEGENÜBERSTELLUNG DER DREI MODELLE UNTER VERWENDUNG DER STOCHASTISCHEN DOMINANZEN
4.3 DIE BEDEUTUNG DER VERTEILUNG DER WISSENSZUSTÄNDE FÜR DIE ANNAHME DER EINDIMENSIONALITÄT DER ITEMS
4.4 RE-ANALYSE PUBLIZIERTER DATENSÄTZE
4.4.1 DARSTELLUNG DER REANALYSIERTEN DATENSÄTZE
4.4.2 ERGEBNISSE DER ISOP MODELLKONTROLLEN
4.5 EIGNUNG DER MITTELS RASCH MODELL GESCHÄTZTEN ITEMSCHWIERIGKEITEN ZUR ERSTELLUNG VON WISSENSSTRUKTUREN
4.5.1 WAHRSCHEINLICHKEITSAUFGABEN (HELD, 1993)
4.5.1.1 Ergebnis der Rasch Analyse
4.5.1.1.1 Rasch Analyse des ursprünglichen Datensatzes (WK1) (Held, 1993)
4.5.1.1.2 Raschanalyse des neuen Datensatzes (WK2)
4.5.1.2 Ergebnisse der ISOP Analyse
4.5.1.3 Gegenüberstellung der aus Datensatz WK1 resultierenden Strukturen
4.5.1.4 Gegenüberstellung der aus Datensatz WK2 resultierenden Strukturen
4.5.2 ZAHLENREIHEN ERGÄNZEN
4.5.2.1 Ergebnis der Modellkontrollen zum ISOP Modell
4.5.2.2 Ergebnis der Rasch Analyse
4.5.2.3 Ergebnis der ITA, der ITA* und der KSFA
4.5.2.4 Gegenüberstellung der resultierenden Strukturen
4.5.3 RE-ANALYSE DES DATENSATZES VON BAHRICK AND HALL
4.5.3.1 Ergebnis der unrestringierten LCA
4.5.3.2 Ergebnis der restringierten LCA und ITLCA
4.5.3.3 Ergebnis der Raschanalyse
4.5.3.4 Ergebnis der Modellkontrollen zum ISOP Modell
4.5.3.5 Ergebnis der ITA, der ITA* und der KSFA
4.5.3.6 Gegenüberstellung der resultierenden Strukturen
4.6 SIMULATIONEN ZUR STABILITÄT DES DA UND APP KOEFFIZIENTEN
4.7 DISKUSSION DER ERGEBNISSE DER RE-ANALYSEN
5 GEGENÜBERSTELLUNG VON SKILL - ANSATZ UND LLTM
5.1 DAS LINEAR LOGISTISCHE TEST MODELL
5.2 BESCHREIBUNG DES WMT
5.3 BESCHREIBUNG DER STICHPROBE
5.4 ERSTELLUNG VON WISSENSSTRUKTUREN
5.4.1 MODELL 1
5.4.2 MODELL 2
5.4.3 MODELL 3
5.4.4 MODELL 4
5.5 ERGEBNISSE FÜR 24 ITEMS
5.5.1 WISSENSSTRUKTUREN UND ERGEBNISSE FÜR ALLE ITEMS DES WMT
5.5.2 MODELL 5
5.6 ERGEBNISSE FÜR DIE 15 LLTM KONFORMEN ITEMS DES WMT
5.7 DISKUSSION DER ERGEBNISSE
6 DISKUSSION
7 ZUSAMMENFASSUNG
Zielsetzung & Themen
Die Arbeit untersucht die Anwendbarkeit probabilistischer Modelle innerhalb der Wissensraumtheorie, um deren deterministische Grenzen in der praktischen Anwendung zu überwinden. Das primäre Ziel ist die Gegenüberstellung der Wissensraumtheorie mit der Latent Class Analyse (LCA), um Parallelen aufzuzeigen und neue, exaktere Verfahren zur Identifizierung von Wissensstrukturen aus Daten zu entwickeln und zu evaluieren.
- Vergleich deterministischer und probabilistischer Ansätze der Wissensraumtheorie.
- Analyse der formale Äquivalenz zwischen dem „Basic Local Independence“ Modell und der Latent Class Analyse.
- Vorstellung der „Item Tree Latent Class Analyse“ (ITLCA) zur verbesserten Wissensstrukturgenerierung.
- Überprüfung der Stabilität von Modellen mittels Simulationen und Re-Analysen bestehender Datensätze.
- Untersuchung der Kompatibilität von Wissensstrukturen mit dem Rasch-Modell und dem ISOP-Modell von Scheiblechner.
Auszug aus dem Buch
1 Einleitung
Psychologische Tests sind wesentliche Bestandteile des Berufsalltags vieler Psychologinnen und Psychologen und finden nach wie vor im Rahmen der Selektionsdiagnostik (z.B. zur Personalauslese) Verwendung. Zunehmend gewinnt jedoch die „sequentielle Diagnostik“ (siehe z.B. Kubinger, 1995) an Bedeutung. Durch das Feststellen individueller Stärken und Schwächen einer Person ist es möglich, entsprechend abgestimmte Förderungsprogramme anzubieten. Das steigende Angebot an Lernsoftware und die dadurch entstehende Vielzahl an neuen Möglichkeiten erlaubt es, der vermehrten Nachfrage nach einer individuell abgestimmten Leistungsförderung nachzukommen. Zur Entwicklung von sogenannten tutoriellen Systemen, die entsprechend dem jeweiligen Wissensstand einer Person individuelles Lernen ermöglichen, ist es vor allem notwendig zu wissen, über welche Fertigkeiten eine Person verfügt und welche sie benötigt, um sich weiter entwickeln zu können. Weiters ist es im Sinne der Testgütekriterien „Zumutbarkeit“ und „Ökonomie“ wünschenswert, die Vorgabe der Testung adaptiv gestalten zu können. Adaptive Tests ermöglichen einen maximalen diagnostischen Informationsgewinn bei gleichzeitig minimaler Beanspruchung einer Testperson im Hinblick auf zeitliche, physische und psychische Komponenten.
Lange Zeit war adaptives Testen unmittelbar mit der Forderung nach Raschhomogenität der Items verbunden. Doignon und Falmagne (1985) formulierten mit der Wissensraumtheorie einen neuen testtheoretischen Ansatz, in dessen Rahmen sowohl die Bestimmung der individuellen Fertigkeiten als auch adaptives Testen ermöglicht wird, ohne die Items den strengen Forderungen des Rasch-Modells (z.B. Eindimensionalität oder Parallelität der Item-Charakteristik-Kurven) auszusetzen. Diese, neben der klassischen und der modernen Testtheorie, dritte Theorie psychologischer Tests basiert auf der Mengenlehre. Im Zentrum steht die Annahme der Existenz von Relationen zwischen Items, welche es ermöglichen, von der Lösung einer Teilmenge von Items auf die Lösung einer weiteren Teilmenge von Items zu schließen. Das primäre Problem der Wissensraumtheorie stellt der deterministische Ansatz dar.
Zusammenfassung der Kapitel
1 EINLEITUNG: Einführung in die Problematik psychologischer Tests und Darstellung der Wissensraumtheorie als testtheoretische Alternative.
2 WISSENSRAUMTHEORIE: Erläuterung der theoretischen Grundlagen, Begriffe und Methoden zur Konstruktion von Wissensstrukturen.
3 WISSENSRAUMTHEORIE UND LATENT CLASS ANALYSE: Darstellung der formalen Äquivalenz und Einführung der ITLCA als kombiniertes Verfahren.
4 WISSENSRAUMTHEORIE UND RASCH MODELL: Untersuchung der Parallelen zwischen der Wissensraumtheorie und dem Rasch- bzw. ISOP-Modell.
5 GEGENÜBERSTELLUNG VON SKILL - ANSATZ UND LLTM: Analyse von Fertigkeitsansätzen im Vergleich zum Linear Logistischen Testmodell (LLTM).
6 DISKUSSION: Zusammenfassende Betrachtung der Ergebnisse und Diskussion der Modellgeltung.
7 ZUSAMMENFASSUNG: Abschluss der Arbeit mit einer prägnanten Übersicht der Erkenntnisse.
Schlüsselwörter
Wissensraumtheorie, Latent Class Analyse, ITLCA, Rasch Modell, ISOP Modell, adaptive Tests, Wissensstrukturen, Kompetenzmodell, stochastische Dominanz, Item Tree Analyse, Modellgeltung, Skill Ansatz, LLTM, Testtheorie, Leistungsdiagnostik
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit beschäftigt sich mit der mathematischen Modellierung von Wissen und dem adaptiven Testen. Sie untersucht, wie sich theoretische Konzepte aus der Wissensraumtheorie mit statistischen Modellen der modernen Testtheorie (wie der Latent Class Analyse oder dem Rasch Modell) verknüpfen lassen.
Welche zentralen Themenfelder werden behandelt?
Die zentralen Themen sind die Konstruktion von Wissensstrukturen aus empirischen Daten, die Bewertung der Modellgüte (Goodness-of-Fit) sowie die Stabilität und Anwendbarkeit dieser Modelle in der diagnostischen Praxis.
Was ist das primäre Ziel der Forschung?
Das primäre Ziel ist es, die deterministischen Limitationen der klassischen Wissensraumtheorie durch die Integration probabilistischer Verfahren zu überwinden und ein präziseres Verfahren (die ITLCA) zur Rekonstruktion von Wissensstrukturen zu validieren.
Welche wissenschaftlichen Methoden kommen zum Einsatz?
Die Arbeit nutzt mathematische Modellierungen aus der Mengenlehre, klassische statistische Verfahren (wie Pearson Chi-Quadrat-Tests), die Latent Class Analyse sowie computergestützte Simulationen zur Überprüfung der Modellstabilität bei unterschiedlichen Stichprobengrößen.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil gliedert sich in die theoretische Fundierung der Wissensraumtheorie, die mathematische Gegenüberstellung mit der Latent Class Analyse, die Re-Analyse publizierter Datensätze sowie eine detaillierte Simulation zur Validierung der neuen ITLCA-Methode.
Durch welche Schlüsselwörter lässt sich die Arbeit charakterisieren?
Die Arbeit lässt sich primär über Begriffe wie Wissensraumtheorie, Latent Class Analyse, Item Tree Analyse (ITA) und Rasch-Modell definieren.
Warum ist das "Basic Local Independence" Modell formal äquivalent zur Latent Class Analyse?
Beide Modelle teilen die Annahme der lokalen stochastischen Unabhängigkeit der Itemantworten innerhalb latenter Gruppen (Klassen bzw. Wissenszustände), was eine direkte formale Überführung der Wahrscheinlichkeitsfunktionen ermöglicht.
Wie bewertet der Autor die ITLCA im Vergleich zu anderen Verfahren?
Die ITLCA erweist sich in den Simulationen bei der Rekonstruktion korrekter Wissensstrukturen als überlegen gegenüber den anderen untersuchten Verfahren wie ITA, ITA* oder der Knowledge State Frequency Analysis (KSFA).
Welche Rolle spielt die Stichprobengröße bei den Ergebnissen?
Die Stichprobengröße ist entscheidend für die Stabilität und Identifizierbarkeit der Modellparameter. Kleine Stichproben führen bei komplexen Modellen wie der LCA zu einer deutlichen Abnahme der Genauigkeit und zu Problemen bei der Modellkontrolle.
- Quote paper
- Dr Michael Weber (Author), 2004, Die Anwendbarkeit probabilistischer Modelle im Rahmen der Wissensraumtheorie, Munich, GRIN Verlag, https://www.grin.com/document/122377
