Abstract
ENTWICKLUNG UND AUSWERTUNG EINES WISSENSTESTS „METHODENKENNTNISSE“ ZUM THEMA „HYPOTHESENBILDUNG UND STATISTISCHE ENTSCHEIDUNGEN“
Wie wissenschaftliche Testfragen entstehen und welche Aspekte dabei praktisch beachtet werden müssen, ist Thema dieser Arbeit. Die Kenntnis bestimmter Lernziele im Bereich „Methoden der Psychologie“ soll hier als Leistungstest beispielhaft messbar gemacht werden.
Zunächst werden die Grundlagen der Entwicklung von Testaufgaben dargestellt: Dazu gehören die Gütekriterien Objektivität, Reliabilität und Validität und theoretische Modelle der Testtheorie.
Zudem werden die Eigenschaften verschiedener Aufgabentypen, die Aufgabenkonstruktion, ihre Analyse sowie ihre Auswertung und Interpretation diskutiert.
Entsprechend werden im Anschluss der theoretischen Darstellung eigene Testaufgaben entworfen, die Kenntnisse im Bereich „Hypothesenbildung und statistische Entscheidungen“ messen sollen. Die Aufgaben werden schließlich kritisch betrachtet und weitere Erfordernisse für die Transformation in einen fertigen Test genannt.
Inhaltsverzeichnis
1 Einordnung des Themas
2 Grundlagen der Testaufgabenentwicklung
2.1 Gütekriterien
2.2 Theoretische Modelle
2.3 Aufgabentypen
2.4 Aufgabenkonstruktion
2.5 Aufgabenanalyse
2.6 Auswertung und Interpretation
3 Testaufgaben
3.1 Allgemeine Hinweise
3.2 Aufgaben, Lehrziele und Lösungen
4 Zusammenfassung und Ausblick
Zielsetzung & Themen
Das Hauptziel dieser Arbeit ist die eigenständige Entwicklung und Auswertung eines leistungsorientierten Wissenstests zu den Themenbereichen Hypothesenbildung und statistische Entscheidungen, um das Methodenwissen von Studierenden zu prüfen. Die Arbeit befasst sich insbesondere mit der Operationalisierung von Lehrzielen in einem akademischen Kontext.
- Grundlagen der Testtheorie und Gütekriterien
- Methoden der Aufgabenkonstruktion und Distraktorenerstellung
- Kriteriumsorientierte versus normorientierte Messverfahren
- Statistische Bewertung und Interpretation von Testleistungen
- Konstruktion und Lösung von Multiple-Choice-Testaufgaben
Auszug aus dem Buch
2.3 AUFGABENTYPEN
Jede Aufgabe besteht aus einer Frage oder einem Problem und der Lösung bzw. der Stellungnahme. Dabei wird zunächst formal unterschieden zwischen gebundenen und freien Antworten (vgl. Lienert, 1989, S. 25ff). Gebunden sind Richtig-Falsch-Aufgaben, Multiple-Choice-Aufgaben und Zu- oder Umordnungsaufgaben: Der Proband wählt aus den vorgegebenen Möglichkeiten die ihm richtig erscheinende Antwort oder bearbeitet die Reihenfolge vorgegebener Begriffe. Freie Aufgaben erlauben dagegen die selbstständige Formulierung einer Lösung, meist als Kurzaufsatz mit beschränkter Wortzahl. Bortz (1984, S. 144) nennt als Zwischenform die halboffene Beantwortung bei Ergänzungsaufgaben, Reihen- und Sammelantworten.
Dazu unterscheiden sich die Anforderungen der Aufgabe: In einem Fragebogen wird evtl. nur eine Stellungnahme erwartet, in Leistungstests dagegen kann Faktenwissen - also eine Gedächtnisleistung - , die Anwendung von Kenntnissen oder auch das Verständnis komplexer Sachverhalte gefordert werden (Lienert, 1989, S. 31).
Richtig-Falsch-Aufgaben sind in Anweisung und Auswertung sehr einfach, eignen sich aber nicht für komplexere Inhalte; am problematischsten ist jedoch, dass mit 50prozentiger Wahrscheinlichkeit die richtige Antwort ohne jegliche Sachkenntnisse erraten werden kann. Multiple-Choice-Aufgaben sind ebenso einfach auswertbar, aber es besteht eine geringere Gefahr, nur durch Zufall ein gutes Ergebnis zu erhalten. Dazu müssen aber alle Lösungen für den „Laien“ gleich plausibel wirken: Eine sehr sorgfältige Aufgabenkonstruktion ist erforderlich. Dass mit diesem Aufgabentyp nur Tatsachenwissen geprüft werden könne, hält Klauer (1987, S. 23f) für ein nicht mehr haltbares Vorurteil; Fakt ist aber, dass bei gebundenen Aufgaben die Lösung immer schon vorhanden ist, sie muss nur gewählt werden.
Zusammenfassung der Kapitel
1 Einordnung des Themas: Das Kapitel definiert den Testbegriff im wissenschaftlichen Kontext und grenzt das Ziel der Arbeit als kriteriumsorientierte Leistungsmessung für einen spezifischen Kurs ab.
2 Grundlagen der Testaufgabenentwicklung: Es werden zentrale Qualitätskriterien wie Objektivität, Reliabilität und Validität erläutert sowie theoretische Ansätze zur Itemkonstruktion und zur Auswertung von Testergebnissen vorgestellt.
3 Testaufgaben: Dieser Abschnitt enthält die praktischen Anwendungsbeispiele in Form von Multiple-Choice-Fragen inklusive der dazugehörigen Lehrziele und korrekten Lösungen.
4 Zusammenfassung und Ausblick: Das Kapitel reflektiert den Prozess der Testerstellung und benennt notwendige Schritte für die Überführung in einen vollständig validierten, standardisierten Test.
Schlüsselwörter
Testtheorie, Gütekriterien, Kriteriumsorientierte Messung, Hypothesenbildung, Statistische Entscheidung, Testkonstruktion, Multiple-Choice, Aufgabenanalyse, Validität, Reliabilität, Objektivität, Leistungstest, Methodenkenntnisse, Operationalisierung, Distraktoren
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit behandelt die Entwicklung eines fachspezifischen Wissenstests, der die Methodenkenntnisse von Studierenden im Bereich der Statistik und Hypothesenbildung prüft.
Welche zentralen Themenfelder stehen im Fokus?
Zentrale Themen sind die theoretischen Grundlagen der psychologischen Testentwicklung, Gütekriterien für Leistungstests und die praktische Konstruktion von Multiple-Choice-Aufgaben.
Was ist das primäre Ziel der Untersuchung?
Ziel ist es, ein Messinstrument zu entwerfen, das kriteriumsorientiert beurteilen kann, ob ein Proband die Lernziele eines spezifischen Fernstudienkurses erreicht hat.
Welche wissenschaftliche Methode kommt zum Einsatz?
Die Autorin nutzt die klassische Testtheorie als Grundlage und wendet Methoden der Itemkonstruktion sowie Distraktoren-Strategien an, um einen reliablen und validen Leistungstest zu erstellen.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil gliedert sich in theoretische Erläuterungen zu den Gütekriterien und der Aufgabenkonstruktion sowie einen konkreten Aufgabenteil mit zwölf Fragen zu statistischen Verfahren.
Welche Schlüsselwörter charakterisieren die Publikation?
Die Arbeit lässt sich durch Begriffe wie Testkonstruktion, Hypothesenbildung, kriteriumsorientierte Diagnostik und statistische Entscheidungen am besten beschreiben.
Warum wurde für den Test das Multiple-Choice-Format gewählt?
Die Autorin wählte dieses Format, um die Auswertungsobjektivität zu maximieren und den Test ökonomisch durchführbar zu gestalten, bei gleichzeitiger Minimierung der Ratechance durch sorgfältig konstruierte Distraktoren.
Wie geht die Autorin mit dem Problem des Ratens bei den Aufgaben um?
Neben der sorgfältigen Distraktorkonstruktion orientiert sich die Autorin am Bewertungssystem der Fernuniversität, bei dem für falsche Antworten keine Minuspunkte vergeben werden, um bei Nichtwissen das "Raten auf gut Glück" unattraktiv zu machen.
Welche Limitationen werden für das Testdesign genannt?
Es wird eingeräumt, dass ein vollständig validierter Test Vorversuche, eine repräsentative Stichprobe und eine aufwendigere statistische Aufgabenanalyse erfordern würde, was den Rahmen einer einzelnen Hausarbeit übersteigt.
- Quote paper
- Sabine Pfisterer (Author), 2001, Entwicklung und Auswertung eines Wissenstests "Methodenkenntnisse" zum Thema "Hypothesenbildung und statistische Entscheidungen", Munich, GRIN Verlag, https://www.grin.com/document/40811
