Möglichkeiten und Grenzen von Multiple-Choice-Formaten für den Einsatz an Hochschulen

Inhalt

1. Einleitung

2. Kontextualisierung

3. Methodik

4. Theoretische Grundlagen zu Multiple-Choice-Tests
4.1 Aufbau und Varianten von Multiple-Choice-Formaten
4.2 Qualitatssicherung von Multiple-Choice-Aufgaben

5. Diskussion der Vor- und Nachteile von Multiple-Choice-Tests
5.1 Vorteile
5.2 Nachteile

6. Conclusio

Literaturverzeichnis

Anhang

Deutsche Zusammenfassung der Proseminararbeit

1. Einleitung

Das gesteigerte Prufungsaufkommen an Hochschulen im Zuge der Einfuhrung von Bachelor- und Masterstudiengangen geht mit einer Suche nach okonomischen Prufungsformaten einher, um der wachsenden Zahl an Studierenden gerecht werden zu konnen. In Multiple-Choice-Aufgaben scheinen solche gefunden worden zu sein, zeichnen sich diese doch durch einen geringen Aufwand bei der Testauswertung, einer raschen Leistungsruckmeldung sowie hohen Objektivitat und Reliabilitat im Vergleich zu Prufungen mundlicher Art oder jener mit offenem Antwortformat aus (Lindner, Koller & Strobel 2015: 133-134). Gleichsam gehen mit dem Einsatz von Multiple-Choice- Aufgaben auch zahlreiche Herausforderungen einher, um mit einer validen Diagnostik verlassliche Aussagen uber die studentischen Prufungsleistungen treffen zu konnen.

Vor diesem Hintergrund soll die vorliegende Arbeit Moglichkeiten und Grenzen von diversen Multiple-Choice-Formaten fur den Einsatz an Hochschulen behandeln. Sie gliedert sich wie folgt: Zunachst wird ein theoretischer Uberblick uber die gangigsten Multiple-Choice-Aufgabentypen im Hochschulkontext gegeben und deren Aufbau erlautert. AnschlieBend werden die wichtigsten Gutekriterien, Qualitatsanforderungen und Richtlinien zur Erstellung von Multiple-Choice-Aufgaben behandelt. Mit dieser Wissensgrundlage erfolgt sodann eine Analyse der allgemeinen Eigenschaften sowie der spezifischen Starken und Schwachen von einzelnen Formaten. Im Vordergrund stehen dabei das Erraten von richtigen Antworten, die Anwendung von Teststrategien, Fehlinformationseffekte durch die Prasentation falscher Antworten sowie empfohlene GegenmaBnahmen zur Reduktion der negativen Effekte. Die Ergebnisse werden abschlieBend in der Conclusio zusammengefasst und ein im Rahmen der Literatursichtung gewonnenes Fazit hinsichtlich der fur die Hochschulpraxis zu empfehlenden Multiple-Choice-Formate gezogen.

2. Kontextualisierung

Die Anfange der Forschung zu Multiple-Choice-Aufgaben (MCA) reichen bis ins 20. Jahrhundert zuruck: Seit den fruhen 1900er-Jahren wird beispielsweise uber die Konstruktion von MCA publiziert und seit den 1920er-Jahren auch empirisch geforscht. Dennoch zeichnet sich die Forschungslage - vor allem im Bereich der Aufgabenerstellung - durch eine groBe Heterogenitat der Befunde aus, was diverse Autor*innen dazu veranlasst, bestehende Forschungsergebnisse zusammenzutragen und neu zu evaluieren (Lindner, Koller & Strobel 2015: 133-134; Rodriguez 2006: 3-5). Vor diesem Hintergrund widmet sich die Arbeit folgenden Fragen: Welche Vor- und Nachteile bietet die Anwendung von unterschiedlichen MC-Formaten im Hochschulkontext, inwiefern sind in diesem Zusammenhang Testgutekriterien bei der Aufgabenerstellung von Relevanz und welche Formate sind in Anbetracht ihrer jeweiligen Starken und Schwachen besonders geeignet? Auf Grundlage der herangezogenen Literatur ist zu erwarten, dass mit zunehmender Sorgfalt bei der Aufgabenkonstruktion hinsichtlich Qualitatssicherung und Befolgung der Richtlinien etwaige Nachteile, wie z. B. die Anwendung von Bearbeitungsstrategien oder das Erraten richtiger Antworten infolge schlecht konstruierter Aufgaben, reduziert werden konnen, um so Vorteile, wie z. B. hohere Okonomie, Objektivitat oder Fairness, gezielt ausschopfen zu konnen.

3. Methodik

Unter Berucksichtigung des sehr begrenzen Umfanges einer Proseminararbeit soll zur Beantwortung der eingangs aufgeworfenen Forschungsfragen einschlagige, aktuelle Literatur gesichtet, relevante Informationen herausgefiltert und diese zusammengefasst prasentiert werden. Wichtig zu nennen sind hierbei Haladynas und Downings (1989) Taxonomie zur Erstellung von MCA sowie der Literaturuberblick von Lindner, Koller und Strobel (2015) zur Ubersicht einzelner MC-Varianten.

4. Theoretische Grundlagen zu Multiple-Choice-Tests

Bevor eine Diskussion uber die Starken und Schwachen von unterschiedlichen MC- Formaten erfolgt, soll zunachst eine theoretische Wissensbasis geschaffen werden, in welcher der allgemeine Aufbau und die fur den Hochschulkontext relevanten Varianten von MCA sowie deren Eigenschaften in einem Uberblick aufgezeigt werden. AnschlieBend wird auf die zentralen Gute- und Qualitatskriterien eingegangen, die es bei der Prufungserstellung zu beachten gilt: Objektivitat, Reliabilitat und Validitat auf Testebene sowie Schwierigkeit und Trennscharfe auf Aufgabenebene. AbschlieBend werden die fur die Konstruktion von MCA spezifischen Richtlinien nach Haladyna und Downing (1989) in Ausschnitten prasentiert.

4.1 Aufbau und Varianten von Multiple-Choice-Formaten

Der im Bildungskontext eingesetzte Test kann zunachst definiert werden als „a measuring device intended to describe numerically the degree or amount of learning under uniform, standardized conditions“ (Haladyna 2011: 4). Das im Test geprufte Wissen kann in Form einer Freitextantwort ( constructed response answer, CRA), bei der die Antwort von den Testteilnehmer*innen selbst konstruiert werden muss, oder in geschlossener Form, bei der es gilt, aus vorgegebenen Antworten die richtige(n) auszuwahlen, gepruft werden.

Letzteres umfasst die fur diese Arbeit relevanten Multiple-Choice-Aufgaben, wobei im deutschen Sprachraum allgemein zwischen Einfachauswahl bzw. Single-Choice (eine einzig richtige Antwort muss ausgewahlt werden) und Mehrfachauswahl bzw. Multiple­Choice (mehrere richtige Antworten mussen ausgewahlt werden) differenziert wird. Eine weitere Unterscheidung findet zwischen Best-Antworten und Richtig-Falsch-Antworten statt: Bei Best-Antworten sind alle Antwortoptionen korrekt und es gilt, die Beste(n) auszuwahlen, wohingegen bei Richtig-Falsch-Antworten korrekte und falsche Antwortoptionen existieren und die richtige ausgewahlt werden muss bzw. die richtigen ausgewahlt werden mussen. Allgemein besteht eine MCA aus einem Aufgabenstamm und den Antwortoptionen, wobei der Stamm in der Regel einen Fragesatz, alternativ auch Aussagen, Problembeschreibungen, Arbeitsanweisungen oder zusatzliche Elemente wie Tabellen oder Abbildungen, beinhaltet. Je nach Format besitzt die einzelne Aufgabe, das sogenannte Item, eine unterschiedliche Anzahl an Antwortoptionen (Giusto, Muller & Reichmuth 2018: 8-9). Abbildung 1 zeigt die konventionelle Variante, auch positive Einfachauswahl genannt: Diese besteht aus einem einteiligen Stamm mit Fragesatz sowie einer beliebigen Anzahl (meist drei bis funf) an Antwortmoglichkeiten, aus denen eine einzige richtige Antwort auszuwahlen ist (1 aus X). Bei der negativen Einfachauswahl ist im Umkehrschluss aus den gegebenen Antwortoptionen die falsche Option auszuwahlen. Nicht-zutreffende Antwortmoglichkeiten werden als Distraktoren bezeichnet (Brauns &

Schubert 2008: 94). Diese zu verfassen ist insofern komplex, da jeder Distraktor fur die Testteilnehmer*innen, auch test-taker genannt, ohne das fur die Prufung notige Wissen plausibel sein, fur jene mit dem jeweiligen Wissen hingegen klar als falsch identifizierbar

sein muss (Macher 2005: 35).

Sie rennen in London aus Versehen gegen einen _
einhcimischen Passanten.

Wie solleri Sie sieh am beaten bei ihm entschuldigen?

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Beispiel fur das MC-Schema positive Einfachauswahl
(Brauns & Schubert 2008: 94)

Im Hochschulalltag kommt die bereits erwahnte positive Einfachauswahl bzw. Single- Choice-Variante Lindner, Koller und Strobel zufolge am haufigsten vor (Lindner, Koller & Strobel 2015: 141). Diese wird nach der Definition des „National Board of Medical Examiners“ auch Typ A genannt und ist in Abbildung 2 (A) schematisch veranschaulicht (Swanson & Case 2001: 119). Ein Spezialfall stellt das Alternate-Choice-Format, abgekurzt AC, (B) dar, bei dem lediglich zwei Antwortoptionen gegeben sind. Im Gegensatz dazu konnen beim Multiple-Response-Format (MR) (C) eine beliebige Anzahl von Antwortmoglichkeiten korrekt sein (x aus X). Beim True-False-Format (TF) bzw. Typ RF (D) mussen prasentierte Aussagen als richtig oder falsch identifiziert werden. Eine Variante der True-False-Aufgabe stellt das Multiple-True-False-Format (MTF) bzw. Typ X (E) dar, bei welchem mehrere True-False-Aussagen pro Aufgabenstamm prasentiert werden. Eine weitere Variante desselbigen ist das Complex-MCA-Format bzw. Typ K (F), bei welchem die Antwortmoglichkeiten ( primary responses ) in einer Kombination dieser ( secondary choices ) dargeboten werden. Uncued-MCA bzw. Long- Menu-Questions (G) unterscheiden sich von Multiple-Response-Aufgaben hinsichtlich ihrer enormen Anzahl an Antwortmoglichkeiten. Bei Matching-Aufgaben bzw. Typ B (H) mussen beliebig viele Antwortoptionen einem Set an ebenso vielen beliebigen Stammen zugeordnet werden. Eine komplexe Variante dieses Typs ist Extended- Matching bzw. Typ R (H), wobei neben Antworten und Stammen die Aufgabe durch ein Thema oder Szenario eingeleitet und so ein spezifischer Kontext hergestellt werden kann

Abbildung in dieser Leseprobe nicht enthalten

[...]