Verbesserung der Aufgabenvalidität im
E-Learning im Rahmen einer
Referenzimplementierung für Learn@WU
Markus Moser, Thomas Renner
Masterarbeit
Fach: Wirtschaftsinformatik
Wirtschaftsuniversität Wien
7.2010
Inhaltsverzeichnis
1 Einleitung
7
1.1 Projektbeschreibung, Zielsetzung, Ausgangssituation . . . . . . . .
9
1.2 Zur Validität von Testaufgaben und Tests . . . . . . . . . . . . . . 16
1.3 Prozess der Erstellung von Testaufgaben . . . . . . . . . . . . . . . 20
2 Theoretische Grundlagen des E-Learnings
22
2.1 Bedeutungshaftes Lernen nach Ausubel . . . . . . . . . . . . . . . . 22
2.2 Distributed Cognition . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3 Konstruktivistische Lerntheorie . . . . . . . . . . . . . . . . . . . . 24
2.4 E-Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.5 Vergleich von papierbasiertem Lernen und technologieunterstütz-
tem Lernen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.6 Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3 IMS QTI als Standard für Kontrollfragen
33
4 Vergleich aktueller E-Learning-Systeme
39
4.1 Moodle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2 OLAT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.3 Black-Board . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2
4.4 ILIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.5 Questionmark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.6 Vergleich der beschriebenen Systeme . . . . . . . . . . . . . . . . . 48
5 Beurteilungsverfahren
52
5.1 Kollaboratives Filtern in Verbindung mit Peer Reviews . . . . . . . 56
5.2 Computerized Adaptive Testing (CAT) . . . . . . . . . . . . . . . . 61
6 Beschreibung der Implementierung eines workowbasierten Mo-
duls für Kontrollfragen für
Learn@WU
67
6.1 Beschreibung der verwendete Technologien . . . . . . . . . . . . . . 68
6.1.1 Programmiersprachen . . . . . . . . . . . . . . . . . . . . . . 69
6.1.2 XoWiki als technischer Ausgangspunkt . . . . . . . . . . . . 70
6.1.3 XoWiki Content Flow als Basis für Workows . . . . . . . . 73
6.1.4 YUI zur Darstellung von Widgets . . . . . . . . . . . . . . . 77
6.2 Beschreibung der Use-Cases . . . . . . . . . . . . . . . . . . . . . . 79
6.3 Workow zum Erstellen und Bearbeiten von Kontrollfragen . . . . . 81
6.4 Workows zur Fragenbeantwortung . . . . . . . . . . . . . . . . . . 84
6.4.1 Simple Exercise Workow für einfache Kontrollfragen . . . . 84
3
6.4.2 Opentext Workow für oene Textfragen mit kollaborativem
Filtern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.4.3 Exam Workow für Musterklausuren . . . . . . . . . . . . . 91
6.4.4 Assignment Workow für klausurähnliche Situationen . . . . 95
6.5 Implementierte Fragetypen . . . . . . . . . . . . . . . . . . . . . . . 95
6.5.1 Multiple-Choice-Aufgabe . . . . . . . . . . . . . . . . . . . . 96
6.5.2 Single-Choice-Aufgabe . . . . . . . . . . . . . . . . . . . . . 97
6.5.3 Oene Textaufgabe . . . . . . . . . . . . . . . . . . . . . . . 98
6.5.4 Lückentextaufgabe . . . . . . . . . . . . . . . . . . . . . . . 99
6.5.5 Zuordnungsaufgabe . . . . . . . . . . . . . . . . . . . . . . . 100
6.5.6 Reihungsaufgabe . . . . . . . . . . . . . . . . . . . . . . . . 102
6.5.7 Schieberegler-Aufgaben . . . . . . . . . . . . . . . . . . . . . 103
6.6 Verwaltung und Strukturierung von Testfragen . . . . . . . . . . . . 104
6.6.1 Ordnerstruktur und Testaufgabensammlungen . . . . . . . . 104
6.6.2 Sektionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.6.3 Freigaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
7 Zusammenfassung und Ausblick
116
A Anhang
130
4
Zusammenfassung
Diese Arbeit befasst sich mit der Verbesserung der Validität von Test-
aufgaben im E-Learning am Beispiel einer Implementierung für Learn@WU,
der E-Learning-Plattform der WU Wien. Aufbauend auf psychologischen
Lerntheorien wurde ein System für Testaufgaben entwickelt. Vor der eigent-
lichen Implementierung wurden aktuelle E-Learning Produkte miteinander
verglichen und aktuelle E-Learning Standards, die für die Implementierung
wichtig sind, analysiert. Die Implementierung baut auf XoWiki
1
und XoWiki
Content Flow
2
auf, welche Pakete von OpenACS
3
sind. Schwerpunkt dieser
Arbeit liegt darin eine Benutzeroberäche für Kontrollfragen bereitzustellen,
das Studierenden und Lehrenden den gröÿten Nutzen ermöglicht.
1
http://media.wu-wien.ac.at/download/xowiki-doc/
2
[Neu08]
3
http://openacs.org/
5
Abstract
This master thesis suggests means to improve of the validity of online
exercises and provides a workow-based implementation for this task for
Learn@WU, the E-Learning platform of WU Vienna. In accordance with
psychological learning theories we designed an improved system for online
exercises. We compare current E-Learning systems with each other and we
analyse current E-Learning standards, which are important for our imple-
mentation. The implementation uses XoWiki
4
and XoWiki Content Flow
5
as a base, which are packages of OpenACS
6
. The focus of this thesis is on the
design of an interface for using/editing online questions, with the greatest
benet for teachers and students.
4
http://media.wu-wien.ac.at/download/xowiki-doc/
5
[Neu08]
6
http://openacs.org/
6
1 Einleitung
Die Einbindung und Verwendung von computerbasierten Testaufgaben ist im mo-
dernen E-Learning zu einem integralen Bestandteil geworden. Online bereitge-
stellte, standardisierte Fragen können beispielsweise vom Lernenden exibel und
nach eigenem Ermessen für die Überprüfung des eigenen Lernfortschritts genutzt
werden. Der ökonomische Vorteil ist unmittelbar einleuchtend: Bei rein compu-
terbasierter Fragenauswertung wird kein Eingreifen von der Seite der Lehrenden
mehr benötigt, ebenso ist die Skalierbarkeit dieser Art der Leistungsmessung auf
eine beliebige Anzahl von Nutzern möglich.
Um den Systemnutzern zu ermöglichen, den für sie optimalen Nutzen aus diesen
Testaufgaben zu ziehen, müssen bestimmte Kriterien erfüllt sein. Diese umfassen
einerseits die Kriterien zur inhaltlichen und konzeptionellen Gestaltung der Fra-
gen; andererseits sollten die Ergebnisse der gelösten Testaufgaben so dargestellt
werden, um dem Nutzer bestmöglich beim Lernen zu unterstützen. Sind diese
Testaufgaben auf die Lernziele des jeweiligen Kurses abgestimmt, ermöglichen sie
den Studierenden eine Überprüfung des eigenen Lernfortschritts und helfen Schwä-
chen bei der Beherrschung des Lernstos auszumachen. Auf diese Weise wird eine
Selbstkontrolle ermöglicht.
An der Wirtschaftsuniversität Wien ist E-Learning ein etablierter Bestandteil der
universitären Ausbildung, der Studierende über das gesamte Studium begleitet.
Über die Lernplattform Learn@WU werden unter anderem für eine Vielzahl von
Kursen unterstützende Materialien geboten. Dazu zählen auch sogenannte Kon-
trollfragen, die sich besonders bei den Multiple-Choice-Tests des ersten Abschnitts
groÿer Beliebtheit erfreuen (z.B. wurden am 28.4.2010 innerhalb von 15 Minuten
7
ca. 1700 Kontrollfragen von den Studierenden gelöst
7
). Ein weiteres Angebot sind
Musterklausuren, durch die Prüfungen simuliert werden können.
Learn@WU ist seit Wintersemester 2002/2003 in Betrieb. Seither haben sich in
manchen Lehrmaterialsammlungen einige tausend Kontrollfragen angesammelt,
was eine strukturierte Darstellung sowohl für Lehrende als auch für Studierende
schwierig macht. Die Abläufe beim Fragendialog sind vordeniert, und es existiert
kein Programmcode, der dynamisch auf Eingaben reagieren könnte.
Diese Arbeit widmet sich der Fragestellung, wie Kontrollfragen auf Learn@WU
für Lehrende und Studierende bevorzugt aufbereitet und verarbeitet werden soll-
ten. Dazu zählt die Erarbeitung einer Benutzeroberäche, die eine strukturierte
Darstellung und einen einfachen Umgang mit Lernressourcen erlauben soll. Schwer-
punkt dieser Implementierung soll eine Verbesserung der Abläufe beim Fragendia-
log und eine verbesserte Bewertung der Antworten der Studierenden sein. Somit
lassen sich die Ziele dieser Arbeit wie folgt zusammenfassen:
·
Entwicklung einer strukturierten Benutzeroberäche für Kontrollfragen ba-
sierend auf XoWiki und XoWiki Content Flow
·
Verbesserte Bewertung der Antworten der Studierenden mithilfe von Work-
ows
·
Einsatz und Beschreibung von Methoden zur Verbesserung der Validität der
Ergebnisse
In Kapitel 1.1 dieser Arbeit soll die Ausgangssituation beschrieben werden. Neben
einer kurzen Betrachtung der derzeitigen Lösungsansätze und deren Schwächen
wird auch auf den Kontext des Projekts und die Lernplattform selbst eingegangen.
7
Interne Statistik Learn@WU
8
Kapitel 1.2 erörtert die theoretischen Hintergründe zum Themengebiet Validität
von Tests und Testfragen. Weiters werden mehrere Methoden vorgestellt, mit de-
nen im Rahmen eines E-Learning-Systems, die Validität von Fragen verbessert
werden kann.
In Kapitel 2 wird der lernpsychologische Hintergrund für das von uns implemen-
tierte System vorgestellt, indem einige Theorien und ihre Relevanz fürs E-Learning
diskutiert werden.
Danach folgt ein Kapitel, in welchem QTI als aktueller Standard für Kontrollfragen
im E-Learning beschrieben wird.
Anschlieÿend folgt ein Vergleich aktueller E-Learning Produkte, die in der Praxis
häug verwendet werden.
Im Kapitel Beurteilungsverfahren werden Methoden vorgestellt, mit denen Kon-
trollfragen und Tests beurteilt werden können.
Im letzten Teil und Kernpunkt dieser Arbeit wird eine workowbasierte Referenz-
implementierung für Learn@WU vorgestellt, welche im Rahmen eines integrierten
Lernressourcenmanagements die bislang einfach strukturierten und aufbereiteten
Kontrollfragen um Aspekte der Validierung und strukturierten Darstellung erwei-
tert.
1.1 Projektbeschreibung, Zielsetzung, Ausgangssituation
Learn@WU Die Entwicklung von Learn@WU wurde im Herbst 2001 aufgenom-
men. Ziel des Projekts war es eine Lernumgebung für Studierende und Mitarbeiter
zu schaen durch die Massenlehrveranstaltungen des Grundstudiums unterstützt
werden. Massenlehrveranstaltungen sind Lehrveranstaltungen die von ca. 600 Stu-
9
dierenden oder mehr absolviert werden [AAE
+
03, S. 2]. Vor der Entwicklung des
System wurde 2001 eine Anforderungsanalyse durchgeführt. Nach Erhebung der
Anforderungen stellte sich heraus, dass kein proprietäres System zu dieser Zeit
den gewünschten Funktionsumfang abdecken konnte. Zu den Anforderungen zähl-
ten [AAE
+
03, S. 4] :
1. Authentizierung über Kerberos, jeder Studierende besitzt einen Account für
alle IT-Services der WU.
2. Interaktion mit dem bestehenden Universitätsverwaltungssystem.
3. Fokus mehr auf Contentmanagement als auf das Management von Kursen.
4. Komplexe Rechteverwaltung, um zu gewährleisten, dass Lektoren aus unter-
schiedliche Institute für eine Lehrveranstaltung gleichzeitig Inhalte erstellen
können.
5. Verarbeitung von hohe Transaktionsvolumen: Es werden durchschnittlich 15
Webserveranfragen pro Sekunde erwartet.
8
Die Anforderungsanalyse die zu Beginn des Projektes durchgeführt wurde ergab
[AAE
+
03, S. 10]:
1. 12 unterschiedliche Arten von Lernressourcen benötigt.
2. Einsatz von Oce-Tools für die Inhaltserstellung.
Um die Anforderungen bestmöglich zu erfüllen wurde die Entscheidung getrof-
fen, OpenACS als Plattform zu verwenden. Zu ihren Vorteilen zählt die Plattform
8
7 Jahre später wurden - bedingt durch den groÿen Erfolg des Systems und durch die Aus-
weitung des Funktionsumfanges - diese Zahlen bei weitem übertroen, so wurden beispielsweise
am 10.5.2010 im Studenschnitt mehr als 200 Anfragen (hits) pro Sekunde bearbeitet.
10
0 Kommentare