Verbesserung der Aufgabenvalidität im E-Learning im Rahmen einer Referenzimplementierung für Learn@WU

Inhaltsverzeichnis

1 Einleitung
1.1 Projektbeschreibung, Zielsetzung, Ausgangssituation
1.2 Zur Validität von Testaufgaben und Tests
1.3 Prozess der Erstellung von Testaufgaben

2 Theoretische Grundlagen des E-Learnings
2.1 Bedeutungshaftes Lernen nach Ausubel
2.2 Distributed Cognition
2.3 Konstruktivistische Lerntheorie
2.4 E-Learning
2.5 Vergleich von papierbasiertem Lernen und technologieunterstütz- tem Lernen
2.6 Feedback

3 IMS QTI als Standard für Kontrollfragen

4 Vergleich aktueller E-Learning-Systeme
4.1 Moodle
4.2 OLAT
4.3 Black-Board
4.4 ILIAS
4.5 Questionmark
4.6 Vergleich der beschriebenen Systeme

5 Beurteilungsverfahren
5.1 Kollaboratives Filtern in Verbindung mit Peer Reviews
5.2 Computerized Adaptive Testing (CAT)

6 Beschreibung der Implementierung eines work owbasierten Mo- duls für Kontrollfragen für Learn@WU
6.1 Beschreibung der verwendete Technologien
6.1.1 Programmiersprachen
6.1.2 XoWiki als technischer Ausgangspunkt
6.1.3 XoWiki Content Flow als Basis für Work ows
6.1.4 YUI zur Darstellung von Widgets
6.2 Beschreibung der Use-Cases
6.3 Work ow zum Erstellen und Bearbeiten von Kontrollfragen
6.4 Work ows zur Fragenbeantwortung
6.4.1 Simple Exercise Work ow für einfache Kontrollfragen
6.4.2 Opentext Work ow für o ene Textfragen mit kollaborativem Filtern
6.4.3 Exam Work ow für Musterklausuren
6.4.4 Assignment Work ow für klausurähnliche Situationen
6.5 Implementierte Fragetypen
6.5.1 Multiple-Choice-Aufgabe
6.5.2 Single-Choice-Aufgabe
6.5.3 O ene Textaufgabe
6.5.4 Lückentextaufgabe
6.5.5 Zuordnungsaufgabe
6.5.6 Reihungsaufgabe
6.5.7 Schieberegler-Aufgaben
6.6 Verwaltung und Strukturierung von Testfragen
6.6.1 Ordnerstruktur und Testaufgabensammlungen
6.6.2 Sektionen
6.6.3 Freigaben

7 Zusammenfassung und Ausblick

A Anhang

Zusammenfassung

Diese Arbeit befasst sich mit der Verbesserung der Validität von Test- aufgaben im E-Learning am Beispiel einer Implementierung für Learn@WU, der E-Learning-Plattform der WU Wien. Aufbauend auf psychologischen Lerntheorien wurde ein System für Testaufgaben entwickelt. Vor der eigent- lichen Implementierung wurden aktuelle E-Learning Produkte miteinander verglichen und aktuelle E-Learning Standards, die für die Implementierung wichtig sind, analysiert. Die Implementierung baut auf XoWiki^[1] und XoWiki Content Flow^[2] auf, welche Pakete von OpenACS^[3] sind. Schwerpunkt dieser Arbeit liegt darin eine Benutzerober äche für Kontrollfragen bereitzustellen, das Studierenden und Lehrenden den gröÿten Nutzen ermöglicht.

Abstract

This master thesis suggests means to improve of the validity of online exercises and provides a work ow-based implementation for this task for Learn@WU, the E-Learning platform of WU Vienna. In accordance with psychological learning theories we designed an improved system for online exercises. We compare current E-Learning systems with each other and we analyse current E-Learning standards, which are important for our imple- mentation. The implementation uses XoWiki^[4] and XoWiki Content Flow^[5] as a base, which are packages of OpenACS^[6]. The focus of this thesis is on the design of an interface for using/editing online questions, with the greatest bene t for teachers and students.

1 Einleitung

Die Einbindung und Verwendung von computerbasierten Testaufgaben ist im modernen E-Learning zu einem integralen Bestandteil geworden. Online bereitgestellte, standardisierte Fragen können beispielsweise vom Lernenden exibel und nach eigenem Ermessen für die Überprüfung des eigenen Lernfortschritts genutzt werden. Der ökonomische Vorteil ist unmittelbar einleuchtend: Bei rein computerbasierter Fragenauswertung wird kein Eingreifen von der Seite der Lehrenden mehr benötigt, ebenso ist die Skalierbarkeit dieser Art der Leistungsmessung auf eine beliebige Anzahl von Nutzern möglich.

Um den Systemnutzern zu ermöglichen, den für sie optimalen Nutzen aus diesen Testaufgaben zu ziehen, müssen bestimmte Kriterien erfüllt sein. Diese umfassen einerseits die Kriterien zur inhaltlichen und konzeptionellen Gestaltung der Fra- gen; andererseits sollten die Ergebnisse der gelösten Testaufgaben so dargestellt werden, um dem Nutzer bestmöglich beim Lernen zu unterstützen. Sind diese Testaufgaben auf die Lernziele des jeweiligen Kurses abgestimmt, ermöglichen sie den Studierenden eine Überprüfung des eigenen Lernfortschritts und helfen Schwä- chen bei der Beherrschung des Lernsto s auszumachen. Auf diese Weise wird eine Selbstkontrolle ermöglicht.

An der Wirtschaftsuniversität Wien ist E-Learning ein etablierter Bestandteil der universitären Ausbildung, der Studierende über das gesamte Studium begleitet. Über die Lernplattform Learn@WU werden unter anderem für eine Vielzahl von Kursen unterstützende Materialien geboten. Dazu zählen auch sogenannte Kon- trollfragen, die sich besonders bei den Multiple-Choice-Tests des ersten Abschnitts groÿer Beliebtheit erfreuen (z.B. wurden am 28.4.2010 innerhalb von 15 Minuten ca. 1700 Kontrollfragen von den Studierenden gelöst^[7] ). Ein weiteres Angebot sind Musterklausuren, durch die Prüfungen simuliert werden können.

Learn@WU ist seit Wintersemester 2002/2003 in Betrieb. Seither haben sich in manchen Lehrmaterialsammlungen einige tausend Kontrollfragen angesammelt, was eine strukturierte Darstellung sowohl für Lehrende als auch für Studierende schwierig macht. Die Abläufe beim Fragendialog sind vordefiniert, und es existiert kein Programmcode, der dynamisch auf Eingaben reagieren könnte. manchen Lehrmaterialsammlungen einige tausend Kontrollfragen angesammelt, was eine strukturierte Darstellung sowohl für Lehrende als auch für Studierende schwierig macht. Die Abläufe beim Fragendialog sind vorde niert, und es existiert kein Programmcode, der dynamisch auf Eingaben reagieren könnte.

Diese Arbeit widmet sich der Fragestellung, wie Kontrollfragen auf Learn@WU für Lehrende und Studierende bevorzugt aufbereitet und verarbeitet werden sollten. Dazu zählt die Erarbeitung einer Benutzerober äche, die eine strukturierte Darstellung und einen einfachen Umgang mit Lernressourcen erlauben soll. Schwerpunkt dieser Implementierung soll eine Verbesserung der Abläufe beim Fragendialog und eine verbesserte Bewertung der Antworten der Studierenden sein. Somit lassen sich die Ziele dieser Arbeit wie folgt zusammenfassen:

- Entwicklung einer strukturierten Benutzerober äche für Kontrollfragen ba- sierend auf XoWiki und XoWiki Content Flow
- Verbesserte Bewertung der Antworten der Studierenden mithilfe von Work- ows
- Einsatz und Beschreibung von Methoden zur Verbesserung der Validität der Ergebnisse

In Kapitel 1.1 dieser Arbeit soll die Ausgangssituation beschrieben werden. Neben einer kurzen Betrachtung der derzeitigen Lösungsansätze und deren Schwächen wird auch auf den Kontext des Projekts und die Lernplattform selbst eingegangen.

Kapitel 1.2 erörtert die theoretischen Hintergründe zum Themengebiet Validität von Tests und Testfragen. Weiters werden mehrere Methoden vorgestellt, mit de- nen im Rahmen eines E-Learning-Systems, die Validität von Fragen verbessert werden kann.

In Kapitel 2 wird der lernpsychologische Hintergrund für das von uns implementierte System vorgestellt, indem einige Theorien und ihre Relevanz fürs E-Learning diskutiert werden. Danach folgt ein Kapitel, in welchem QTI als aktueller Standard für Kontrollfragen im E-Learning beschrieben wird. Anschlieÿend folgt ein Vergleich aktueller E-Learning Produkte, die in der Praxis häu g verwendet werden.

Im Kapitel Beurteilungsverfahren werden Methoden vorgestellt, mit denen Kontrollfragen und Tests beurteilt werden können.

Im letzten Teil und Kernpunkt dieser Arbeit wird eine work owbasierte Referenz- implementierung für Learn@WU vorgestellt, welche im Rahmen eines integrierten Lernressourcenmanagements die bislang einfach strukturierten und aufbereiteten Kontrollfragen um Aspekte der Validierung und strukturierten Darstellung erwei- tert.

1.1 Pro jektbeschreibung, Zielsetzung, Ausgangssituation

Learn@WU Die Entwicklung von Learn@WU wurde im Herbst 2001 aufgenom- men. Ziel des Projekts war es eine Lernumgebung für Studierende und Mitarbeiter zu scha en durch die Massenlehrveranstaltungen des Grundstudiums unterstützt werden. Massenlehrveranstaltungen sind Lehrveranstaltungen die von ca. 600 Stu- dierenden oder mehr absolviert werden [AAE+03, S. 2]. Vor der Entwicklung des System wurde 2001 eine Anforderungsanalyse durchgeführt. Nach Erhebung der Anforderungen stellte sich heraus, dass kein proprietäres System zu dieser Zeit den gewünschten Funktionsumfang abdecken konnte. Zu den Anforderungen zähl- ten [AAE+03, S. 4] :

1. Authenti zierung über Kerberos, jeder Studierende besitzt einen Account für alle IT-Services der WU.
2. Interaktion mit dem bestehenden Universitätsverwaltungssystem.
3. Fokus mehr auf Contentmanagement als auf das Management von Kursen.
4. Komplexe Rechteverwaltung, um zu gewährleisten, dass Lektoren aus unter- schiedliche Institute für eine Lehrveranstaltung gleichzeitig Inhalte erstellen können.
5. Verarbeitung von hohe Transaktionsvolumen: Es werden durchschnittlich 15 ^[8]

Webserveranfragen pro Sekunde erwartet.

Die Anforderungsanalyse die zu Beginn des Projektes durchgeführt wurde ergab [AAE+03, S. 10 ]:

1. 12 unterschiedliche Arten von Lernressourcen benötigt.
2. Einsatz von O ce-Tools für die Inhaltserstellung.

Um die Anforderungen bestmöglich zu erfüllen wurde die Entscheidung getrof- fen, OpenACS als Plattform zu verwenden. Zu ihren Vorteilen zählt die Plattform hohe Skalierbarkeit, einen hohen Integrationsgrad und eine modular aufgebaute Architektur [Ope10]. Einer der weiteren Vorteile von OpenACS ist die Verfügbarkeit der Plattform als Open-Source-Software, welche laufend von einer Community weiterentwickelt wird.

OpenACS besteht aus mehreren Komponenten: einer relationalen Datenbank - wahlweise Oracle^[9] oder PostgreSQL^[10] ; hier wurde für Learn@WU PostgreSQL aus- gewählt; dem Webserver AOLServer^[11], der auch ein Open-Source-Produkt ist, und einer Basis an Quellcode aus modularen Komponenten in der Programmiersprache Tcl, die vom AOLServer interpretiert werden können. Diese Komponenten lassen sich in Core Services und Packages unterteilen. AOLServer wurde ursprünglich ent- wickelt, um den Anforderungen von Websites mit einer groÿen Zahl von Anfragen gerecht zu werden.

Eine der wichtigsten Anwendungen, die auf OpenACS aufbauen, ist DotLRN^[12] (gesprochen dotlearn). DotLRN ist ein Learning Management System mit einem groÿen Funktionsumfang zur Verwaltung von Kursen, das die gängigen Standards im E-Learning unterstützt und eine Vielzahl von Zusatzapplikationen zur kollabo- rativen Interaktion zwischen den Studierenden anbietet. Seit^[2004] wird DotLRN auf Learn@WU eingesetzt.

Die folgende Gra k illustriert die einzelnen Applikationen und Komponenten von OpenACS und DotLRN. Die für diese Arbeit wichtigsten Erweiterungen, XoWi- ki und XoWiki Content Flow sollen noch im Detail behandelt werden. Für die strategische Umsetzung von E-Learning an der WU wird nach Studienphasen dif- ferenziert. Ziel für die Eingangsphase (erstes Studienjahr) ist die vollständige Ab-

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Aufbau von DotLRN [.LR10]

deckung aller Lehrveranstaltungen. Selbstorganisiertes Lernen wird gefördert, die Inhalte sind auf die entsprechenden Massenvorlesungen abgestimmt. Bei höheren Semestern steht verstärkt kollaboratives Lernen in kleineren Gruppen im Vordergrund, für das entsprechende Funktionalitäten (Hausarbeiten, Foren, Chat..) zur Verfügung gestellt werden [Neu07].

Inhaltsentwicklung Die Entwicklung von Lerninhalten bildete von Beginn an einen der Eckpfeiler im Gesamtkonzept. Zur Entwicklung von Inhalten wurden bei Projektbeginn insgesamt 36 Vollzeitstellen eingerichtet [AAE+03, S.7]. Als Datenformat zum Austausch von Autoreninhalten wird XML13 verwendet, eine Schnittstelle zum Import und Export wird bereitgestellt. Inhaltsentwickler kön- nen Standardanwendungen aus Microsoft O ce verwenden um Content zu erstel- len, welcher in XML gespeichert und auf Learn@WU geladen werden kann. Für die Entwicklung von Kontrollfragen wurden eigene Formulare für Microsoft InfoPath14 entwickelt.

Aktuelle Realisierung von Kontrollfragen Im aktuellen System (Stand Jan. 2010) sind Kontrollfragen als eine Subgruppe der Lernressourcen realisiert. Für alle Typen von Lernressourcen (z.B. Kontrollfragen, Glossarbegri e, Musterklausuren, Textseiten, Lernmodule) ist jeweils wie oben beschrieben eine De nitionsdatei im XML-Format entwickelt, die den Import und Export von Lernressourcen in die Plattform ermöglicht. Eine Testaufgabe kann aus mehreren kleineren Teilaufga- ben bestehen. Testaufgaben und Teilfragen können Angabetext und Hinweistext sowie Antwortteil/Feedback enthalten. Die Darstellung des Antwortteils hängt von der Richtigkeit der Eingaben des Studierenden ab, ist grundsätzlich aber statisch.

Punkte werden nach der prozentuellen Richtigkeit der Testaufgabe vergeben, bei Musterklausuren kann von diesem Gewichtungsschema auch abgewichen werden um eine di erenzierte Gewichtung zu erlauben. Seit kurzem gibt es auch die Möglichkeit dynamische Kontrollfragen zu erstellen. Hier ist es möglich Zahlen in Beispielen zufällig innerhalb eines Bereichs generieren zu lassen, was aber nichts an der Darstellung und Auswertung der Testaufgabe selbst ändert.

Derzeit sind folgende Aufgabentypen implementiert [Alb03, S.36 ]:

1. Multiple-Choice-Aufgaben: Mehrere Antwortmöglichkeiten sind aus- wählbar, mindestens eine ist richtig.
2. Offene Aufgaben: Hier handelt es sich um Freitextaufgaben. Nach Be- antwortung wird dem Studierenden ein statisches Feedback in Form einer Referenzlösung präsentiert.
3. Reihenfolgeaufgaben: Verschiedene Texte sind in bestimmte Reihung zu bringen.
4. Zuordnungsaufgaben: Hier müssen Elemente entsprechenden Werten zu- geordnet werden.
5. Lückentextaufgaben: Hier werden bei der Darstellung eines Texts einzelne Worte ausgelassen, die vom Studierenden in einem Textfeld oder einem Drop- Down-Element vervollständigt werden müssen.
6. Richtig/Falsch-Aufgabe: Wie Multiple-Choice mit einer richtigen und ei- ner falschen Antwortalternative.

Auf der Seite persönliche Lernstatistik kann ein Studierender zu jeder Com- munity seinen Lernfortschritt einsehen, wobei die Anzahl der richtig/falsch gelösten Beispiele und der bereits bearbeiteten Beispiele angezeigt wird. Dieser Fortschritt wird in der Datenbank durch eine Relation persistiert, die eine Verknüpfung zwischen Testaufgaben und Studierenden darstellt. Ein Attribut (total) zeigt an wie oft ein Studierender eine Testaufgabe beantwortet hat.

Schwächen Zur Ergänzung der obigen Darstellung sollen an dieser Stelle die Schwächen des aktuellen Systems zur Abwicklung von Kontrollfragen zusammengefasst werden. Auf deren Behebung im Rahmen des neuen Systems wird im Implementierungsteil dieser Arbeit genauer eingegangen.

1. Frage- und Antwortteil sind statisch und verfügen über keine Möglichkeit, dynamisch auf Eingaben des Studierenden zu reagieren. Der Ablauf ist schon zu Beginn des Fragendialogs vorde niert.
2. Die Au istung der Testaufgaben in der Studierendensicht erfolgt entweder alphabetisch oder in Form des Inhaltskatalogs, wodurch die Liste schnell unübersichtlich wird.
3. In der Administrationssicht werden die Testaufgaben alphabetisch aufgeli- stet, wobei zusätzlich noch Filter de niert werden können. Eine Organisation in Ordner ist nicht möglich.
4. Die Aussagekraft der Lernstatistik ist mit einer Einteilung in gelöste / nicht gelöste Beispiele begrenzt. Lösungsversuche oder die Anzahl der Bearbeitun- gen bis zur richtigen Lösung werden nicht in die Beurteilung aufgenommen und angezeigt.

Im bestehenden System erlauben die gespeicherten Daten zu den beantworteten Testaufgaben - in Form einer binären Unterscheidung in richtig oder falsch - kei- ne validen Rückschlüsse auf die tatsächliche Beherrschung des Lernsto s. Eine Testaufgabe kann beliebig oft, auch unmittelbar nach Abgabe der falschen Antwort, wiederholt werden, was die Aussagekraft einer richtig/falsch-Statistik weiter untergräbt. Auch für Lehrende ist es nicht möglich festzustellen, welche Testaufgaben statistisch insgesamt gut beantwortet wurden, oder bei welchen Testaufgaben vermehrt falsche Antworten abgegeben wurden.

Durch die Verwendung von Work ows und XoWiki-Seiten kann eine komplexere und dynamischere Zugri skontrolle und Auswertung realisiert werden. XoWiki- Seiten sind mächtiger als simple HTML^[15] -Seiten und erlauben ein einfaches Ein- binden von Multimedia-Inhalten, wie Video- oder Audiodateien, Flash-Elementen und Programmierbausteinen in Form von Includelets (siehe Kapitel 6.1.2 und Ka- pitel 6.1.3). Über zustandsbasierte Work ows kann eine Strukturierung von Test- aufgaben über mehrere Zustände hinweg realisiert werden, wobei in jedem Zustand volle Kontrolle über die Darstellung und die Ausführung von Code gegeben ist. Somit werden neue Methoden der Datenerhebung, Verarbeitung und Strukturie- rung bei Kontrollfragen möglich, die einen e ektiven Mehrwert für alle Beteiligten scha en können.

1.2 Zur Validität von Testaufgaben und Tests

Tests und Testaufgaben Ein Test ist ein Verfahren zur Messung von bestimmten Gütekriterien. Im Bereich der Wissensvermittlung können Tests genutzt werden um die Beherrschung des Lehrsto s widerzuspiegeln. A test is a measuring device intended to describe numerically the degree or amount of learning under uniform, standardized conditions [Hal04, S.4].

Eine Testaufgabe (engl.: test item) ist die kleinste Einheit eines Tests. In der Literatur werden Testaufgaben in verschiedene Kategorien aufgegliedert, denen meist die Unterteilung in o ene und geschlossene Testaufgaben gemeinsam ist. A fundamental dichotomy in item formats is whether the answer is selected or created [Hal04, S.4].

Bei offenen Aufgaben ist keine im vorhinein bekannte, standardisierte und gültige Lösung de niert, die entscheidet, ob eine Antwort als richtig oder falsch zu werten ist. Ein Aufsatz kann als Beispiel für diesen Typ angesehen werden. Bei halbo enen Testaufgaben ist die Antwort festgelegt und dem Prüfer bekannt, eine Lückentextaufgabe wäre hier ein Beispiel.

Geschlossene Aufgaben unterschieden sich hiervon dadurch, dass bei ihnen die Ant- wortmöglichkeiten bereits vorgegeben sind. Die Lösung muss also nicht mehr vom Beantwortenden formuliert werden. Alternativ werden diese Aufgabenformen auch als selected-response oder gebundene Testaufgaben bezeichnet. Auf eine genaue- re Einteilung der verschiedenen Fragetypen in Unterkategorien wird hier bewusst verzichtet, da eine Abgrenzung nicht wirklich trennscharf ist und je nach Autor unterschiedlich ausfällt. Die neue Implementierung orientiert sich an den von QTI de nierten Fragetypen, die in Kapitel 3 noch genauer behandelt werden sollen.

Tests und Validität Mit Validität wird der Grad der Genauigkeit ausgedrückt, inwieweit eine Messung das misst, was sie zu messen beansprucht [Kru02, S.8] nach [Ros96]. In der Literatur werden Fragen der Validität fast ausschlieÿlich auf die Testebene bezogen, da einzelne atomare Testaufgaben eine zu kleine Einheit dar- stellen um sinnvolle Aussagen zur Validität zu erlauben. Es ist intuitiv ersichtlich dass einer einzelnen Testaufgabe zu wenig Gewicht zufällt um von ihr Rückschlüsse auf die Beherrschung eines komplexen Wissensgebiets zu erlauben most cogni- tive abilities or achievement domains ... are far to complex to be represented by a single item [Hal04, S.4].

Allgemein werden in der Literatur drei Gütekriterien genannt, die für die Qualität eines Tests entscheidend sind:

1. Ob jektivität liegt dann vor, wenn der Test bei Auswertung durch verschie- dene Personen zum selben Ergebnis führt. Dies setzt einen Maÿstab voraus mit dem die Lösung gewertet werden kann, der nicht im Ermessensbereich des Beurteilenden liegen darf [Axm96, S.20]. Zu den Faktoren, welche die Objektivität eines Tests negativ beein ussen können, zählen beispielsweise unterschiedliche Maÿstäbe, Informationen über den Kandidaten, und die Situation der Leistungsfeststellung [Kru02, S.7 ].
2. Reliabilität Bezeichnet die Zuverlässigkeit des Messinstruments, also den Grad der Reproduzierbarkeit. Konkret wird gefordert, dass bei wiederholter Durchführung in vergleichbaren Situationen ein ähnliches Ergebnis erreicht wird. Sie kann durch eindeutige Anweisungen an die Kandidaten, realistische Planung der Zeit für die Aufgabenbeantwortung, klare und an das Niveau des Kandidaten angepasster Fragestellung, sowie die Ausweitung der Fragenanzahl oder der Testdauer optimiert werden [Kru02, S.8].
3. Validität ist das wichtigste der drei Kriterien. The concept [of validity] refers to the appropriateness, meaningfulness and usefulness of the speci c inferences made form test scores [HD00, S.16]. Ein Messergebnis ist dann valide, wenn es genau das misst, was es zu messen beansprucht. Beispiels- weise ist die Validität mangelhaft, wenn die Inhalte oder das Niveau der gestellten Testaufgaben nicht den Lehrinhalten entsprechen. Eine Verbes- serung der Validität von Testergebnissen kann durch Vermeiden der eben genannten Punkte und einer Erhöhung der Reliabilität erreicht werden, wo- bei darauf zu achten ist dass eine höhere Reliabilität nicht automatisch mit einer höheren Validität einhergeht, da eine höhere Messgenauigkeit nicht au- tomatisch bedeutet dass auch das Gewünschte gemessen wird [Kru02, S.8]. Eine hohe Reliabilität ist Bedingung für eine hohe Validität, es kann aber auch ein Test mit hoher Reliabilität ungültige Ergebnisse liefern, jedoch kann ein Test mit geringer Reliabilität unmöglich valide sein [Axm96, S.30].

Die Validität eines Tests kann über verschiedene Validitätsbegri e de niert werden:

- Kriterienbezogene Validität (engl.: criterion validity): Hier wer- den die Ergebnisse mit einem Auÿenkriterium korreliert. Das Auÿenkri- terium spiegelt das zu erfassende Merkmal wieder (z.B.: Zusammenhang zwischen Tests für mathematische Fähigkeiten und die Schulnote in Ma- thematik). Es wird vom Test unabhängig erhoben und ist repräsentativ für das untersuchte Merkmal. Auch eine Korrelation mit mehreren Kri- terien ist möglich. Neben einem äuÿeren Kriterium kann auch ein ande- rer, für das gleiche Merkmal als valide anerkannter Test herangezogen werden [Axm96, S.23].
- Inhaltliche Validität (engl.: content validity): Der Test selbst re- präsentiert das untersuchte Merkmal. Dadurch kann eine bestimmte Vorhersage getro en werden, z.B. die Eignung eines Kandidaten für einen Arbeitsplatz. Diese Art von Validität ist vor allem bei Auswahl- tests von groÿer Bedeutung [HD00, S.194].
- Konstruktvalidität (engl.: construct validity): Das Testergebnis wird mit einem theoretischen Konstrukt verglichen. Construct-related validity concerns the extent to which a test designed to measure a spe- ci c theoretical trait or pro ciency actually does so [HD00, S.188].
- Negative Validität (engl.: negative validity): Bei diesen Testfragen wird die scheinbar richtige Lösung von vorbereiteten Beantwortern als falsch, von unvorbereiteten als korrekt bewertet.
- Psychologische Validität (engl.: psychological validity): Die Auf- gaben des Tests werden vom Kandidaten als sinnvoll erachtet. Dadurch sind Ablehnung und Widerstand des Kandidaten gegenüber dem Test geringer.

Zusammenfassend bleibt zu sagen, dass es die Zusammenstellung und Testdurchführung sind, die bei einem Test über dessen Validität entscheiden. Ziel der Arbeit ist es Testaufgaben und Tests der Lernplattform in einem integrierten System so aufzubereiten und zu verarbeiten, dass die Ergebnisse valide Rückschlüsse darüber erlauben, ob der Studierende die Lerngebiete beherrscht. Dies ist im derzeitigen System, das nach simplen richtig/falsch-Mustern operiert und beliebiges Wiederholen der Testaufgaben erlaubt, nicht der Fall.

1.3 Prozess der Erstellung von Testaufgaben

Ein wichtiger Aspekt, den wir in unserer Arbeit aufzeigen wollen, ist der Prozess der Erstellung von Testaufgaben für einen Ankreuztest. Dieser Prozess lässt sich laut [MWH78] in 6 Phasen einteilen:

1. Select a thought unit : In der ersten Phase wird das Sto gebiet ausgewählt, welches geprüft werden soll.
2. Focal idea : Es wird der Kern des Themas in Form eines prägnanten, dem Sto gebiet widerspiegelnden, Satzes de niert.
3. Determine the cognitive category : Das Niveau auf dem die Testaufgabe gemessen werden soll, wird bestimmt.
4. Write the item stem : Der Stamm der Aufgabe wird festgelegt, d.h. der Fragentext wird de niert.
5. Write the answer : Die richtige Antwortalternative wird de niert, diese sollte von den Studierenden die gelernt hatten, als solche erkannt werden.
6. Write the foils : Die falschen Antwortalternativen sollen in einer Form de- niert werden, in der ein Studierender, der nicht gelernt hat meinen könnte dass diese Alternativen richtig sein könnten.

Wie aus den Prozessschritten ersichtlich muss der Lehrende einen beträchtlichen Aufwand auf sich nehmen um qualitativ hochwertiger Testaufgaben für einen Ankreuztest zu erstellen.

2 Theoretische Grundlagen des E-Learnings

Es gibt eine Reihe von Aspekten aus dem Bereich der Lernpsychologie die einen Ein uss auf die Beantwortung von Onlineaufgaben haben. Im folgenden soll auf die aus Sicht der Autoren für die Implementierung relevanten Bereiche der Lernpsychologie und Lerntheorien eingegangen werden. Danach folgt ein Vergleich zwischen papierbasiertem und technologieunterstütztem Lernen.

2.1 Bedeutungshaftes Lernen nach Ausubel

David Paul Ausubel vertrat die Meinung, dass die Verknüpfung von zu lernendem Sto mit schon gelerntem Sto groÿe Auswirkungen auf den Lernerfolg hat. Die Bedeutung spielt bei Ausubel eine wichtige Rolle und der Lernende soll auch den Zusammenhang des Lernsto es verstehen können [Aus63]. Ausubel unterscheidet auch zwischen bedeutungsvollem Lernen und Auswendiglernen, wobei das Aus- wendiglernen als Lernen von isolierten und daher unverstandenen Fakten de niert ist.

Auf Learn@WU werden die Kontrollfragen von vielen Studierenden häu g in al- phabetischer Reihenfolge durchgeklickt und auswendig gelernt. Diese Lernstrategie führt möglicherweise zu einem kurzfristigen Erfolg bei der derzeitigen Lernstati- stik, aber meistens nicht zu längerfristigem Wissen. Mit dem neuem System soll es den Studierenden ermöglicht werden, Kapitel für Kapitel, fortschrittsbasiert zu lernen. Das hat zur Folge, dass Kapitel erst begonnen werden können, wenn die vorhergehenden Kapitel abgeschlossen sind. Die Verweilzeiten auf den Kontroll- fragen im derzeitigen System zeigen, dass diese Zeiten so niedrig sind, dass die Testaufgaben von vielen Studierenden womöglich gar nicht ganz gelesen werden, ehe sie schon beantwortet wurden.

2.2 Distributed Cognition

Bei der Distributed Cognition wird das Wissen nicht nur durch eine Person de - niert, sondern das Wissen kann auf Raum und in der Zeit verteilt sein. Kognitive Leistungen können vor allem auch bei Gruppenarbeiten auftreten, die gesamte Lei- stung darf dann nicht als Addition der Einzelleistungen gesehen werden, sondern durch Gruppenarbeit entsteht eine höhere Qualität der Leistung. Auch in Wikis wird das Wissen von mehreren Personen durch Zusammenarbeit erstellt [RE94].

Wiki Ein Wiki ist ein textorientierter Web-Dienst (Server-Software), durch den die Benutzer schnell, einfach und in Gemeinschaft mit anderen Informationsange- bote mit dem Web-Browser erstellen und die Inhalte sofort am Bildschirm ändern können [HN09]. Wiki Seiten werden nicht durch einzelne Personen bereitgestellt, sondern es arbeiten viele Personen gleichzeitig an unterschiedlichen Fragmenten. Mit Hilfe von Wikis kann die Interaktion zwischen den Studierenden gefördert und verbessert werden. Mit Hilfe einer Versionsgeschichte ist es möglich festzustellen, welche Änderungen zu welchem Zeitpunkt von welcher Person durchgeführt wur- de. Jeder Leser eines Artikels kann dann je nach Berechtigung den Artikel ändern oder auch nicht, das Wissen wird somit unter den Studierenden ausverhandelt . Weiters ist es für die Lehrenden möglich, leichter die Leistungen der Studieren- den zu überprüfen, da jeder Studierende auf Learn@WU seinen eigenen Account hat und daher eindeutig identi zierbar ist. Im Rahmen unserer Implementierung wurde auch die Funktionalität des gegenseitigen Bewertens implementiert, wo die Qualität einer Testaufgabe durch die Bewertung der Studierenden festgelegt wird.

2.3 Konstruktivistische Lerntheorie

Der Konstruktivismus wurde zur führenden Lerntheorie zwischen 1980 und 1990. Beim Konstruktivismus wird davon ausgegangen, dass die Studierenden ihren zu erlernenden Sto auf aktive Weise lernen. Es wird darauf geachtet, dass die Ler- nende eine gewisse Eigenverantwortung für das Lernen entwickeln, in dem ihnen der Bezug zur Alltagsaktivität hergestellt wird, zusätzlich soll die aktive Mitarbeit angeregt werden. Die Konstruktivisten haben groÿes Interesse daran die unter- schiedlichen Sichtweisen der Lernenden zu erfahren um diese mit der ö entlichen Meinung zu vergleichen. In [LM05] wird zwischen zwei Arten des Konstruktivismus unterschieden:

- Kognitiver Konstruktivismus
- Sozialer Konstruktivismus

Kognitiver Konstruktivismus Der Kognitive Konstruktivismus stammt ur- sprünglich von den Ansätzen von Piaget [Pia52], Bruner [Bru60], Ausubel [Aus63] und von Glasersfeld [vG87] ab. Die heutigen Lehrbücher beschreiben den individu- ellen Wissenserstellungsprozess als interpersonalen Prozess, der zwischen mehreren Personen statt ndet. Es wird damit argumentiert, dass das Wissen keine eigenstän- dige Entität ist und nicht von einer Person zur nächsten transferiert werden kann. Während des Wissenstransfers wirkt das soziale Umfeld als eine Art Stimulus für den Prozess [LM05].

Sozialer Konstruktivismus Beim sozialen Konstruktivismus steht vor allem das soziale Umfeld im Mittelpunkt. Vertreter des sozialen Konstruktivismus sind der Meinung, dass das Wissen vorher unkultiviert (von der Kultur abgegrenzt) werden muss bevor es transferiert werden kann, da ein jeder Lernende eine anderes soziales Umfeld gewohnt ist und womöglich andere De nition für ein und dasselbe Wort hat. Der Lernprozess ist daher sehr situationsbedingt zu handhaben [LM05].

Laut Konstruktivismus hat jeder Studierende seine individuelle Wissenssicht auf den Lernsto . Daher ist es schwierig bei o enen Testaufgaben eine Referenzlösung anzugeben. In der neuen Implementierung wird für den Wissensaustausch eine Möglichkeit gescha en o ene Textaufgaben zu beantworten, die dann gegenseitig von den Studierenden bewertet werden können. Somit erhält der Lehrende eine Lösung welche die Mehrheit der Studierenden akzeptiert.

2.4 E-Learning

E-Learning erlaubt dem Einzelnen mit Hilfe des Computers ein eigenverantwortlichen und selbstorganisiertes Lernen. Lerngeschwindigkeit, Lernzeit und Lernort sind individuell bestimmbar. [Hil10]

E-Learning bezeichnet die Verbreitung von Wissen unabhängig von Zeit und Ort. Die physische Präsenz der Lernenden ist beim E-Learning zu einer Nebensächlich- keit geworden. Die Lernenden können beispielsweise von zuhause aus den Lernsto über ihren Computer oder dergleichen abrufen, und die Inhalte selbstständig erler- nen. Beim E-Learning wird jedoch häu g der soziale Kontakt zwischen Lernenden und Lehrenden vernachlässigt. Weiters wird berichtet [Hil10], dass pädagogische Prinzipien und didaktische Strategien im Vordergrund stehen sollten. Dennoch sind die Inhalte öfters am unteren Ende des Qualitätsniveaus anzusiedeln.

An der WU wird groÿer Wert auf Qualitätssicherung und -entwicklung in For- schung und Lehre gelegt^[16].

Wertschöpfungskette Um qualitativ hochwertige E-Learning Materialien zu erstellen muss ein groÿer Aufwand geleistet werden. Die WU stellte zu Beginn von Learn@WU 36 Inhaltsentwickler ein, um ihren Studierenden qualitativ hoch- wertige Materialien bereitstellen zu können. Mit Hilfe einer Wertschöpfungskette kann der Erstellungsprozess von E-Learning Materialien dargestellt werden. Eine Wertschöpfungskette, wie sie in Abbildung 2 zu sehen ist, durchläuft 5 Phasen [GNS01]:

1. Curriculum Development: In dieser Phase werden strategische Entscheidun- gen der Zielgruppe entsprechend getro en, wie Kursstrukturierung und In- structional Design.
2. Content Development: Im Informationszeitalter wird die Phase der Inhalts- entwicklung zu einer make or buy Entscheidung, da es schon viele Kursbü- cher, Onlinematerialien, Exercises und dergleichen für viele Themenbereiche gibt.
3. Learning Delivery: Der Prozess der Wissensverbreitung beinhaltet Präsenz- kurse, Online Materialien, Exercises durchführen und eben auch die Bewer- tung der Lernenden.
4. Teaching Assessment: In diesem Prozessschritt werden die Lehrenden für ihren Kurs bewertet.
5. Credentialing: In diesem Schritt werden Abschlüsse, wie Akkreditierungen, Zerti kate und dergleichen vergeben.
Viele Universitäten nutzen E-Learning-Systeme, um den Studierenden mehrere Möglichkeiten bieten zu können, den Lernsto zu verinnerlichen. In manchen Fäl- len ist es für die Studierenden nicht möglich, bei einer Vorlesung anwesend zu sein.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Wertschöpfungskette [GNS01]

Aus diesen und anderen Gründen werden auch auf Learn@WU Aufzeichnungsvideos von Präsenzveranstaltungen für Studierende bereitgestellt.

Um hochwertige E-Learning Lernmaterialien erstellen zu können, muss viel Aufwand betrieben werden. Dieser Aufwand wurde zu Beginn des E-Learning- Zeitalters von manchen unterschätzt und führte dazu, dass simple Textbücher als Download bereitgestellt wurden. Für das Design eines sinnvollen E-Learning Systems gibt es Standards, wie beispielsweise IMS Learning Design^[17], die unterschiedliche pädagogische Konzepte bestmöglich abbilden.

Lernressource Um Lernressourcen digital darstellen zu können, müssen viele Attribute beachtet werden, die auch zur Speicherung zur Verfügung stehen sollten. In Abbildung 3 sieht man eine universelle Lernressource in Form eines RDF ^[18] Schemas. RDF wird für die Darstellung von Eigenschaften und deren Werten bei Internetressourcen verwendet. Eine universelle Lernressource beinhaltet 28 Eigen- schaften, wobei jede mit einem Attributnamen und einem Prä x versehen ist. Die ovalen Kreise beinhalten die Bezeichnung des Datentyps des Attributs. Der Da- tentyp LangString setzt sich beispielsweise aus dem Sprachcode und dem String selber zusammen [GNS01].

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3: universelle Lernressource [GNS01]

Lernverhalten Durch die Konzeptionierung eines E-Learning-Systems wird auch das Verhalten der Lernenden beein usst. Auf Learn@WU wurde eine Verhal- tensstudie durchgeführt, wobei unter anderem auch Testaufgaben herangezogen wurden, bei denen sich die Studierenden selber bewerten mussten. Bei dieser Stu- die kam heraus, dass die Anzahl derer, welche das E-Learning-System benutzten und die abschlieÿende Prüfung gescha t haben, höher ist als jene derer, welche die Prüfung nicht gescha t haben (siehe Abbildung 4). Möglicherweise hätten diese Studierenden auch ohne Learn@WU die Prüfung erfolgreich absolviert, dies ist aber im Nachhinein nicht mehr feststellbar. Weiters wurde in dieser Studie fest- gestellt, dass einige Studierende, obwohl sie eine hohe Anzahl an Kontrollfragen absolviert hatten und diese auch mit über 70% richtig beantworteten, trotzdem die Prüfung nicht positiv absolvieren konnten.

Bei einer Prüfung aus Einführung in betriebliche Informationssysteme, die aus ca. 30 Testaufgaben bestand, von denen einige exakt von Learn@WU kopiert wurden, einige nur leicht abgeändert und viele für die Prüfung neu erstellt wurden, konn- te festgehalten werden, dass ca. 30% der Studierenden die Beispiele, die direkt von Learn@WU genommen wurden, richtig beantworteten, wohingegen die leicht modi zierten Beispiele nur von 15% der Studierenden richtig beantwortet werden konnten. Die neuen Testaufgaben wurden etwa von 15% der Studierenden richtig beantwortet. Mit dieser Studie fand man heraus, dass die Studierenden mehr auf die Prüfung hin trainierten als den Sto verstanden (siehe auch Abschnitt 2.1). Das nachhaltige Lernen wurde mit diesem Lernverhalten der Studierenden nicht unterstützt. Bei der Studie wurde als mögliche Verbesserung die Implementierung eines fortschrittsbasierten Freischaltens der Kontrollfragen angegeben [AAE+03], das auch in der neuen Implementierung umgesetzt wurde.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 4: Nutzungsstatistik der Kontrollfragen [AAE+03]

2.5 Vergleich von papierbasiertem Lernen und technologie-unterstütztem Lernen

Dieser Abschnitt geht auf Unterschiede zwischen papierbasiertem Lernen und technologieunterstützem Lernen ein.

In [BFHM00] wurde eine Feldstudie durchgeführt die untersuchte, ob durch tech- nologieunterstüztes Lernen ein Studierender mehr Wissen zu einem Fachgebiet erlernt, als ein Studierender der sich nur mit ausgedruckten Materialien auf ei- ne Prüfung vorbereitet. Die webbasierten Materialien umfassten denselben Sto wie die ausgedruckten Materialien. Es wurden 20 Lernziele de niert, die von den Studierenden erreicht werden sollten. Das Wissen wurde anhand von Multiple- Choice-Aufgaben überprüft, wobei pro Testaufgabe nur eine Antwortalternative richtig sein konnte. Für jedes Lernziel wurde eine eigene Multiple-Choice-Aufgabe erstellt. Für jede richtige Antwort erhielt der Studierende einen Punkt, falsche Antworten resultierten nicht in einem Punkteabzug. 158 Studierende stellten sich dem Test, wobei sich 76 Studierende nur mit ausgedruckten Materialien und 82 Studierende mit webbasierten Lernen auf den Test vorbereiteten. Das Ergebnis war nicht signi kant unterschiedlich zwischen den beiden Gruppen, jedoch war der Zeitaufwand, den die Studierenden investierten, bei der webbasierten Gruppe um 30% geringer als bei der anderen Kontrollgruppe. Der Test wurde nach vier Monaten wiederholt und bestätigte das vorhergehende Testergebnis.

Diese Untersuchung zeigt, dass papierbasiertes Lernen und technologieunterstütztes Lernen zu den gleichen Lernergebnissen führten, wobei der Zeitaufwand für Studierende beim papierbasierten Lernen wesentlich höher war.

In einer von [MTM+09] durchgeführten Studie wurden vorhandene empirische Stu- dien zu den Unterschieden zwischen E-Learning und traditionellem Lernen meta- analytisch untersucht, wobei die Ergebnisse von 176 Studien berücksichtigt wur- den. Dabei zeigte sich, dass die Teilnahme an technologieunterstützten Kursen durchschnittlich mit besseren Lernergebnissen einherging. Students who took all or part of their class online performed better, on average, than those taking the same course through traditional face-to-face instruction [MTM+09, S. XIV]. Die Studie zeigt weiters, dass bei einer Kombination von E-Learning mit traditionel- len Lernmethoden bessere Ergebnisse als bei rein traditionellen Methoden oder reinem E-Learning erreicht werden. Wird reines E-Learning angeboten, sind die Lernergebnisse gegenüber traditionellen Methoden nur geringfügig besser. Interes- sant ist auch das Ergebnis, dass eine Verbesserung der Resultate im E-Learning nicht allein durch das Anbieten zusätzlicher Medientypen wie beispielsweise Videos erreicht werden kann. Inhaltsersteller sollten sich daher nicht nur auf eine Ausdehnung der Medientypen, sondern mehr auf die Bereitstellung von Mittel, die Lernenden Möglichkeiten zur Re ektion bieten, konzentrieren. E-Learning ist nicht als Medium an sich überlegen, sondern es kommt vielmehr auf die Ausgestaltung und die Inhalte an [MTM+09, S. XVII].

2.6 Feedback

Ein wichtiger Aspekt, den wir noch behandeln wollen, ist das Feedback. Ein gutes Feedback ist für die Studierenden ein wichtiger Faktor, um erfolgreich zu lernen. Die grundlegende Aufgabe des Feedbacks ist es, den Studierenden ihre Fehler erkennbar zu machen. Nach [Jac02] kann die Art Feedback zu geben nach folgendem Schema klassi ziert werden:

- Knowledge of Result : Informiert den Studierenden ob seine Antwort rich- tig oder falsch war. Die korrekte Antwort bleibt bei einer falschen Antwort unbekannt.
- Knowledge of Correct Result : Dem Studierenden wird die richtige Antwort mitgeteilt. Diese Art von Feedback wird auch als korrektives Feedback be- zeichnet.
- Answer Until Correct : Ermöglicht so oft Knowledge of Result, bis der Stu- dierende die richtige Antwort ndet
- Elaborated Feedback : Beinhaltet Informationen, die über die Mitteilung der korrekten Antwort hinausgeben. Es sollte dargestellt werden warum die Ant- wort richtig oder falsch ist, auch der Lösungsweg kann beschrieben werden.

Der überwiegende Teil der E ektivität des Feedbacks geht darauf zurück, dem Lerner die Fehler kenntlich zu machen und ihm durch die Mitteilung der richtigen Antwort die Chance zu geben, den Fehler durch die korrekte Lösung zu ersetzen. ..in test like events, feedback's primary importance is correcting errors. [BDKKM91, S.232]. [Jac02]

Bei der neuen Implementierung wird die Feedbackfunktionalität in der Form ein- gebunden, dass der Fragenersteller auswählen kann, ob ein Feedback für jede Ant- wortalternative, oder nur für die gesamte Testaufgabe bereitgestellt werden soll.

3 IMS Q TI als Standard für Kontrollfragen

In diesem Abschnitt wird kurz QTI , ein etablierter Standard im E-Learning für Kontrollfragen, vorgestellt. Unsere Implementierung der Kontrollfragen orientiert sich stark an den in QTI de nierten Fragetypen.

Das IMS Global Learning Consortium ist eine globale NPO, deren Hauptaktivität die Entwicklung von Standardisierungen und Best Practices im Bereich E-Learning ist. Der Name geht auf das Akronym Instructional Management System zurück, wird aber in dieser Form nicht mehr verwendet. Mitglieder sind Hard- und Soft- warehersteller, Bildungsinstitutionen, staatliche Behörden, Content Provider für Multimedia und andere Konsortien [IMS06a]. Auf derselben Seite ndet sich fol- gende Selbstbeschreibung: IMS provides a neutral forum in which members work together to advocate the use of technology to support and transform education and learning. Etwa 20 verschiedene Standards wurden von IMS bisher verö entlicht. Die Bandbreite der Spezi kationen umfasst Online- und O ine-Szenarien, die in Echtzeit oder asynchron statt nden können.

QTI (Abkürzung für engl. Question and test interoperability speci cation) ist ein vom IMS Global Learning Consortium de nierter Standard für die Repräsenta- tion und den Austausch von Tests und Testaufgaben in E-Learning-Systemen. Testaufgaben sollen zwischen Authoringsystemen, Repositories und verschiedenen Lernplattformen austauschbar sein. Das Erstellen von validen Testaufgaben ist eine schwierige Aufgabe, die viel Zeit in Anspruch nimmt. Durch QTI soll ver- mieden werden, dass Fragenersteller diese komplett neu erstellen müssen, wenn sie die Testaufgaben in ein anderes System übertragen wollen. Version 1.2. wurde 2002 verö entlicht und ist die derzeit am verbreitetsten. Kern von QTI ist ein XML-Datenmodell zur Beschreibung von Testaufgaben. Die Version 2.0 entstand 2005 und erweiterte ihren Vorgänger auf mehreren Ebenen. Ein neues Interakti- onsmodell ersetzt statische Inhalte, was Fragenerstellern mehr Kontrolle über das Verhalten von Feedback gibt. Auch die Integration mit anderen IMS Standards wie Content Packaging und Metadaten wurde verbessert. QTI 2.0 konzentriert sich auf die einzelnen Testaufgaben, nicht aber auf deren Aggregation in Abschnitte (engl.: sections) oder Tests (Ein Test besteht aus mehreren Sektionen, die wiederum aus Testaufgaben oder Sektionen bestehen) oder das Darstellen der Resultate. Diese Versäumnisse sollten in der QTI-Version 2.1 behoben werden und so das Update von 1.x auf 2.x komplettieren [IMS06b]. Jedoch kam es bei der Entwicklung von 2.1 zu Verzögerungen. Obwohl schon für 2005 angekündigt liegt die aktuellste Version 2.1. im Moment (März 2010) noch im Entwurfstadium vor.

[...]

---

^[1] http://media.wu-wien.ac.at/download/xowiki-doc/

^[2] [Neu08]

^[3] http://openacs.org/

^[4] http://media.wu-wien.ac.at/download/xowiki-doc/

^[5] [Neu08]

^[6] http://openacs.org/

^[7] Interne Statistik Learn@WU

^[8] 7 Jahre später wurden - bedingt durch den groÿen Erfolg des Systems und durch die Ausweitung des Funktionsumfanges - diese Zahlen bei weitem übertroffen, so wurden beispielsweise am 10.5.2010 im Studenschnitt mehr als 200 Anfragen (hits) pro Sekunde bearbeitet.

^[9] http://www.oracle.com/

^[10] http://www.postgresql.org/

^[11] http://www.aolserver.com/

^[12] http://dotlrn.org/

^[13] Extensible Markup Language, eine Sprache zur Darstellung hierarchischer Strukturen in Textform

^[14] http://office.microsoft.com/infopath/

^[15] Hypertext Markup Language, Auszeichnungssprache für Internet-Seiten

^[16] http://www.wu.ac.at/academicstaff/qual

^[17] http://www.imsglobal.org/learningdesign/index.html

^[18] Resource Description Framework, ein Modell für den Datenaustausch im Internet

^[19] http://www.imsglobal.org/question/