Assessmentstandards und -systeme

Inhaltsverzeichnis

1 Einführung
1.1 Definition und allgemeine Begriffe
1.2 Vorteile von Assessment

2 Assessmentsysteme
2.1 Interaktion zwischen LMS und AMS
2.2 Systemarchitektur und Komponenten

3 IMS Question & Test Interoperability
3.1 Datenstrukturen und Response Types
3.2 Erhältliche Software

4 IFIS Assessment-Suite
4.1 Vergleich mit IMS QTI
4.2 Bestandteile

5 Automatische Testerstellung
5.1 Automatische Assessment-Generierung mit Multibook
5.2 Randomisierte Fragenauswahl bei IAS

6 Sicherheit in Assessmentsystemen
6.1 Anforderungen an das Security System
6.2 Möglichkeiten zur User authentication

7 Epilog
7.1 Zusammenfassung
7.2 Ausblick

8 Anhang
8.1 Codebeispiel zu IMS QTI
8.2 Struktur und Aufbau des Items

Literaturverzeichnis

1 Einführung

1.1 Definition und allgemeine Begriffe

Das englische Wort „Assessment“ bedeutet übersetzt so viel wie „Feststellung“,

„Abschätzung“ oder „Bewertung“. In der Welt des eLearning aber versteht man darunter einen interaktiven Test, der online oder offline am PC durchgeführt wird. Solche Assessments sind sehr vielfältig einsetzbar, weshalb sie sich auch wachsender Beliebtheit erfreuen: An Schulen, Universitäten und Fortbildungsstätten gibt es mittlerweile computerbasierte Prüfungen und Übungsaufgaben. In Assessment Centern wird – wie der Name schon sagt - die Eignung von Bewerbern an Hand von Assessments festgestellt, im Internet dagegen dienen sie vor allem der Marktforschung in Form von Meinungsumfragen.

Je nach der verfolgten Intention unterscheidet man zwischen „Summative Assessment“ und „Formative Assessment“. Ersteres wird benotet und soll den Kenntnisstand der Teilnehmer nach einem Kurs o.ä. ermitteln, während letzteres eine kursbegleitende, meist unbenotete Hilfestellung für den Lerner ist , der durch Wiederholungsfragen noch einmal sein erworbenes Wissen überprüfen kann. [LT01] Erfolgt eine Bewertung, muss sich der Testautor zwischen zwei möglichen Auswertungsstrategien entscheiden. Bei Right Scoring werden für richtige Antworten Punkte verliehen, falsche Antworten bleiben unberücksichtigt. Im Gegensatz dazu „bestraft“ Negative Marking das Ankreuzen falscher Antworten, weil hierbei Punkte abgezogen werden. Diese Strategie wird meist bevorzugt, wenn Raterei vermieden werden soll. Allerdings zeigte eine Studie an mehreren amerikanischen Colleges (ETS, 1981), dass die Testergebnisse im Fall von Right Scoring nur geringfügig besser ausfallen. [LT01]

1.2 Vorteile von Assessment

Gegenüber schriftlichen Tests hat Assessment am Computer einige Vorteile: Es bietet nicht nur eine Vielfalt an ansprechenden, graphischen und multimedialen Gestaltungsmöglichkeiten, sondern auch enorme Zeitersparnis für Lehrer und Professoren, die die Arbeiten nicht mehr selbst korrigieren müssen. Denn das System wertet schnell und effizient aus, weshalb auch die Testteilnehmer nicht lange auf Feedback bzw. auf ihr Ergebnis warten müssen. Zudem können sie die Assessments von überall aus und in beliebiger Reihenfolge, evtl. auch mehrmals, durchführen. Persönliche Anwesenheit ist nun in den meisten Fällen nicht mehr unbedingt erforderlich. Seit kurzem existieren sogar Systeme, die sich adaptiv auf das jeweilige Lernniveau des Benutzers einstellen. [Lab01] Mehr dazu in Kapitel 5.

2 Assessmentsysteme

2.1 Interaktion zwischen LMS und AMS

Ein Assessment Management System (im Folgenden abgekürzt mit AMS) kann sehr leicht in ein bestehendes LMS eingebettet werden. Falls das Wissen, das sich die Benutzer mittels des LMS angeeignet haben, überprüft werden soll, fordert das Learning Management System einfach ein Assessment vom AMS auf. Dieses führt es durch und übergibt den Score anschließend an das LMS.

Beispielsweise können die in einem mit IMS QTI erstellten Test erzielten Ergebnisse, die ja repräsentativ für das Lernniveau des Benutzers sind, einfach in IMS LIP übertragen werden. Dort werden sie gespeichert und können jederzeit ins Lernerprofil miteinbezogen werden.

2.2 Systemarchitektur und Komponenten

Ein AMS besteht aus fünf Komponenten: Die Fragen und Antworten, aus denen das Assessment besteht, werden zuerst in das Authoring System eingegeben.

Vor der Testbearbeitung müssen sich die Teilnehmer im Registration System anmelden. Die Anzeige der Testumgebung übernimmt schließlich das Display System, während der Assessment Engine den reibungslosen Ablauf des Assessments steuert. Um Datenintegrität zu gewähren und unbefugten Zugriff auf Daten zu vermeiden, wird außerdem ein Security System benötigt. [Ma01]

Die Systemarchitektur ist dreigeteilt: Die im Authoring System in einem Repository gespeicherten Informationen werden bei Bedarf in das Delivery System (hierbei kann es sich z.B. um ein schul- oder firmeninternes LAN handeln) übertragen. Dort werden die Tests dann bearbeitet. Die dabei produzierten Antworten wiederum werden von einem Reporting System aufgenommen und ausgewertet. Die nachfolgende Grafik zeigt den eben geschilderten Prozess bei der Verwendung von

Abbildung in dieser Leseprobe nicht enthalten

IMS QTI [IMS04]:

Damit verschiedene AMS und LMS optimal miteinander kooperieren können, sind Assessmentstandards unerlässlich. Die Vereinheitlichung der Assessment-Codierung garantiert nämlich nicht nur Portabilität und Plattform-Unabhängigkeit, sondern auch Wiederverwendbarkeit und damit Langlebigkeit. Wenn der Austausch zwischen eLearning-Systemen vereinfacht wird, werden sich mehrere Firmen an diesem vielversprechenden Markt beteiligen, was nicht zuletzt erhöhte

Spezialisierung, Modularisierung und Diversifikation ermöglicht. Dadurch verbessert sich automatisch auch die Qualität der Produkte. [IMS01]

Ein sehr bekannter Assessmentstandard ist von der Organisation IMS entwickelt worden und wird im folgenden Kapitel vorgestellt.

3 IMS Question & Test Interoperability (QTI)

3.1 Datenstrukturen und Response Types

Die Mitglieder der internationalen IMS QTI Working Group erarbeiten regelmäßig Spezifikationen zur Festlegung ihres XML-basierten Assessmentstandards. Die seit Februar 2002 erhältliche Version 1.2 wurde gegenüber ihren Vorgängern um mehrere Dokumente erweitert, die u.a. auch die Definition von Datentypen zur Speicherung von Testergebnissen (das sog. Results Reporting) beinhalten.

Abbildung in dieser Leseprobe nicht enthalten

Das Item stellt die kleinste unteilbare QTI-XML-Einheit dar. Es enthält mehrere Informationen: die Fragestellung und mögliche Antworten, Instruktionen zur Art der Darstellung, Metadaten zur Beschreibung des Items (z.B. seine ID) , Anweisungen zur Generierung von Ergebnissen sowie das zu präsentierende Feedback an den Benutzer. In IMS QTI sind viele verschiedene Fragestellungen, bezeichnet als Response Types, möglich. Das untenstehende Organigramm zeigt die Response Types-Hierarchie. Es erlaubt auf jeder Ebene, entweder einen vorgegebenen Typ zu wählen oder einen eigenen „Proprietary“-Typ zu schaffen.

Abbildung in dieser Leseprobe nicht enthalten

Vorgegeben sind: Basic (eine Frage und ein dazugehöriger Antwortkomplex), Composite (eine Frage und mehrere dazugehörige Antwortkomplexe), Time dependent (die Frage muss innerhalb einer bestimmten Zeit bearbeitet werden), Time independent, Single (nur eine Antwort ist richtig), Multiple (mehrere Antworten sind richtig) und Ordered (die Reihenfolge der Antworten spielt eine Rolle). [IMS03] Nachfolgend sind die derzeit verfügbaren Basic Response Types, die beliebig kombiniert werden können und auch von den üblichen Assessmentprogrammen unterstützt werden, aufgelistet. [IMS02]

- True / false (siehe Codebeispiel zu diesem Response Type im Anhang)
- Multiple Choice (mehrere Antworten zur Auswahl, nur eine davon ist richtig)

Beispiel:

Abbildung in dieser Leseprobe nicht enthalten

- Multiple Response (mehrere der Antworten sind richtig)

Beispiel:

Abbildung in dieser Leseprobe nicht enthalten

- Select text (ein String wird aus einer Liste von möglichen Antwort-Strings ausgewählt)
- Image Hot Spot (IHS, Identifizierung eines Punktes in einer Grafik an Hand seiner x-y-Koordinaten)

Beispiel:

Abbildung in dieser Leseprobe nicht enthalten

- Fill-in-blank (FIB, in die Lücken können Buchstaben, Zahlen oder Zeichen eingetragen werden)

Abbildung in dieser Leseprobe nicht enthalten

[...]