Das englische Wort "Assessment" bedeutet übersetzt so viel wie "Feststellung", "Abschätzung" oder "Bewertung". In der Welt des eLearning aber versteht man darunter einen interaktiven Test, der online oder offline am PC durchgeführt wird. Solche Assessments sind sehr vielfältig einsetzbar, weshalb sie sich auch wachsender Beliebtheit erfreuen: An Schulen, Universitäten und Fortbildungsstätten gibt es mittlerweile computerbasierte Prüfungen und Übungsaufgaben. In Assessment Centern wird - wie der Name schon sagt - die Eignung von Bewerbern an Hand von Assessments festgestellt, im Internet dagegen dienen sie vor allem der Marktforschung in Form von Meinungsumfragen.
Je nach der verfolgten Intention unterscheidet man zwischen "Summative Assessment" und "Formative Assessment". Ersteres wird benotet und soll den Kenntnisstand der Teilnehmer nach einem Kurs o.ä. ermitteln, während letzteres eine kursbegleitende, meist unbenotete Hilfestellung für den Lerner ist , der durch Wiederholungsfragen noch einmal sein erworbenes Wissen überprüfen kann. [LT01]
Erfolgt eine Bewertung, muss sich der Testautor zwischen zwei möglichen Auswertungsstrategien entscheiden. Bei Right Scoring werden für richtige Antworten Punkte verliehen, falsche Antworten bleiben unberücksichtigt. Im Gegensatz dazu "bestraft" Negative Marking das Ankreuzen falscher Antworten, weil hierbei Punkte abgezogen werden. Diese Strategie wird meist bevorzugt, wenn Raterei vermieden werden soll. Allerdings zeigte eine Studie an mehreren amerikanischen Colleges (ETS, 1981), dass die Testergebnisse im Fall von Right Scoring nur geringfügig besser ausfallen. [LT01]
Inhaltsverzeichnis
1 Einführung
1.1 Definition und allgemeine Begriffe
1.2 Vorteile von Assessment
2 Assessmentsysteme
2.1 Interaktion zwischen LMS und AMS
2.2 Systemarchitektur und Komponenten
3 IMS Question & Test Interoperability
3.1 Datenstrukturen und Response Types
3.2 Erhältliche Software
4 IFIS Assessment-Suite
4.1 Vergleich mit IMS QTI
4.2 Bestandteile
5 Automatische Testerstellung
5.1 Automatische Assessment-Generierung mit Multibook
5.2 Randomisierte Fragenauswahl bei IAS
6 Sicherheit in Assessmentsystemen
6.1 Anforderungen an das Security System
6.2 Möglichkeiten zur User authentication
7 Epilog
7.1 Zusammenfassung
7.2 Ausblick
8 Anhang
8.1 Codebeispiel zu IMS QTI
8.2 Struktur und Aufbau des Items
Zielsetzung und Themen
Die vorliegende Arbeit gibt einen Überblick über moderne Assessmentsysteme im eLearning-Bereich, vergleicht bestehende Standards wie IMS QTI mit der entwickelten IFIS Assessment-Suite (IAS) und beleuchtet Ansätze zur automatisierten Testerstellung sowie Sicherheitsaspekte bei computerbasierten Prüfungen.
- Grundlagen und Definitionen von Assessment im eLearning
- Systemarchitektur und Interaktion zwischen Learning Management Systemen und Assessment-Tools
- Analyse der Standards IMS QTI und IAS
- Automatisierte Testerstellung mittels Ontologien und randomisierter Auswahlverfahren
- Sicherheitsanforderungen und Authentifizierungsverfahren
Auszug aus dem Buch
3.1 Datenstrukturen und Response Types
Die Mitglieder der internationalen IMS QTI Working Group erarbeiten regelmäßig Spezifikationen zur Festlegung ihres XML-basierten Assessmentstandards. Die seit Februar 2002 erhältliche Version 1.2 wurde gegenüber ihren Vorgängern um mehrere Dokumente erweitert, die u.a. auch die Definition von Datentypen zur Speicherung von Testergebnissen (das sog. Results Reporting) beinhalten.
Insgesamt besteht IMS QTI aus neun Datenstrukturen, von denen vier dem Test Authoring dienen und fünf dem Results Reporting: Das Item stellt die kleinste unteilbare QTI-XML-Einheit dar. Es enthält mehrere Informationen: die Fragestellung und mögliche Antworten, Instruktionen zur Art der Darstellung, Metadaten zur Beschreibung des Items (z.B. seine ID) , Anweisungen zur Generierung von Ergebnissen sowie das zu präsentierende Feedback an den Benutzer.
In IMS QTI sind viele verschiedene Fragestellungen, bezeichnet als Response Types, möglich. Das untenstehende Organigramm zeigt die Response Types-Hierarchie. Es erlaubt auf jeder Ebene, entweder einen vorgegebenen Typ zu wählen oder einen eigenen „Proprietary“-Typ zu schaffen. Vorgegeben sind: Basic (eine Frage und ein dazugehöriger Antwortkomplex), Composite (eine Frage und mehrere dazugehörige Antwortkomplexe), Time dependent (die Frage muss innerhalb einer bestimmten Zeit bearbeitet werden), Time independent, Single (nur eine Antwort ist richtig), Multiple (mehrere Antworten sind richtig) und Ordered (die Reihenfolge der Antworten spielt eine Rolle).
Zusammenfassung der Kapitel
1 Einführung: Klärung der Grundbegriffe von Assessments im eLearning und Erläuterung der pädagogischen sowie technischen Vorteile computerbasierter Tests.
2 Assessmentsysteme: Darstellung der Systemarchitektur und der Interaktionsmöglichkeiten zwischen Assessment Management Systemen und Learning Management Systemen.
3 IMS Question & Test Interoperability: Einführung in den XML-basierten Standard IMS QTI, seine Datenstrukturen und die verfügbaren Fragetypen.
4 IFIS Assessment-Suite: Vorstellung der an der Universität Passau entwickelten IAS-Suite und Vergleich ihrer Konzepte mit dem IMS QTI-Standard.
5 Automatische Testerstellung: Untersuchung moderner Ansätze wie dem Multibook-Projekt zur automatisierten Testgenerierung sowie randomisierte Fragenauswahlverfahren.
6 Sicherheit in Assessmentsystemen: Analyse der Sicherheitsanforderungen in eLearning-Umgebungen und Bewertung biometrischer sowie kryptographischer Authentifizierungsmethoden.
7 Epilog: Synthese der Ergebnisse und kritische Reflexion über den Stellenwert computerbasierter Prüfungen gegenüber traditionellen schriftlichen Verfahren.
8 Anhang: Bereitstellung technischer Details, inklusive eines konkreten QTI-Codebeispiels und Erläuterungen zum Aufbau von Items.
Schlüsselwörter
Assessment, eLearning, IMS QTI, IFIS Assessment-Suite, Testmanagement, XML, Automatische Testerstellung, Ontologie, Systemsicherheit, Benutzerauthentifizierung, Multibook, Learning Management System, Item, Response Types.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit befasst sich mit der Konzeption und Implementierung von Assessmentsystemen im Kontext des eLearning und untersucht sowohl technische Standards als auch innovative Ansätze zur automatisierten Testerstellung.
Was sind die zentralen Themenfelder?
Die Schwerpunkte liegen auf Systemarchitekturen, Interoperabilitätsstandards wie IMS QTI, der IFIS Assessment-Suite, automatisierten Generierungsprozessen sowie Sicherheits- und Authentifizierungsmechanismen.
Was ist das primäre Ziel der Arbeit?
Das Ziel ist ein fundierter Vergleich zwischen etablierten Standards und neuen Entwicklungsprojekten sowie die Darstellung des technischen Nutzens und der Grenzen aktueller Assessmentsysteme.
Welche wissenschaftliche Methode wird verwendet?
Es handelt sich um eine technologische Analyse und einen systembasierten Vergleich, bei dem existierende Standards (QTI) und Prototypen (IAS, Multibook) anhand ihrer Struktur und Funktionsweise evaluiert werden.
Was wird im Hauptteil behandelt?
Der Hauptteil gliedert sich in die Vorstellung der Systemkomponenten, die detaillierte Analyse der Standards QTI und IAS, die methodische Vorgehensweise bei der automatischen Generierung von Testfragen und die Sicherheitsbetrachtungen.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit ist geprägt durch Begriffe wie Assessment, eLearning, XML, Interoperabilität, automatisierte Testgenerierung und Systemsicherheit.
Wie unterscheidet sich die IFIS Assessment-Suite grundlegend von IMS QTI?
Während IMS QTI auf einen einfachen, modularen Aufbau setzt, verfolgt IAS einen flexibleren Ansatz mit einer universellen Fragenstruktur, die stärkere multimediale Gestaltungsmöglichkeiten bietet.
Warum ist die Wahl des Sicherheitskonzepts bei Assessments so schwierig?
Die Schwierigkeit besteht in der Balance zwischen hoher Sicherheit (durch biometrische Verfahren oder Aufsicht) und der Flexibilität, die computerbasierte Tests eigentlich von überall aus ermöglichen sollen.
- Arbeit zitieren
- Carolin Heidtmann (Autor:in), 2002, Assessmentstandards und -systeme, München, GRIN Verlag, https://www.grin.com/document/10896
