Automated Essay Scoring (AES) bezeichnet maschinell lernende Systeme zur automatischen Aufsatzbewertung, die in den Vereinigten Staaten bspw. bei standardisierten Eingangstests, aber auch bei der schulischen Leistungsbewertung zum Einsatz kommen. Diese Arbeit widmet sich der Frage, ob AES in deutschen Schulen eingesetzt werden sollte. Die Untersuchung erfolgt in zwei Schritten: Zunächst wird analysiert, ob AES einen Aufsatz bewerten kann; im zweiten Schritt wird diskutiert, ob AES in der Leistungsbewertung eingesetzt werden soll. Dabei wird eine begrenzte Anwendung im Rahmen des Deutsch-Abiturs in Baden-Württemberg geprüft und schließlich empfohlen.
Inhaltsverzeichnis
1. Einführung
2. Grundlagen
2.1 Essay und Kommentar
2.2 Automated Essay Scoring
2.3 Gütekriterien der Leistungsbewertung
2.3.1 Objektivität
2.3.2 Reliabilität
2.3.3 Validität
2.3.4 Zwischenstand: Kann AES einen Essay bewerten?
3. Soll AES einen Essay bewerten?
3.1 Gerechtigkeit
3.2 Entsozialisierung & Kompetenzverlust
3.3 Transparenz & Datenschutz
3.4 Sonstiges
3.5 Umsetzungsmöglichkeiten
4. Zusammenfassung
Zielsetzung & Themen
Die vorliegende Arbeit untersucht die Potenziale und moralischen Implikationen des Einsatzes von "Automated Essay Scoring" (AES) zur Bewertung von Schüleraufsätzen, insbesondere im Kontext des Deutsch-Abiturs in Baden-Württemberg. Ziel ist es zu klären, ob AES-Systeme technisch in der Lage sind, Aufsätze valide zu bewerten und ob eine solche Einführung unter ethischen Gesichtspunkten vertretbar ist.
- Technische Funktionsweise von Automated Essay Scoring
- Messung der Leistungsbewertung mittels Gütekriterien (Objektivität, Reliabilität, Validität)
- Ethische Bewertung der Fairness und Gerechtigkeit automatisierter Verfahren
- Auswirkungen auf die Schreibpraxis und das Rollenverständnis von Lehrkräften
- Modellvorschläge für eine komplementäre Nutzung von Mensch und Maschine
Auszug aus dem Buch
2.3 Gütekriterien der Leistungsbewertung
Unter Leistungsbewertung ist nach Bohl (2009: 59-61) die Einstufung einer konkreten Leistung auf einer Skala zu verstehen. Davon zu unterscheiden sind die Leistungserbringung, also z. B. das Verfassen des Kommentars durch den Schüler, und die Leistungsbeurteilung, bei der mehrere Einzelbewertungen zu einer (Zeugnis-)Gesamtnote zusammengefasst werden. In dieser Arbeit wird nur die Leistungsbewertung betrachtet. Die Qualität von Leistungsbewertungen wird anhand der messtheoretischen Gütekriterien Objektivität, Reliabilität und Validität beurteilt (Ingenkamp & Lissmann 2008: 51). Naturgemäß können pädagogische Leistungsbewertungen niemals so exakt sein wie wissenschaftliche Messungen. Dennoch sollte versucht werden, die Gütekriterien möglichst gut zu erfüllen (Bohl 2009: 61).
Zusammenfassung der Kapitel
1. Einführung: Die Einleitung beleuchtet den Lehrkräftemangel an deutschen Schulen und stellt das automatisierte Aufsatzbewertungsverfahren (AES) als potenzielle Entlastungsmöglichkeit vor.
2. Grundlagen: Dieses Kapitel definiert den Begriff des Essays im schulischen Kontext, erläutert die Technik des maschinellen Lernens bei der Aufsatzbewertung und prüft AES anhand klassischer Gütekriterien.
3. Soll AES einen Essay bewerten?: Hier werden moralische Bedenken wie Gerechtigkeitsfragen, mögliche Entsozialisierung des Schreibprozesses sowie Aspekte von Transparenz und Datenschutz kritisch diskutiert.
4. Zusammenfassung: Das abschließende Kapitel fasst die Erkenntnisse zusammen und plädiert für einen komplementären Einsatz, bei dem AES die menschliche Bewertung ergänzt, nicht ersetzt.
Schlüsselwörter
Automated Essay Scoring, AES, Deutsch-Abitur, Leistungsbewertung, Gütekriterien, Objektivität, Reliabilität, Validität, Künstliche Intelligenz, Maschinelles Lernen, Lehrerentlastung, Bildungsforschung, Schreibkompetenz, Gerechtigkeit, Algorithmische Bewertung
Häufig gestellte Fragen
Worum geht es in der Arbeit grundlegend?
Die Arbeit untersucht die Machbarkeit und die ethische Vertretbarkeit, automatisierte Systeme (AES) zur Korrektur von Abituraufsätzen im Fach Deutsch einzusetzen.
Was sind die zentralen Themenfelder?
Im Zentrum stehen die messtheoretische Genauigkeit von KI-Bewertungen, die Fairness gegenüber verschiedenen Schülergruppen und die Frage, wie menschliche und maschinelle Korrektur zusammenwirken können.
Was ist das primäre Ziel der Untersuchung?
Das Ziel ist die Beantwortung der Forschungsfrage, ob AES-Systeme menschliche Bewerter im Abitur ersetzen oder sinnvoll ergänzen können, um dem Lehrkräftemangel zu begegnen.
Welche wissenschaftliche Methode wird verwendet?
Die Arbeit nutzt eine Literaturanalyse, in der aktuelle Studien zur Leistungsdiagnostik und zum Machine Learning evaluiert und auf den spezifischen Kontext des baden-württembergischen Abiturs übertragen werden.
Was wird im Hauptteil behandelt?
Der Hauptteil gliedert sich in eine technische Evaluation (Funktionsweise, Objektivität, Reliabilität) und eine ethisch-normative Diskussion (Gerechtigkeit, Transparenz, Kompetenzerhalt).
Welche Schlüsselwörter charakterisieren die Arbeit?
Wichtige Begriffe sind insbesondere Automated Essay Scoring (AES), Gütekriterien, Abiturprüfung, algorithmische Gerechtigkeit und komplementäre Leistungsbewertung.
Wie kann ein komplementärer Einsatz von AES praktisch aussehen?
Der Autor schlägt ein Modell vor, bei dem jedes Essay von einem AES-System und einem Menschen bewertet wird; bei zu großen Abweichungen wird ein weiterer menschlicher Korrektor hinzugezogen.
Ist AES für originelle Schüleraufsätze geeignet?
Der Autor räumt ein, dass AES Schwierigkeiten hat, originelle oder stark von Standardmustern abweichende Aufsätze korrekt zu bewerten, weshalb ein menschlicher Leser zur Qualitätssicherung unerlässlich bleibt.
- Quote paper
- Jens Fröhlich (Author), 2024, Noten auf Knopfdruck?, Munich, GRIN Verlag, https://www.grin.com/document/1597638
