Einflussfaktoren und Gütekriterien bei der Bewertung und Messung schriftlicher Leistungen im Fremdsprachenunterricht

Inhalt

1. Einleitung

2. Gütekriterien bei der Messung und Bewertung von Leistungen
2.1 Objektivität
2.2 Reliabilität
2.3 Validität
2.4 Nebengütekriterien

3. Einflussfaktoren, Beurteilungsfehler und Bewertungsfehler
3.1 Externe Einflussfaktoren
3.2 Interne Einflussfaktoren
3.3 Beurteilungs- und Bewertungsfehler

4. Die Benotung schulischer Leistungen und ihre Funktionen

5. Die Messung von Leistungen im Fremdsprachunterricht der gymnasialen Oberstufe
5.1 Der Aufbau des schriftlichen Abiturs im Leistungskursfach Englisch
5.2 Die Durchführung, Aus- und Bewertung von Probeklausuren als Simulation des schriftlichen Abiturs
5.2.1 Die Vorbereitung
5.2.2 Die Durchführung
5.2.3 Die Aus- und Bewertung

6. Schluss

7. Literaturverzeichnis

8. Verordnungen, Gesetzestexte, offizielle Prüfungsmaterialien und Bewertungsnormen

1. Einleitung

Die vorliegende Hausarbeit setzt sich mit der Messung schriftlicher Leistun- gen im Fremdsprachunterricht auseinander. Dabei ist von besonderem Inte- resse, wie man diese auf die beste Art und Weise durchführt. Hierzu wird ein Querschnitt durch eine Auswahl von Veröffentlichungen aus den Bereichen Fremdsprachdidaktik, Pädagogische Psychologie und Allgemeine Didaktik beschrieben. In Synthese der hier vorgefundenen Darstellungen werden spezifische Problematiken, inter- wie intradisziplinäre Diskussionen, aber auch allgemein anerkannte Gütekriterien in Bezug auf Leistungsmessungen thematisiert. Anschließend werden in einem Zwischenkapitel Überlegungen über die Funktionen der Vergabe von Noten im schulischen Kontext unter- nommen.

Den zweiten Teil dieser Arbeit bildet ein Bericht des Verfassers über seine eigene Lehrtätigkeit und insbesondere, wie er seine sowohl durch die Arbeit im Hauptseminar „Fehleranalyse und Leistungsmessung“ des Sommerse- mester 2013 als auch durch die Auseinandersetzung mit der Fachliteratur gewonnenen Erkenntnisse beim Messen und Beurteilen der Leistungen sei- ner Schüler im Englischunterricht praktisch umsetzt. Dabei stellt er zum ei- nen den Aufbau des schriftlichen Abiturs für Leistungskurse des Fachs Eng- lisch im Freistaat Sachsen vor, zum anderen gewährt er auch einen kleinen Einblick in die Besonderheiten in der Organisation der Oberstufenarbeit der Waldorfschule^[1] im Vergleich zu staatlichen Gymnasien.

2. Gütekriterien bei der Messung und Bewertung von Leistungen

Bezüglich der Planung, Durchführung und Auswertung eines jeden Verfah- rens zur Messung und anschließenden Bewertung von Leistungen lassen sich allgemein die drei Hauptgütekriterien Objektivität, Reliabilität (Verläss- lichkeit), und Validität (Gültigkeit) feststellen, wobei diese in direkter Abhän- gigkeit voneinander stehen. Genauer gesagt, ist die Objektivität eines jeden Testverfahrens notwendige Voraussetzung für dessen Reliabilität, wobei oh- ne diese dem jeweiligen Verfahren auch keine Validität zugesprochen werden kann. Zusätzlich zu diesen Hauptfaktoren gibt es noch eine Reihe von Nebengütekriterien, die ebenfalls vorgestellt werden soll. Dabei folgt die Darstellung maßgeblich den Ausführungen von Mietzel^[2].

2.1. Objektivität

Allgemein betrachtet, ist ein Testverfahren dann objektiv, wenn dessen Ergebnisse unabhängig davon sind, welche Person die Prüfung durchgeführt, ausgewertet und interpretiert hat. Kämen also eine Reihe verschiedener Prüfer bezüglich desselben Prüflings zu identischen Ergebnissen, könnte man von einem vollkommen objektiven Test sprechen, vorausgesetzt, die Prüfer unterliegen nicht alle dem gleichen subjektiven Fehler.

Um einen möglichst hohen Grad an Objektivität in der Leistungsmessung und -bewertung zu erreichen, gilt es, ein Testverfahren auf drei Arbeitsebenen kritisch zu hinterfragen.

Die erste Ebene betrifft die Objektivität in der Durchführung des Tests, ganz gleich, ob es sich hierbei um eine mündliche Prüfung, einen Multiple-Choice- Test oder einen zu verfassenden Aufsatz o.ä. handelt. Der Lehrer bzw. Prü- fer muss hier sicherstellen, dass alle Prüflinge dieselbe Testaufgabe unter denselben Bedingungen bearbeiten. Dies schließt sowohl die Aufgabenstel- lung und ggf. Wahlmöglichkeiten, aber auch den räumlichen und vor allem zeitlichen Rahmen ein. Nicht zu vergessen sind die zugelassenen oder zur Verfügung gestellten Hilfsmittel (im Falle einer Leistungskontrolle im fremd- sprachlichen Kontext könnten dies etwa Wörterbücher, Synonymwörterbü- cher oder Grammatiken sein) und eventuell das Maß an Unterstützung, das man jedem einzelnen Prüfling zukommen lässt. Der Prüfer sollte sich ganz allgemein die Frage stellen, ob andere Lehrer diese Prüfung auf dieselbe Art und Weise abnehmen würden.

Die zweite Ebene ist die Objektivität in der Auswertung. Die zu bearbeiteten Aufgaben müssen nach denselben, im Vorfeld festgelegten Kriterien analy- siert werden. Hierzu muss sich die prüfende Lehrkraft fragen, ob sämtliche Schülerarbeiten tatsächlich nach demselben Schema überprüft werden, und ob ein anderer Lehrer auch auf Grundlage eben dieses Schemas messen und damit zu denselben Ergebnissen kommen würde. Das Kriterium „Auswertungsobjektivität“ erweist sich im Bereich des Fremdsprachunterrichts als besonders problematisch, was im fünften Kapitel der vorliegenden Arbeit noch weiter verdeutlicht werden wird.

Während die erste und zweite Arbeitsebene sich eher auf die Leistungsmes- sung beziehen, richtet sich das Hauptaugenmerk bezüglich der dritten Ebe- ne, der Interpretationsobjektivität, auf die Interpretation der gemessenen Leistungen. Hierunter ist zu verstehen, dass der Prüfer sicherzustellen hat, dass er sich bei der Bewertung der von ihm gemessenen Schülerleistungen mit normierten Leistungsprädikaten (Noten, Punkten im Abitur, den Prädika- ten „Sehr gut“ bis „Mangelhaft“, etc.) an eindeutige und vorher festgelegte Klassifizierungsregeln hält. Er hat sich also die Frage zu stellen, ob er sämtli- che Schülerarbeiten nach denselben Richtlinien bewertet hat, und ob andere Lehrer dieselben Richtlinien anwenden und auf deren Basis zu denselben Bewertungen kommen würden. Eine Maßnahme zur Erhöhung der Objektivi- tät in der Messung und Beurteilung von Leistungen ist beispielsweise die Teilnahme an einem so genannten Beurteiler-Training. Verschiedene Prüfer einer Fachgruppe besprechen und üben gemeinsam das Messen und Beur- teilen und stimmen so ihre jeweils angewandten Techniken und Messkrite- rien untereinander ab. Eine äußerst sinnvolle Maßnahme ist es, die Arbeits- schritte Auswertung, Interpretation und Beurteilung strikt voneinander zu trennen.

2.2. Reliabilität

Eine zentral wichtige Frage, die sich ein jeder Lehrer bei der Planung und Vorbereitung, aber auch Auswertung einer schriftlichen oder mündlichen Prü- fung jeder Art stellen muss, ist diejenige nach der Zuverlässigkeit und Ge- nauigkeit der Messergebnisse. Hierzu gilt allgemein, dass die Messgenauig- keit eines Tests jeder Art umso höher ist, je weniger dessen Ergebnisse von zufälligen Fehlerfaktoren beeinflusst werden. Um also eine möglichst hohe Reliabilität von Messergebnissen zu gewährleisten, gilt es, Störfaktoren und Fehlerquellen möglichst vorneweg auszuschließen oder zumindest zu mini- mieren. Falls dies jedoch nicht voll und ganz möglich ist - und dies ist der Regelfall - so muss der Prüfer die ihm vorliegenden Messergebisse sorgfäl- tig daraufhin überprüfen, ob sie eventuell von unerwarteten oder vernachlässigten Störfaktoren verfälscht wurden. Faktoren, die sich auf die Messgenauigkeit von Leistungskontrollen auswirken, sind unter anderem:

1. Stichprobenfehler: Je weniger Aufgaben dem Prüfling vorgelegt wer- den, desto höher die Wahrscheinlichkeit, dass er durch Zufall eine Aufgabe zu bearbeiten hat, die ihm Schwierigkeiten bereitet, auch wenn sein auf den jeweiligen Stoff bezogenes, allgemeines Leistungsniveau vielleicht recht hoch ist.
2. Ungenaue oder nicht eindeutig formulierte Arbeitsanweisungen: Der Prüfling versteht schlichtweg nicht, was genau er zu tun hat und kann deshalb die Vorgaben nicht erfüllen, ohne dass dies auch nur im ge- ringsten Aufschluss auf sein Leistungsniveau liefert. Im fremdsprachli- chen Kontext kommt hier noch erschwerend dazu, dass der Lehrer/ Prüfer die Aufgabenstellung möglicherweise sehr präzise und allge- mein verständlich formuliert hat, der Prüfling jedoch die Bedeutung eines fremdsprachlichen Schlüsselbegriffs oder Operators nicht kennt.
3. Faktoren, die die Konzentration und Leistungsfähigkeit des Prüflings negativ beeinflussen: Schlechte Beleuchtung oder Durchlüftung des Prüfungsraumes, störende Lärmquellen, Mangel an Schreibmaterial, vergessene Wörterbücher, schlechter gesundheitlicher bzw. nervlicher Zustand des Prüflings, Angst, Stress u.v.a.

Da die genannten Umstände oftmals gemeinsam (und meist in wechselnder Kombination) auftreten, wäre - rein theoretisch - ein effektives Mittel die Re- liabilität von Messwerten herauszustellen, die Leistungsüberprüfung unter identischen Bedingung, mit denselben Personen und unter Verwendung der- selben Aufgabenstellungen zu wiederholen. Sind die Messwerte beider Test- läufe identisch, so sind sie also reproduzierbar und somit mit großer Wahr- scheinlichkeit reliabel. Allerdings ist diese Herangehensweise im schulischen Kontext aus verständlichen Gründen nicht praktikabel. Es bleibt hier also vie- les der Aufmerksamkeit und dem Gespür des Prüfers überlassen und seiner Umsicht in der Planung, Durchführung und Auswertung der Leistungskontrol- le.

2.3. Validität

Die Frage nach der Validität von Ergebnissen einer Leistungsüberprüfung zielt allgemein darauf, zu ergründen, in wieweit in derselben tatsächlich diejenige Fachkompetenz gemessen wird, die gemessen werden soll. Kurz gefasst: Eine Leistungsbeurteilung ist nur dann valide, wenn das gefasste Urteil der Leistung des Schülers gerecht wird.

Allgemein betrachtet, lassen sich hinsichtlich dieses wohl komplexesten der drei Hauptgütekriterien eine Reihe von Teilbereichen, oder genauer, Arten von Validität unterscheiden.^[3] Im schulischen Bereich jedoch ist vor allem die Inhalts- bzw. Kriteriumsvalidität von Belang: Hier richtet sich der Fokus der Betrachtung auf die Erfüllung von Lernzielen bzw. die Entwicklung von Kom- petenzen. Bei der Planung einer Leistungskontrolle hat der damit befasste Lehrer immer im Auge zu behalten, dass die von ihm abgefragten Inhalte in ihrer Gesamtheit eine repräsentative Stichprobe der Unterrichtsthematiken bzw. Fertigkeiten ergeben, die im Vorfeld erarbeitet bzw. eingeübt wurden bzw. vom Lehrplan gefordert werden. Bei inhaltsorientierten Unterrichtsfä- chern wie Geschichte oder Geographie ist dies durch konkrete Fragen, die je nach Anforderungsniveau mehr oder weniger komplexe, konkrete Antworten erfordern, relativ unproblematisch. Der jeweilige Fachlehrer muss sich jedoch bei der Auswertung der ihm vorgelegten Prüfungsleistungen unbedingt auf die inhaltlichen Aspekte der Schülerantworten konzentrieren und sicherstel- len, dass er sich in seiner Beurteilung nicht etwa von sprachlichen Mängeln negativ beeinflussen lässt. Auch bei Leistungsmessungen in streng prozess- orientierte Disziplinen wie Mathematik dürften sich diesbezüglich kaum Schwierigkeiten ergeben. Im Kontext des Fremdsprachunterrichts jedoch lässt sich oftmals bei der Vorbereitung einer Leistungskontrolle die Frage nach der inhaltlichen Validität derselben nicht einfach beantworten.

[...]

^[1] Schule anonymisiert

^[2] Mietzel 2007, S. 447- 456

^[3] So wird in der Literatur beispielsweise die Übereinstimmungs- oder externe Validität genannt: Die Übereinstimmung des Testergebnisses mit einem Außenkriterium, so z.B. dem Ergebnis eines anderen Tests, der dasselbe Merkmal misst). Außerdem erwähnt werden die Vorhersagevalidität (das Testergebnis ermöglicht Vorhersagen auf künftige Ereignisse) und die Konstruktvalidität (das Testergebnis stimmt mit den Vorhersagen bzgl. des zu messenden Konstrukts [Wissensstand, Entwicklung von Fertigkeiten] überein.)