Evaluation und Qualitätssicherung. Eine Überprüfung der internen Bewertungsinstrumente für Schulen in Bayern und Niedersachsen

Inhaltsverzeichnis

1 Einleitung zur Thematik
1.1 Geschichte der Evaluation und theoretische Grundlagen
1.2 Forschungsgegenstand und Gliederung der Arbeit

2 Interne Evaluation - Theoretischer Teil
2.1 Gegenüberstellung der politischen Modelle
2.2 Vergleich der Ländermodelle und wissenschaftliche Konzeptionen

3 Interne Evaluation - Praktischer Teil
3.1 Evaluationsschulen
3.2 Evaluationsbereich, Ziele, Kriterien und Indikatoren
3.3 Evaluationsinstrument - der Fragebogen

4. Diskussion der Ergebnisse und Modulverknüpfung

5. Literaturverzeichnis

6. Anhang

1 Einleitung zur Thematik

1.1 Geschichte der Evaluation und theoretische Grundlagen

Evaluation spielt im alltäglichen Leben eine wichtige Rolle. Nach wie vor besteht jedoch kein Konsens darüber, was sie konkret heißt, umfasst und leisten kann. Evaluation (vom lateinischen valere „wert sein“) bedeutet wörtlich übersetzt schlichtweg Bewertung - letztlich etwas Alltäg- liches, denn vor jeder Entscheidung müssen Handlungsalternativen bewertet werden. Im Rah- men der Wissenschaft ist mit Evaluation jedoch weniger das intuitive Bewerten gemeint, son- dern der systematische und geplante Einsatz verschiedener Modelle, Strategien und Methoden der Bewertung. Evaluation bedeutet daher viel mehr als Erfolgskontrolle. Mit der Evaluation können spezifische Sachverhalte kontrolliert, bewertet, erforscht und reflektiert werden, sodass die gewonnenen Daten zu einem Erkenntnisgewinn beitragen und den Sachverhalt optimieren können (vgl. Wesseler, M. 1999: 736). In der Schul- und Schulsozialforschung wird Evaluation daher unter anderem als „[…] ein Steuerungsmittel im Schulentwicklungsprozess.“ (ISB 2003) bezeichnet. Sie dient dabei zu schulinternen Verständigungsprozessen (LS 2005), zur Selbst- verwaltung und Selbstkontrolle von Schule (Rolff u.a. 1998) und zur Qualitätskontrolle und - sicherung von Unterricht (Ditton 2002: 73). Dementsprechend ist sie von außerordentlicher Bedeutung und ein unverzichtbarer Bestandteil der Lehreraus- und Fortbildung.

Da der Inhalt der vorliegenden Hausarbeit auf der Ebene der Schulentwicklung ansetzt, soll notwendiges Hintergrundwissen vorab anhand eines kurzen geschichtlichen Überblicks darge- legt werden. Evaluation wurde bereits in den Jesuitenschulen des 16./17. Jahrhunderts prakti- ziert und mithilfe pädagogischer „Evaluationsmaßnahmen“ begründet (vgl. Schimöller 2004: 385). Dabei bezog sie sich jedoch lediglich auf die individuelle Schülerleistung und erreichte mit der Einführung des Abiturzeugnisses in Preußen 1834 ihren Höhepunkt. In den 1960er Jah- ren geriet mit der Debatte um die Curriculumreform erstmalig die Evaluation des Unterrichts in den Mittelpunkt. Ende der 1980er Jahre weitete sich der Evaluationsbegriff dann auch auf die systematische Beurteilung von Organisationsstrukturen, Lehr- und Lernprozessen sowie Leistungsmerkmalen aus. Mit dem hohen Ziel der Qualitätsverbesserung wurden durch die Kul- tusministerkonferenz, mit dem Konstanzer Beschluss vom 24. Oktober 1997, Neuregelungen eingeführt, die mittels regelmäßiger Schulleistungsuntersuchungen Stärken und Schwächen des Bildungswesens erfassen wollten (vgl. https://www.kmk.org). Ein Schritt zur Qualitätsverbes- serung war die Einführung eines bundesweiten Bildungsplanes, der zu einem Paradigmenwech- sel weg von der Input-, hin zur Outputorientierung führte. Der Fokus liegt seitdem nicht mehr darauf, was unterrichtet werden soll, sondern welche Kompetenzen die SuS am Ende eines Aus- bildungsabschnittes erworben haben sollen. Die Kompetenzen stellen verbindliche Kriterien dar, die mithilfe von Testaufgaben operationalisiert und überprüft - also wissenschaftlich Eva- luiert - werden können (vgl. Ackeren/Klemm 2009: 158). Auch die Ergebnisse in internationa- len und nationalen Vergleichsuntersuchungen wie PISA, TIMMS, PIRLS und IGLU, trugen zu einem Umdenken in der Schulentwicklung bei. Doch nicht nur der internationale Vergleich, sondern auch der Wille zur Selbstgestaltung und die zunehmende Flexibilität im Wissenser- werb, die mit der heutigen Informationsgesellschaft einhergeht, führten zu einer veränderten Wertehaltung, die sich auf die Bewertung und Kontrolle von schulischen Prozessen auswirkte. Man spricht in diesem Zusammenhang von einer Entwicklung weg von top-down Prozessen, die zentralistisch geregelt waren, hin zu bottom-up Prozessen, welche die Schule als Ganzes bewertet. Das Ziel dabei ist die Schülerleistungen zu verbessern. Wege wie dies zu erreichen sei, sind seither Gegenstand der öffentlichen Bildungspolitik. Im Zuge der neuen Bildungspo- litik wurde eine „Verschlankung“ des gesamten Bildungssystems erreicht, was zu einer höheren Eigenverantwortlichkeit der Schulen führte. Damit entstand das Schulmanagement als neue Handlungskategorie. Was genau unter einer guten Schule zu verstehen ist, muss sich im Zuge der inneren Schulreform jede Schule selbst beantworten und in ihrem Leitbild verankern. Aus diesen individuellen Verständnissen von „Qualität“ leiten sich die Aufgaben der Evaluation jeder Schule ab. Im Grunde kann die Qualität von Schulen auf drei Ebenen beschrieben werden. Die Input-Ebene bezieht sich auf Ressourcen, finanzielle Mittel, das Schulcurriculum und auch auf die vorhandene Zeit des Lernens. Auf der Prozess-Ebene geht es um Lernformen und Lern- kultur, aber auch die verwaltungstechnische Organisation. Die Output-Ebene bezieht sich auf das Niveau der Lernergebnisse, auf die erreichten Kompetenzen und Abschlussqualifikationen wie auch Quoten von „Sitzenbleiben“.

1.2 Forschungsgegenstand und Gliederung der Arbeit

Entsprechend der drei „Qualitätsebenen“ müssen auch drei Evaluationsformen unterschieden werden: die interne Evaluation, die externe Evaluation und das Systemmonitoring. In der vor- liegenden Arbeit soll speziell auf die interne oder auch Selbstevaluation eingegangen werden. Sie wird in Beiträgen zur Schulentwicklung und Schulentwicklungsforschung seit langem als bedeutsames Kriterium professionellen Lehrerhandelns einerseits sowie als Kriterium einer auf Lernen hin ausgerichteten Organisation andererseits betrachtet (vgl. Berkemeyer & Bos 2009: 187). Angesichts der hohen Bedeutung, die der internen Evaluation zugewiesen wird, muss jedoch auch die Umsetzung in der Praxis dafür immer wieder kritisch hinterfragt werden. Denn so unbestritten die ihre Bedeutsamkeit für die Schulentwicklung auch sein mag, so unklar ist die tatsächliche Verwendung von Verfahren der internen Evaluation im Schulalltag. Im Semi- nar „Evaluation und Qualitätssicherung“ im WS2016/17 sind wir dieser Frage mithilfe einer Simulation nachgegangen. Wir arbeiteten im Allgemeinen an drei Modellen unterschiedlicher Gestaltung von interner Evaluation um mögliche Schwachstellen aufzudecken.

Die vorliegende Hausarbeit beschäftigt sich im speziellen mit der Untersuchung der internen Evaluation von Bayern und Niedersachsen. Ziel ist es ihre Evaluationsverfahren im Hinblick auf die Qualitätsbereiche zu untersuchen, ihr Konzept im Sinne des Qualitätszirkels festzulegen und anschließend das im Seminar entwickelte Evaluationsinstrument, den Fragebogen, sowie die Ergebnisse der Evaluations-Simulation zu beurteilen. Dabei liegt der Fokus dieser Arbeit nicht allein auf dem Thema der Evaluation, sondern auch auf der kritischen Auseinandersetzung mit wissenschaftlichen Forschungsmethoden, welche als Verknüpfung mit dem „Kolloquium zur forschungsmethodischen Qualifizierung“ verstanden werden kann.

Der Hauptteil der Arbeit gliedert sich in vier Unterpunkte. Im Anschluss an den Geschichtli- chen Überblick folgt unter Punkt zwei der theoretische Teil der internen Evaluation mit der Gegenüberstellung der politischen Modelle Bayerns und Niedersachsens, sowie der Vergleich beider Modelle mit wissenschaftlichen Konzeptionen. Unter Punkt drei befindet sich der prak- tische Teil der Evaluation. Es werden die Schulen vorgestellt, an denen die Evaluations-Simu- lation durchgeführt wurde, anschließend werden die Evaluationsbereiche, Ziele, sowie Krite- rien und Indikatoren vorgestellt und im letzten Unterpunkt das Evaluationsinstrument - der Fragebogen - hinsichtlich der Indikatoren untersucht. Den Abschluss der Arbeit bildet, unter Punkt vier, eine Diskussion der Ergebnisse, sowie die Modulverknüpfung zu den Seminaren Reformpädagogische Schulkonzepte und Schulforschung, sowie Inklusion.

2 Interne Evaluation - Theoretischer Teil

2.1 Gegenüberstellung der politischen Modelle

Um die Qualitätsvorstellungen zweier Bundesländer miteinander vergleichen zu können, ist zunächst die Kenntnis über Gemeinsamkeiten und Unterschiede notwendig. Einen gemeinsa- men Referenzmaßstab stellen die bundesweiten Bildungsstandards dar (vgl. 1.1). Jedoch dienen diese auf der Länderebene lediglich als Rahmenstandards. So nimmt Niedersachsen beispiels- weise die äußere Form der Bildungsstandards auf, während Bayern auf alte Lehrplanformate zurückgreift (vgl. Ackeren/Klemm 2009: 158). Dies bedeutet neue Herausforderungen im Sinne der Vergleichbarkeit von Zielerreichung (z.B. im Hinblick auf die Bildungsstandards). Sowohl Niedersachsen, als auch Bayern haben einen sogenannten Orientierungsrahmen als Qualitätsmodell für die Schul- und Unterrichtsqualität. Sie beschreiben in systematischer Weise einen Kernbestand von Merkmalen und Kriterien guter Schule und guten Unterrichts, die auch einen Bezugsrahmen für schulinterne Evaluationsmaßnahmen bilden.

Der niedersächsische Orientierungsrahmen ist durch 18 Qualitätsmerkmale beschrieben, die in insgesamt 54 Teilmerkmale ausdifferenziert sind. Die Merkmale werden in sechs Qualitätsbereiche strukturiert:

1. Ergebnisse und Wirkungen
2. Lehren und Lernen
3. Leitung und Organisation
4. Ziele und Strategien der Schulentwicklung
5. Bildungsangebote und Anforderungen
6. Kooperation und Beteiligung

In Bayern hingegen gibt es im landesweiten Qualitätstableau 4 Qualitätsbereiche, die wiederum in 16 Teilbereiche untergliedert werden. Die Qualitätsbereiche lauten:

1. Rahmenbedingungen
2. Prozessqualitäten Schule
3. Prozessqualitäten Unterricht
4. Ergebnisse schulischer Arbeit¹

2.2 Vergleich der Ländermodelle untereinander unter Anbetracht wissenschaftlicher Konzeptionen

Zum Thema Schul- und Unterrichtsqualität liegen unterschiedliche Konzeptionen vor, die mit- einander konkurrieren. Obwohl vielfach Überschneidungen, oder zumindest Berührungspunkte bestehen, nehmen die Positionen kaum aufeinander Bezug. Die unterschiedlichen Ansätze, die sich mit den Qualitätsmerkmalen von Unterricht beschäftigen, lassen sich unterschiedlich grup- pieren. Die folgenden wissenschaftlichen Konzeptionen beziehen sich auf die Schulqualitäts- forschung. Ditton (2002) leitete von Slavin‘s QUAIT-Modell gewisse „Qualitätsfaktoren“ des Unterrichts ab und stellte sie in einer Tabelle zur Qualitätskontrolle und -sicherung zusammen (vgl. Ditton, H. 2002: 197 - 212). Sie berücksichtigt neben der Unterrichtsqualität auch die Schulqualität, sowie Bedingungen, Wirkungen (Outputs) und langfristige Wirkungen (Outco- mes).² Wie im Folgenden aufgezeigt wird, lehnen sich auch die Orientierungsrahmen von Bay- ern und Niedersachsen an diesen Qualitätsmodellen an, haben jedoch ihre eigenen Schwer- punkte:

In dem sehr übersichtlich gehaltenen Qualitätstableau Bayerns erkennt man eine eindeutige Struktur, die klar formuliert und untergliedert ist. Der Prozess steht im Mittelpunkt, was auch explizit in den Formulierungen erkennbar ist. Die Qualitätsbereiche wurden von der externen Evaluation für die interne übernommen, d.h. sie sind aufeinander bezogen und orientieren sich an Merkmalen (inter-)nationaler Schulforschung. Es wird die bottom-up-Methode berücksich- tigt, indem die Schule selbst mitbestimmt, wie sie Qualität definiert und bewertet. Es sind ein- deutige Parallelen zu Ditton‘s Struktur feststellbar (Voraussetzungen ↔ Rahmenbedingungen; Primäre Merkmale in Schule und Unterricht ↔ Rahmenbedingungen; Ergebnisse ↔ Ergeb- nisse). Zudem orientiert sich das bayerische Qualitätstableau ebenfalls an einer analytischen Trennung von Input-Output, wobei Dittons Aspekte Intentionen (2) und Langfristige Wirkun- gen (6) im bayerischen Tableau nicht vorkommen. Zu hinterfragen wäre, ob die Ergebnisse nicht auch eher bewertend, statt nur beschreibend dargestellt werden sollten. Denn so muss nicht zwingend eine rückblickende Reflektion über den Entwicklungsprozess stattfinden. Des Weiteren sind die Kriterien des Bereiches Ergebnisse sehr subjektiv gehalten und beachten zu wenig die allgemeinen Bildungsziele. Der Teilbereich Zufriedenheit ist sehr weit gefasst.

Dieser müsste im Sinne Ditton‘s weiter ausdifferenziert werden. Die Prozessqualität Unterricht ist im bayerischen Qualitätstableau hingegen ausführlicher aufgeschlüsselt als bei Ditton. Die Prozessqualität ist nahezu identisch mit Ditton’s Modell, wobei lediglich eine andere Gliederung der inhaltlichen Kriterien vorgenommen wurde.

Während im bayerischen Qualitätstableau die vier Qualitätsbereiche quasi gleichgewichtig ne- beneinanderstehen, stellt sich der Orientierungsrahmen Niedersachsens als dynamisches Sys- tem dar. Ditton nummeriert die Qualitätsbereiche von 1-6, die er wiederum in 3 Curricula-Be- reiche zusammenfasst. Er beginnt mit den Bedingungen und Intentionen (Punkt 1 und 2). Zu- sammen bilden sie das Intendierte Curriculum. Punkt 3 und 4 sind Schul- und Unterrichtsqua- lität als Implementiertes Curriculum. Wirkungen (Outputs), sowie Langfristige Wirkungen (Outcomes) bezeichnet er als Erreichtes Curriculum (vgl. 8.3). Im Orientierungsrahmen Nie- dersachsen ist es quasi genau umgekehrt. Hier stehen die Ergebnisse und Wirkungen im Qua- litätsbereich 1 ganz oben. Auffällig ist, dass im Vergleich zum bayerischen Modell nicht nur die Unterpunkte 1.1 Kompetenzen, 1.2 Bildungswege und 1.3 Akzeptanz formuliert sind, son- dern allem voran der Bildungsauftrag als Fließtext (vgl. 8.1). Dies ist von daher als positiv zu bewerten, als dass dieser gemeinsame Bildungsauftrag demnach als Orientierung für alle Schu- len Niedersachsens als verbindliche Grundlage dient. Qualitätsbereich 2 des niedersächsischen Orientierungsrahmens beschreibt das Lehren und Lernen - bei Ditton Punkt 4: Unterrichtsqua- lität. Dieser zentrale Qualitätsbereich ist im QAIT-Modell in vier Unterpunkte gegliedert: Qua- lität, Motivierung, Angemessenheit und Unterrichtszeit (vgl. 8.4). Im Qualitätsbereich 2 des niedersächsischen Orientierungsrahmens finden sich nur drei Unterpunkte. Diese lauten 2.1 Kompetenzorientierung, 2.2 Unterrichtsführung und 2.3 Individualisierung. Die QAIT „Schlagworte“ Motivation, Leistungsangst, Interesse und Neugier, Bekräftigung und Verstär- kung kommen nicht vor. Man könnte jedoch vermuten, dass diese Punkte mit der „Individuali- sierung“ im Orientierungsrahmen Niedersachsens abgedeckt werden sollen. Die Qualitätsbe- reiche 3-6 des niedersächsischen Orientierungsrahmes stehen auf einer Ebene (vgl. Abb. 1 im Anhang). Sie lauten Leitung und Organisation, Ziele und Strategien der Schulentwicklung, Bil- dungsangebote und Anforderungen, sowie Kooperation und Beteiligung. Diese 4 Punkte sind mit den Voraussetzungen Ditton‘s (1. Bedingungen und 2. Intentionen) vergleichbar.

Unterhalb dieser Qualitätsebene befindet sich noch das Schlagwort „Rahmenbedingungen“, welches mit einem roten Doppelpfeil mit der vorherigen Qualitätsebene verbunden ist. Diese wiederum ist auch mit einem Doppelpfeil mit der Qualitätsebene 2 verbunden. Von ihr führt ein einzelner Pfeil zur 1. Ebene, der Ergebnis-und Wirkungsebene. Hierdurch wird erkenntlich, dass alle Qualitätsebenen miteinander in Verbindung stehen und sich gegenseitig beeinflussen und daher nur bedingt getrennt betrachtet werden können. Durch die farbige Gestaltung von Rot über dunkles und helles Orange bis hin zu einem hellen Gelb ist eine Gewichtung innerhalb der Qualitätsebenen erkennbar. Im Vergleich zum bayerischen Qualitätstableau gestaltet sich der niedersächsische Orientierungsrahmen daher um einiges offener und „moderner“. Was bedeutet dies nun aber für die Praxis der Evaluation? Können aus den gegebenen Orientierungsmodellen wissenschaftlich auswertbare Indikatoren abgeleitet werden? Welche Evaluationsinstrumente stehen für die Untersuchung zur Verfügung und sind sie für die Datengewinnung geeignet? Welche positiven und/oder negativen Beobachtungen können hierzu gemacht werden? Dies soll im nachfolgenden Punkt behandelt werden.

3 Interne Evaluation - Praktischer Teil

In Form einer Evaluations-Simulation wurden im Seminar für zwei unterschiedliche Schulen aus dem Umkreis Weingarten, nach den Orientierungsrahmen beider Bundesländer, gewisse Evaluationskriterien sowie Indikatoren ermittelt und mithilfe eines Fragebogens untersucht. Dabei ging jede Steuergruppe nach dem Qualitätskreislauf oder Qualitätszirkel schrittweise vor (vgl. Kempfert, G./ Rolff, H.-G. 2000: 96 ff.).

3.1 Evaluationsschulen

Die Steuergruppe Bayern evaluierte an der katholischen freien Grund- und Werkrealschule des Bildungszentrums St. Konrad in Ravensburg. Die Schulform ist dabei eine Ganztagesschule mit Tagesheimbereich, die einen qualifizierten Hauptschulabschluss oder Mittleren Bildungs- abschluss ermöglicht. Die Schule arbeitet nach dem Marchtaler Plan, dem Rahmenplan für die Katholischen Freien Schulen in der Diözese Rottenburg-Stuttgart. Dieses Konzept hat wesent- liche Gedanken der Montessori-Pädagogik aufgenommen und verfolgt ein ganzheitliches Kon- zept, was allein schon daran erkennbar ist, dass das Fach Religion nicht gesondert unterrichtet, sondern ganzheitlich in den anderen Stunden inkludiert wird (vgl. https://www.schulstif- tung.de/paedagogik/marchtaler-plan/). Die Schule arbeitet unter dem Leitsatz: „Vernetzter Un- terricht nach dem Marchtaler Plan“. Diese besondere Unterrichtsform sollte zum Evaluations- gegenstand gemacht werden.

Die Steuergruppe Niedersachsen evaluierte am ländlichen Schulzentrum in Amtzell. Die unter- suchte Schulart war dabei die Gemeinschaftsschule, die einen Hauptschulabschluss sowie einen Mittleren Schulabschluss ermöglicht. Die Schulform bietet ebenso Ganztagesbetreuung an. Unter dem Leitsatz „Lebensnah lernen, sozial handeln und zukunftsorientiert denken“, möchte die Schule auf die veränderten Herausforderungen der Berufs- und Arbeitswelt im 21. Jahrhun- dert vorbereiten. Besonders interessant war die Schule aufgrund ihres Gemeinschaftsschulkon- zeptes, bei dem in Lerngemeinschaften mit Lernpartnern und Lernbegleitern, in Lernräumen mit individuellen Arbeitsplätzen (sogenannte „Input-Räume“) und mit Coachinggesprächen auf drei verschiedenen Niveaustufen, gelernt wird (vgl. http://www.schulzentrum-amtzell.de/Ler- nen.pdf).

3.2 Evaluationsbereich, Ziele, Kriterien und Indikatoren

Evaluiert wurden jeweils Kriterien aus dem Qualitätsbereich Unterricht. Jedoch unter verschie- denen Perspektiven. Die Steuergruppe Niedersachsen konzentrierte sich auf den Punkt Unter- richtsführung aus „Qualitätsbereich 2“ des Orientierungsrahmens aus der Perspektive der Lehr- kräfte. Die Steuergruppe Bayern hingegen untersuchte den Aspekt der Unterrichtsgestaltung aus dem Bereich „Prozessqualitäten Unterricht“ aus der Schülerperspektive. Anhaltspunkte hierfür fanden sich auf den jeweiligen Schulportalen der Länder. Dort werden Materialien zur Evaluation der schulischen und unterrichtlichen Prozesse, sowie für jedes Qualitätskriterium Instrumente, Anleitungen und Auswertungshilfen für jeden zugänglich zur Verfügung gestellt. Nachdem der Evaluationsbereich festgelegt war, mussten klare Qualitätsleitsätze gefunden werden. Ziel der Steuergruppe Bayern war es, herauszufinden, inwieweit im Unterricht vorhandene Lern- und Leistungsunterschiede berücksichtigt werden. Ziel der Steuergruppe Niedersachsen war es, herauszufinden, ob im Unterricht ein förderliches Lernklima besteht. Ob diese Ziele erreicht wurden, kann man nur überprüfen, indem man geeignete Kriterien dafür definiert. Aus den „Oberzielen“ bzw. den Teilaspekten der Qualitätsbereiche wurden daher ein- zelne Kriterien extrahiert, um den Untersuchungsgegenstand so eng wie möglich einzugrenzen. Für die Steuergruppe Niedersachsen lautet das Kriterium Lernklima, für die Steuergruppe Bay- ern Individuelle Unterstützung. Diese Kriterien müssen sie operationabel, d.h. wissenschaftlich nachvollziehbar, sein. Dies ist der Fall, wenn sie durch sogenannte Indikatoren beschrieben werden können, die bezogen auf die jeweiligen Ziele validiert werden können. Sie müssen spe- zifiziert, messbar, annehmbar, realisierbar und terminiert sein (SMART).

[...]

¹ Beide Konzeptionen befinden sich im Anhang unter Punkt 7.1 und 7.2

² Beide Modelle befinden sich zum Nachlesen im Anhang unter Punkt 6.3 und 6.4