1. Einführung

Der Ruf nach Evaluation des deutschen Bildungssystems und darauf aufbauender Qualitätssicherung, oder in diesem Zusammenhang passender, Qualitätsverbesserung ist spätestens seit der jüngsten Veröffentlichung der PISA-Studie 2000 ¹ wieder verstärkt zu hören. Das schlechte Abschneiden deutscher SchülerInnen ² hatte eine Art Schockwirkung sowohl auf Verantwortliche in Regierung, Kultusministerien und Schulen als auch auf Lehrer und Eltern. Offensichtlich liegt die Qualität der Lehr-Lern-Betriebe weit hinter denen vieler anderer Länder. Die Frage drängt sich auf, warum das so ist.

An diesem Punkt kann die Evaluationsforschung ansetzen. Sie hat speziell im Bereich des Bildungs- und Erziehungswesens die Aufgabe, pädagogische Maßnahmen, Programme und Handlungen wissenschaftlich zu beschreiben, zu bewerten und anhand dessen eine Empfehlung zur Qualitätssicherung und/oder Verbesserung zu geben.

Diese Hausarbeit soll dazu einen Überblick über Evaluationsforschung und ihre verwendeten Methoden geben. Die theoretisch erläuterten Kenntnisse werden zudem exemplarisch am Beispiel eines konkreten, praktischen Beispiels veranschaulicht (MSL-Materialgestütztes Selbstgesteuertes Lernen). Die Arbeit beginnt mit dem zweiten Kapitel und einer kurzen Einführung in die Entstehung der Evaluationsforschung, um deren Relevanz für pädagogische Felder aufzuzeigen.

Im dritten Kapitel werden die für die Evaluationsforschung wichtigsten Forschungsmethoden vorgestellt. Der Aufmerksamkeit liegt dabei hauptsächlich auf der qualitativen Sozialforschung. Es werden die wichtigsten wissen-schaftstheoretischen Positionen und Methoden erläutert, die der qualitativen Sozialforschung zugrunde liegen. Zusätzlich wird auf die Frage eingegangen, ob und wie sich qualitative und quantitative Ansätze sinnvoll kombinieren lassen.

¹ Die internationale Schulleistungsstudie PISA (Programme for International Student Assessment) ist ein

Projekt der OECD (Organization for Economic Co-operation and Development) und soll Auskunft über

die schulischen Fähigkeiten von 15-jährigen Jugendlichen in den teilnehmenden Staaten (2000: 31

Länder) geben. Sie ist damit selbst eine der größten Evaluationstudien der Welt. Die Auswertungen der

PISA-Studie 2003 sind zur Zeit noch nicht verfügbar.

² In der PISA -Studie 2000 lag Deutschland auf Platz 21.Vgl. IPN oder Max-Planck-Inst. (beides Internet).

2

Im vierten Kapitel werden wichtige Aspekte der Evaluationsforschung ³ behandelt und dabei verschiedene Modelle und der wissenschaftliche Ablauf einer Evaluation vorgestellt.

Ausgehend von diesen theoretischen Erläuterungen wird im fünften Kapitel anhand eines einfachen, praktischen Beispiels der mögliche Ablauf einer Evaluation exemplarisch aufgezeigt. Abschließend folgt das Schlusswort mit einer persönliche Einschätzung z ur Relevanz von Evaluation im deutschen Bildungssystem.

2. Die Entstehung der Evaluationsforschung

Die für den Bildungs- und Erziehungsbereich relevante Evaluationsforschung hat ihren Ursprung in den USA der dreißiger Jahre des 20. Jahrhunderts und lässt sich in fünf Entwicklungsphasen unterteilen. Die im Folgenden aufgezeigte Entwicklung der Evaluationsforschung bezieht sich auf die USA, wo Evaluation im Bildungswesen im Gegensatz zu Deutschland eine lange Tradition hat und schon seit den siebziger Jahren als eigenständige Disziplin anerkannt ist. Daher scheint diese Entwicklung zur Verdeutlichung der sich verändernden Ziele und Aufgaben von Evaluationen geeignet, zumal in Deutschland und den USA heutzutage sehr ähnliche Ansprüche an Evaluationsforschung gelten.

Die erste Phase wurde von R.W. Tyler geprägt, der oft als Begründer der Evaluationsforschung genannt wird. ⁴ Er brachte einen entscheidenden neuen Aspekt in die Entwicklung der Evaluation ein. Er interessierte sich wenig für standardisierte Tests, wie z.B. Intelligenztests als Evaluation von Leistung, die bis dahin typisch für Evaluationen und vor allem auf Vergleichbarkeit ausgerichtet waren. Er wollte dagegen überprüfen, ob bestimmte Bildungsprogramme auch ihre Ziele erreichten. Diese „lernzielgesteuerte Curriculumevaluation“ ⁵ wurde bis in die fünfziger Jahre ausgebaut und hatte damit schon die Phase der reinen Messung von Ergebnissen oder Zahlen überwunden.

³ Im folgenden werden Evaluationsforschung und Evaluation gleichwertig verwendet.

⁴ Vgl. Spanhel 2001

⁵ Vgl. ebd.

3

Die zweite Phase begann Anfang der sechziger Jahre und mit ihr eine regelrechte Welle vo n Evaluationsmaßnahmen. Ausgelöst durch den Sputnik-Schock ⁶ und das Umdenken, dass im Zuge einer Chancengleichheit auch die Bildungschancen für sozial benachteiligte Kinder verbessert werden sollten, wurden zahlreiche Sozial- und Bildungsmaßnahmen gestarte t. Alle waren fortan mit der Auflage verbunden, die Wirkung der Programme zu überprüfen. Bis Anfang der siebziger Jahre hinein war diese summative Evaluation (vgl. 4.3) Standard. Die Maßnahme selbst blieb als Objekt für eine Evaluation erst einmal unbeachtet.

Die dritte Phase erst zu Ende der sechziger Jahre markierte langsam den Wandel von reinen Evaluation der Wirkungen hin zur Evaluation von Prozessen. Die Lehr- und Lernprozesse bzw. deren Qualität wurde vermehrt zum Evaluationsobjekt. Im Zuge dessen w urden erstmals auch methodologische Aspekte wie Kriterien oder Validität der Bewertung beachtet. Die vierte Phase in den achtziger Jahren setzte diese Verfeinerung in der methodischen Weiterentwicklung der Evaluationsforschung fort. Die Instrumentarien wurden verfeinert und vielfältige Evaluationsmodelle entwickelt, die erstmals auch den Kontext der zu evaluierenden Objekte beachtete. Ein Modell, die responsive Evaluation ⁷ , rückte erstmals die Ansprüche und Interessen der Beteiligten und Betroffenen in den Mittelpunkt. Anlaß für diese Entwicklung war die Erkenntnis, dass sich theoretisch evaluierte Lehrkonzepte in der Praxis oft nicht umsetzen ließen, weil sie einfach an der Realität vorbei gingen.

In der fünften und noch andauernden Phase rücken die Interessen der Beteiligten immer weiter in den Vordergrund. Die Intention dabei ist, praxisnahe und realistische Erkenntnisse zu finden und durch einen rationalen Diskurs ⁸ für die Weiterentwicklung und Optimierung von Lehrkonzepten und deren Qualität zu nutzen.

⁶ Als Sputnik-Schock wurde die Tatsache bezeichnet, dass die UdSSR im Wettrüsten der fünfziger und

sechziger Jahre zwischen Ost und West die westliche Welt schockte, indem sie 1957 als erstes Land einen

Satelliten in die Erdumlaufbahn schickten und somit bewiesen, über funktionsfähige Interkontinental-

Raketen zu verfügen. Den USA war dies zu dem Zeitpunkt nicht möglich und das wirkte sich auf das

Selbstbewusstsein der ganzen Nation aus - und auf Entwicklungen im Bildungssektor. Vgl. http://is.uni-

sb.de/studium/handbuch/exkurs1.php

⁷ Responsive Evaluation ist ein Beispiel für beteiligteninteressengesteuerte Evaluationsmo delle (vgl. 4.3)

⁸ Vgl. Henninger 1999

4

Heute wird Evaluation als beständiger Lehr- und Lernprozess verstanden, der vor dem Hintergrund von sich schnell verändernden gesellschaftlichen und bildungspolitischen Bedingungen rasch und effektiv Anpassungen oder Verbesserungen bewirken kann.

3. Qualitative und quantitative Sozialforschung im Vergleich

Der qualitative Forschungsansatz ist besonders wichtig und interessant, wenn es darum geht, Handlungen, Strukturen und Intentionen von zumeist Menschen deutend verstehen zu wollen - im Gegensatz zur qualitativen Sozialforschung, die etwas kausal erklären will, standardisiert und zumeist von größerer Distanz aus nach fest formulierten Hypothesen erforscht. Qualitative Methoden hingegen ermöglichen es, „nicht von außen ihrem Gegenstandsbereich Erklärungen überzustülpen, sondern ihn selbst, nämlich die sinnvoll handelnden Individuen, möglichst weitgehend in den Forschungsprozeß strukturierend hineinwirken zu lassen.“ ⁹ Damit bieten qualitative Forschungsmethoden gerade in jenen wissenschaftlichen Zweigen e ine Möglichkeit zur Erforschung von Problemen und Phänomen, die über die bloße

Beschreibung hinaus eine Qualitätssicherung und Optimierung zum Ziel haben. Auch die quantitative Sozialforschung kann Problemlösung zum Ziel haben, wobei der Vorteil der qualitativen Methoden darin besteht, näher am Forschungsgegenstand zu sein, flexibler reagieren und tiefer verstehen zu können. Dies ist besonders im Bereich des Bildungswesens hilfreich. Trotzdem kann unter bestimmten Umständen eine Kombination qualitativer und quantitiver Methoden sinnvoll und hilfreich sein. Zunächst soll ein kurzer Einblick die den qualitativen Ansätzen zugrunde liegenden Überlegungen folgen.

3.1 Wissenschaftstheoretische Positionen zur qualitativen Sozialforschung

Ein wichtiges verbindendes Element der verschiedenen Strömungen qualitativer Sozialforschung ist die Annahme, dass alles vom Menschen sinnhaft

⁹ Heinze 1987, S. 8

5

vorstrukturiert ist. Der Sinn, nicht die Ausprägung oder Häufigkeit beispielsweise einer Handlung soll empirisch möglichst genau erfasst werden, dabei kann sowohl das Verstehen als auch das Beschreiben im Vordergrund stehen. Allen Gleich ist die Absicht (in Abgrenzung zur quantitativen Forschung), am Einzelnen das Ganze aufzuzeigen.

Die Hermeneutik in der Geisteswissenschaft interpretiert literarische und historische Texte. Zugrunde liegt die Annahme, dass immer ein gewisses Vorverständnis vorhandens sei und dieses Schritt für Schritt überprüft werden und gegebenenfalls revidiert müsse. Dieser sogenannte hermeneutische Zirkel soll solange fortgesetzt werden, bis keine neuen Aspekte mehr entdeckt werden. Zum Verständnis von Texten werden vertiefende Studien von Text und Umfeld vorgenommen. 10

Die Verstehende Soziologie, deren wichtigste Vertreter Max Weber und Georg Simmel sind, beschäftigt sich mit dem sozialen Handeln des Menschen. Laut Max Weber handelt der Mensch immer „subjektiv sinnvoll“. Soziales Handeln orientiert sich demnach am Verhalten anderer. Die verstehende Soziologie will dieses „soziale Handeln deutend verstehen und dadurch in seinem Ablauf und seinen Wirkungen ursächlich erklären.“

Die Phänomenologie erforscht vor allem die Alltags- und Routinehandlungen. Das zu untersuchende Phänomen soll aus der Perspektive des Untersuchungsgegenstands selbst gesehen werden. Dabei soll jegliches Vorwissen ausgeklammert werden, um das Phänomen besonders rein betrachten zu können. Es handelt es sich hierbei um eine bloße Beschreibung des Untersuchungsobjekts, ohne dass der Forscher etwas von Außen heranträgt. Wichtigste Vertreter dieser Richtung s ind Edmund Husserl und Alfred Schütz.

Die Wissenssoziologie erforscht kollektives Handlungs-und

Orientierungswissen. Diese individuellen Handlungen und das Sinnverstehen sind „Dokumente“ kollektiver Muster. Ziel der modernen Wissensoziologie ist

¹⁰ Vgl. im folgenden Blaumeiser.

6

nach Karl Mannheim (1952) die Erforschung solcher sozialer oder historischer Dokumente.

Die Psychoanalyse will nicht nur äußerlich sichtbare Sachverhalte verstehen, sondern Zusammenhänge, Unterbewusstes und Verborgenes erforschen wie z.B. Beziehungsaspekte und l atente Bedeutungen. Szenisches Geschehen, Träume und Psychopathologien des Alltags sollen Hinweise auf verborgene Sinnstrukturen geben.

Symbolischer Interaktionismus (Chicagoer School) bezeichnet die Bedeutung von sozialer Identität und symbolbehafteter Interaktion für das Handeln. Soziale Identität wird in der jeweiligen Sozialordnung ausgebildet und macht es möglich Rollen situativ zu deuten und kenntlich zu machen. Vor diesem Hintergrund untersuchte die Universität von Chicago zu Beginn des 20. Jahrhunderts zahlreiche soziologische Probleme der Großstadt. In der Interaktions- und Identitätstheorie von George Herbert Mead gilt der Forschungsprozess als soziale Interaktion und fremdverstehende Interpretation.

Die Ethnomethodologie hat die Ansätze der Ethnologie übernommen, deren Methode der Übertrag des Wissen über Naturvölker auf Industriekulturen ist. Die „dokumentarische Methode der Interpretation“ verlangt z.B. im Interview die Berücksichtigung des sozialen und situativen Kontexts und wird u.a. mit Hilfe von Krisenexperimenten zur Erforschung von Subkulturen verwendet. Einer der wichtigsten Vertreter ist Harold Garfinkel.

Die Kritische Theorie der Frankfurter Schule ist zugleich

Gesellschaftsanalyse und Gesellschaftskritik. Die wichtigsten Ansprüche der Kritischen Theorie sind Selbstreflexivität, gesellschaftliche Relevanz, empirische Bewährung und Interdisziplinarität. So wurde beispielsweise versucht, durch Integration der Psychoanalyse eine materialistische Sozialpsychologie zu entwickeln.

7

3.2 Qualitative Methoden

Die Besonderheit der qualitativen Sozialforschung liegt darin, dass sie an der Untersuchung von subjektiven Deutungsmustern und Handlungsbegründungen interessiert ist. Der Untersuchungsgegenstand wird dabei nicht nach dem Kriterium der Repräsentativität ausgewählt, sondern nach theoretischen Interessensaspekten. Ziel ihres Interesses sind meistens komplexe, oft nicht klar abzugrenzende Forschungsfelder, die im Gegensatz zur quantitativen Forschung keine Reduzierung auf wenige ausgewählte Aspekte zulassen und erfordern daher flexible Untersuchungsmethoden. Qualitative Studien zeichnen sich daher durch einige Eigenschaften aus, die sie vom quantitativen Forschungsansatz klar abgrenzen. Zunächst einmal gehen qualitativ Forschende nicht deduktiv, sondern induktiv vor - sie führen vom Besonderen auf das Allgemeine. Das setzt voraus, dass man sich eingehend mit dem Besonderen oder Einzelnen beschäftigt und das Beobachtete versteht. Um dies zu erreichen, muß sich der Beobachter oder Forscher flexibel auf den Untersuchungsgegenstand einlassen können. Voraussetzung dafür ist geringe oder nicht vorhandene Standardisierung der Forschungsinstruments und des Forschungsablaufs. Wichtig ist auch ein Mindestmaß an Nähe zum Forschungsobjekt, die bis hin zur Identifikation mit dem Beobachteten gehen kann. Auch das Ziel, am Ende den zu untersuchenden Sachverhalt gänzlich zudarstellen unterscheidet sich von dem der quantitativen Forschung, bei der nur festgelegte Aspekte erfasst und vorher entwickelte Theorien überprüft werden sollen. Dagegen liegt beim quantitativen Ansatz zwar auch der Untersuchungsgegenstand, ist aber nicht durch eine vorformulierte Theorie fest bestimmt. Mögliche Theorien entwickeln sich erst während der Forschung und können die Ausgangsannahme auch währenddessen modifizieren, weil es keine Fixierung auf bestimmte Aspekte gibt. Qualitative Studien eignen sich also eher für neue Forschungsgebiete oder bisher wenig bearbeitete Forschungsfelder, um explorierend Hypothesen zu generieren. Oft bilden die Ergebnisse dieser Studien den Ausgangspunkt für repräsentative, quantitative Folgestudien.

Zur Erforschung oder Explorierung von neuen oder vage umrissenen Feldern gibt es nun eine Reihe von qualitativen Methoden, die hier aber nicht vollständig aufgeführt werden sollen. Erläutert werden hier die Methoden, die am

8