Inhaltsverzeichnis

I.  Einleitung in das Thema Evaluation  

1.1.  Begriffsbestimmung  

1.2.  Definitionsversuche  

1.3.  Entwicklung des Diskussionsstandes  

II.  Was ist Evaluation?  

2.1.  Nutzen Von Evaluation  

2.2.  Fragestellungen als Schlüssel für gelingende Evaluation  

2.3.  Durchführbarkeit: Wer steuert die Evaluation?  

III.  Erhebungsmethoden  

3.1.  Evaluation- und Datenerhebungsplan  

3.2.  FIWE-Methode  

IV.  Evaluationsberichte  

4.1.  Zweck eines Evaluationsberichtes  

4.2.  Berichtszeitpunkt  

4.3.  Schlussbericht  

4.4.  Standards für die Evaluation von Programmen  

V.  Schlussbemerkung  

Literaturangaben   

2

I. Einleitung in das Thema Evaluation

Eine ganz allgemeine Frage mit der sich Evaluation beschäftigt, ist zum Beispiel die Frage: Wann findet die Evaluation überhaupt statt? Diese Art von Frage richtet sich nach der Entstehung und Entwicklung von Evaluation.

Warum findet Evaluation statt? Hier werden Begründungen und Ziele genauer hinterfragt. Was soll womit evaluiert werden? Diese Fragen beziehen sich auf den Gegenstandbereich und die Methoden der Evaluation.

Auch dürfen die Formen und die Zielgruppen auf keinen Fall außer Acht gelassen werden, da sie für die Evaluation ebenfalls eine wichtige Rolle spielen.

1.1. Begriffsbestimmung

Im Folgenden möchte ich den Begriff „Evaluation“ etwas genauer bestimmen. „Evaluation bedeutet, ein bestimmtes Projekt oder Programm dahingehend zu hinterfragen, ob und mit welchem Aufwand die Programmziele erreicht (bzw. nicht und warum nicht erreicht) wurden und welche (mehrdimensionalen: sozialen, ökonomischen, politischen etc.) Wirkungen das Projekt/Programm auf einen vorher bestimmten Praxis- oder Personenkreis hat“. 1

Man kann somit sagen, dass es in der sozialwissenschaftlichen Evaluationsforschung um den gezielten Einsatz sozialwissenschaftlicher Forschungsmethoden zur Verbesserung der Planung und laufenden Überwachung, sowie zur Bestimmung der Effektivität und Effizienz von Gesundheits-, Bildungs-, Sozialhilfe- und anderen sozialen Interventionsmaßnahmen geht.

Ziele finden und klären

Sogenannte Leitziele geben die Grundausrichtung des Programms oder Projekts an. Die Mittlerziele sind vom Leitziel aus der nächste Schritt der Konkretisierung. Sie stellen vom Handlungsziel aus die Anbindung an das Leitziel sicher.

Handlungsziele dienen der unmittelbaren Orientierung für die Praxis. Sie sind den einzelnen in der Praxis zu realisierenden Interventionen vorgeschaltet und sollen Handeln freisetzen.

¹ Bundesministerium für Familie, Senioren, Frauen und Jugend (Hrsg.):QS-Kompendium 1. Evaluation der

kulturellen Kinder- und Jugendarbeit. Berlin 2002. S.11

3

1.2. Definitionsversuche Nach Wholey (1984):

„Evaluierung misst Programmleistung (efficiency, effectiveness, responsiveness), führt Vergleiche aufgrund dieser Messung durch und nutzt diese entstandene Information für die politische Entscheidungsfindung und für das Management von Programmen“. ² Der Begriff Evaluation wird je nach seiner Zuordnung zu bestimmten Bereichen unterschiedlich akzentuiert.

So weichen die Verständnisse des Begriffes in den Natur-, Sozial- und Geisteswissenschaften je nach deren spezifischen Betrachtungsweisen und

Betrachtungsgegenständen voneinander ab.

Überträgt man die verschiedenen Betrachtungsweisen von Evaluation auf die (betriebliche) Erwachsenenbildung, so meint Evaluation die Bewertung der Wirksamkeit von Bildung. Man muss hier allerdings die in dem jeweiligen Bildungssystem vorherrschenden Wert- und Normvorstellungen berücksichtigen.

1.3. Entwicklung des Diskussionsstandes

Sozialwissenschaftliche Ansätze dienten als Vorbild für die Evaluation von pädagogischen Gegenständen. Die sozialwissenschaftlichen Ansätze wollten ursprünglich die Wirksamkeit sozialer Reformprogramme untersuchen, wie man sie heute in der Entwicklungs- und Sozialpolitik vorfindet.

Die pädagogische Evaluation begann in den fünfziger Jahren vorerst in den Schulen. Es handelte sich um die Curriculumevaluation. In den sechziger Jahren etablierte sich diese Form der Evaluation in den USA.

Erst etwa zehn Jahre später zeigte sich in der Bundesrepublik Deutschland ein verstärktes Interesse an Evaluierungsforschung, und zwar im Zusammenhang mit der Curriculum-Diskussion. In dieser Zeit entstanden auch die ersten diesbezüglichen Modellversuche und Veröffentlichungen.

² Götz, Klaus. Zur Evaluierung beruflicher Weiterbildung. Band 1. Weinheim 1998. S.24

4

Einen weltweit starken Anstieg hat die Evaluationsforschung allerdings erst seit den siebziger Jahren zu verzeichnen. Gegenwärtig ist sie eines der größten Wachstumsfelder in der amerikanischen Sozialwissenschaft.

Evaluationen wurden auch durchgeführt mit dem Ziel der Beeinflussung und Steuerung von politischen und pädagogischen Entscheidungen. Sie konnten im positiven wie im negativen Sinn gebraucht oder auch missbraucht werden.

Seit dem Ende der achtziger Jahre gewinnt die pädagogische Evaluation in der Bundesrepublik Deutschland an Interesse. Ihren Erkenntnisgewinn erhält sie vorwiegend aus empirischen Methoden.

Die historische Entwicklung der pädagogischen Evaluierungsforschung hat gezeigt, dass sich erste umfangreiche Ansätze und theoretische Modelle erst nach dem zweiten Weltkrieg zu entwickeln begannen.

5

II. Was ist Evaluation?

Definition:

„Die systematische Sammlung und Analyse von nicht routinemässig verfügbaren Informationen über verschiedene Aspekte eines gegebenen Studienobjekts [ ... ], um seine kritische Beurteilung zu ermöglichen. Kurz: der Prozess zur Bestimmung des Wertes, Vorzugs, der Rechtfertigung und/oder der Bedeutsamkeit einer Sache“. 3

Monitoring:

„Im Kontext der Projekt- bzw. Programmevaluation handelt es sich um die routinemässige Kontrolle der gemachten Fortschritte, gemessen an gegebenen Zielen, wie z.B. die jährlich durchgeführte Zählung der TeilnehmerInnen eines Kurses. Monitoring wird normalerweise nicht dafür eingesetzt, die Ziele, die Relevanz oder den Sinn einer Maßnahme zu überprüfen“. 4

Das Monitoring wird oft auch als „kleine Schwester der Evaluation“ bezeichnet. Typische Evaluationsgegenstände aus dem Bereich pädagogischer und sozialer Arbeit sind beispielsweise Veranstaltungen, Kurse, Projekte und Seminare. In der Evaluationstheorie werden diese „Programme“ genannt (Programmevaluation). Beispiele für Programmevaluation sind Ferienfreizeiten, Gruppenleiterkurse und Modellprojekte.

Ein Programm besteht aus einem fixierten, verschriftlichten Plan oder dessen Umsetzung in die Praxis oder in Handeln. Im Programmplan sind die Ziele und Vorhergehensweisen der Praxis konkret vorweggedacht. Die Programmumsetzung selbst unterliegt vielen finanziellen, personellen und politischen Rahmenbedingungen, die lediglich teilweise voraussehbar sind. Es werden jeweils kleinere oder größere Programme für jeden Evaluationstyp benötigt.

Die Grundelemente eines Programms sind folgende:

1. Ausgangssituation

³ http//iol3.uibk.ac:8080/pub/evaluation/glossar_evaluation.pdf (22.06.2003; 19:17Uhr)

⁴ http//iol3.uibk.ac:8080/pub/evaluation/glossar_evaluation.pdf (22.06.2003; 19:17Uhr)

6

2. Aktivitäten

3. Resultat

Die Untersuchungen in der Evaluation richten sich auf alle drei Elemente. Die spezifischen Fragestellungen zu jedem einzelnen Punkt könnten folgendermaßen aussehen.

In der Ausgangssituation sind Fragen angemessen, wie:

In welcher Verfassung waren die Mitglieder der Zielgruppe vor Beginn des Programms? Was wussten sie? Wie waren ihre Einstellungen? Wie handelten sie?

Bei den Aktivitäten können sie folgendermaßen aussehen:

Welche Aktivitäten/Interventionen sind durchgeführt worden, welche nicht oder nur teilweise?

Wie viele haben als Helfer, Ehrenamtliche, Berater mitgearbeitet? Wie viele Mitglieder der Zielgruppe haben teilgenommen, in welcher Altersmischung usw.? Beim Resultat sind Fragen sinnvoll, wie: Was ist dabei herausgekommen?

Ist das Ziel erreicht, sind die angestrebten Wirkungen ausgelöst worden? In welcher Verfassung befindet sich die Zielgruppe am Ende/nach Abschluss des Programms?

2.1. Nutzen von Evaluation

Neuere Evaluationsansätze sind nicht mehr nur rückwärts gewandt, sondern auch vorwärts, das heißt, sie sind auch zukunftsorientiert.

Evaluation kann als Planungsinstrument dienen oder als Untersuchungsinstrument.

7