Evaluation (-sforschung)

Inhaltsverzeichnis

Abkürzungsverzeichnis

1 Einleitung

2 Historie

3 Begriffserklärungen
3.1 Evaluation
3.2 Evaluationsforschung

4 Methodik

5 Notwendigkeit qualitativer Evaluationsforschung

6 Kritik

7 Resümee

8 Quellenverzeichnis

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

1 Einleitung

Es gibt viele offene Fragen zu diesem Thema. Einige wichtige, stark diskutierte Themen hierzu sind folgende:

Einerseits wird zwischen Evaluation (E) und Evaluationsforschung (EF) unterschieden, wie es z.B. C. Lüders tut, und andererseits verwenden andere, bspw. R. Stockmann, diese Begriffe synonym. Weiterhin wird Evaluation als eigener Forschungstyp gesehen, bspw. wie bei C. Lüders, oder als Feld der angewandten Sozialforschung (SF) betrachtet, wie z.B. bei Bortz & Döring oder E. v. Kardorff.^[1] Zudem befindet sich die qualitative Evaluationsforschung (QLEF) derzeit in einer verzwickten Lage. Zum einen erlebt sie gegenwärtig einen enormen Bedeutungszuwachs, insbesondere im deutschsprachigen Raum für unterschiedliche Felder wie die Kinder- und Jugendhilfe, die Seniorenarbeit usw. Hierfür fordern Politik, Fachwelt und Öffentlichkeit stets Evaluation ein, regen sie an und fördern sie mit z.T. hohen Geldsummen, wobei allerdings sehr unterschiedliche Interessen im Spiel sind. Zum anderen erweckt die allgemeine Nachfrage und die gegenwärtige Wertschätzung von Evaluation den Anschein, dass sie eine ausdifferenzierte und etablierte Forschungslandschaft besitzt, obwohl das nicht der Fall ist.

Gegenwärtig ist die Evaluationsforschung in nahezu jeder Hinsicht ein Entwicklungsprojekt, das in besonderer Weise für das Feld der qualitativen Evaluationsforschung gilt. Mit der Formulierung der qualitativen Evaluationsforschung wird deutlich, dass sich mit jedem Begriffselement viele Herausforderungen und offene Fragen ergeben. Hinzu kommt, dass ein hierarisches Verhältnis zwischen der wissenschaftlich, theoriegeleiteten Grundlagenforschung und der wissenschaftlich vermeintlich weniger seriösen Praxisforschung besteht. Auf diese Statushierarchie wird immer wieder zurückgegriffen, wenn es um die Verteilung von öffentlichen Ressourcen und um die öffentliche Anerkennung von Forschung geht.^[2]

Diese Ausarbeitung soll einige, aber nicht alle kontrovers diskutierten Spannungsfelder, Probleme, offenen Fragen usw. der Evaluation und Evaluationsforschung betrachten. Sie stellt den Versuch dar, trotz der vielen Ungereimtheiten einen verständlichen Überblick über diese Thematik zu schaffen.

Zunächst richtet sich der Fokus auf die historische Entwicklung der Evaluation. Ausgehend von den USA wird die Bedeutung der Evaluation auch in Deutschland kurz erläutert. Im Folgenden wird anhand der „Evaluationsstudie erzieherischer Hilfen“ (EVAS) die Evaluation erklärt. Auch auf die Evaluationsforschung wird kurz und prägnant eingegangen, mit anderen Forschungstypen verglichen, ihre Vielzahl an Aktivitäten genannt usw. Daraufhin steht die Methodik der E im Vordergrund. Hierbei soll es sich ausschließlich um qual. und quan. Methoden handeln und deren Verhältnis zueinander. Zudem erscheint die weitere Ausformulierung notwendig, was unter qual. EF zu verstehen ist. Das Kapitel 5 beschäftigt sich demnach mit der Verknüpfung von qual. mit Forschung. Daraus ergeben sich mehrere Spannungsfelder und Probleme. Das folgende Kapitel befasst sich daher mit einigen davon. Schließlich fasst das letzte die vorherigen Kapitel kurz zusammen und versucht, einen Blick auf die zukünftige Weiterentwicklung der EF in Deutschland zu lenken.

2 Historie

Die EF hatte ihre Anfänge in den ersten Intelligenztests zu Beginn des 20. JH und ihren ersten Höhepunkt in den 1930er Jahren in der vergleichenden Messung von Schulleistungen in den USA.^[3] Zu dieser Zeit entwickelte sich die EF in den USA u.a. zu einem integralen Bestandteil der Sozialpolitik.^[4]

Seit den 1960er Jahren hat die EF auch in Deutschland wachsende Bedeutung gewonnen. Diese nahm zu, als die Staatshaushalte knapper und mehr Dienstleistungen auf den Prüfstand gestellt wurden, die ihre Leistungen gegenüber Geldgebern und Nutzern nach Kriterien wie Wirksamkeit, Effizienz, Nutzen, Relevanz, Kosten usw. bewerten lassen. Ab Mitte der 60er Jahre wurde vor dem Hintergrund der sozialdemokratisch-gewerkschaftlichen Reformpolitik in der BRD eine neue Phase empirisch-soziologischer Untersuchungstätigkeit angeregt. Institutionelle Defizite ESF wurden u.a. durch Institutsneugründungen, bspw. das Institut für sozialwissenschaftliche Forschung in München 1965, sowie durch Institutsneubelebungen, wie z.B. die Sozialforschungsstelle in Dortmund, die 1972 als Landesinstitut wiedererrichtet wurde, ausgeglichen. In den USA sollten durch Interventionsprogramme immer dringlicher werdende soziale Probleme unter Kontrolle gebracht und deren Wirksamkeit beurteilt werden. Am bekanntesten war das Programm „War Against Poverty“ von 1964, das materielle Nöte weiter Teile der Bevölkerung lindern und auch neue Formen der Demokratie und Mitbestimmung auf kommunaler Ebene einführen sollte. Ausgehend davon entstand auch in Deutschland die sog. EF.

Daraufhin folgten in der BRD in den 70er Jahren viele einer E unterzogenen Programme, z.B. Vorschulprogramme, Maßnahmen im Rahmen des Arbeitsförderungsgesetzes, Modellversuche zur Integration ausländischer Kinder und Jugendlicher. Somit bot sich die Chance, erstmals praktisch relevante Fragestellungen experimentell testen und empirisch begleiten zu können.

Seit Beginn der 80er Jahre hat sich eine immer stärkere Hinwendung zu qual. Evaluationsmethoden vollzogen. Damit verbunden ist die Betonung der Rolle des Evaluierenden als Teil eines sozialen Interaktionsprozesses, seine Interessengebundenheit und die Sichtweise einer beratungsorientierten SF. Dadurch

wird die weitgehende Beschränkung qual. E auf Projekte mit lokalem Bezug verständlich. Allerdings führte dieser Ansatz zu keiner qual. E, deren Ergebnisse öffentlich diskutiert wurden oder die in der Literatur als beispielhaft gewertet wird. Besonders die quan. Datenerhebungsmethoden, die statistischen Verfahren bei der Datenanalyse und vor allem das bessere Verständnis für die statistischen Folgen von Designentscheidungen scheinen den Herausforderungen einer seriösen Programmevaluation eher gewachsen zu sein.^[5]

Aktuell gibt es kaum einen Bereich öffentlicher Dienstleistungen, der nicht mit einer systematischen E verbunden ist, bspw. von der Lehre in den Universitäten zur international vergleichenden E des deutschen Bildungssystems in der PISA – Studie zu den Dienstleistungen im Gesundheits- und Sozialwesen oder auch der Umweltpolitik. Im Unterschied des deutschen zum englischen Sprachraum gibt es bislang kaum Publikationen zu einer QLEF.^[6]

3 Begriffserklärungen

Zunächst werden E und EF getrennt voneinander betrachtet.

3.1 Evaluation

Der Begriff der E ist sehr vielfältig. Daher hat sich eine große Zahl von beschreibenden Begriffserläuterungen etabliert. Eine Definition lautet: „Die Evaluation weist einer Intervention einen bestimmten Wert zu, indem sie relevante, zuverlässige und valide Daten systematisch ermittelt sowie Vergleiche durchführt mit dem Ziel, informiertere Entscheidungen zu treffen oder Kausalzusammenhänge oder allgemeine Prinzipien zu

verstehen.“^[7] Diese Definition beinhaltet wichtige Merkmale der E, aber ist nicht allzu leicht zu verstehen. Aus diesem Grund soll im Folgenden anhand der EVAS^[8] erläutert werden, was E ist.

Im Allgemeinen stellt die „Intervention“ die Sache oder den Prozess dar, dessen Wert beurteilt werden soll. Das „Evaluierte“ können Interventionen, Dienstleistungen,

strategische Entscheidungen usw. sein, die in ihrem Wesen und ihrer Struktur nach sehr unterschiedlich sind. Daher ist die Definition des UG der E sehr wichtig, weil dessen Wert eingeschätzt werden soll.^[9] Im Fall der EVAS wurden über Jahre hinweg Maßnahmen geschaffen, um in Kinder- und Jugendhilfeeinrichtungen eine systematische Qualitätsentwicklung zu ermöglichen. Ob diese konkreten Verbesserungsmaßnahmen in der Praxis initiiert werden können, wird durch die E geprüft.^[10]

In diesem Vorgang kann der Intervention ein Wert zugeordnet werden, indem Informationen über den UG zuverlässig, valide und in systematischer Weise zu dem Zweck gesammelt werden, um den Wert zu beurteilen.^[11] Als Erhebungsinstrumente zur Erfassung der Daten der Kinder und Jugendlichen fungieren Papierfragebögen sowie elektronische Fragebögen. Die Bögen werden im Institut für Kinder- und Jugendhilfe halbjährlich ausgewertet.^[12]

Nach der Wertzuordnung findet ein Vergleich mittels bestimmter Kriterien statt. Auch bei der EVAS – Datenanalyse ergeben sich verschiedene Vergleichsmöglichkeiten bzw. –ebenen. Zum Nutzen solcher Vergleichsmöglichkeiten liegen eine Reihe von Erfahrungen aus der Praxis vor. Bspw. ermöglicht der Vergleich zwischen dem übergreifenden mit dem spezifischen Gesamtbericht der Hilfearten, z.B. §§ 27 ff. Hilfen zur Erziehung, Aussagen über die Effekte der einzelnen Hilfearten im Vergleich zu den anderen Hilfearten und zum durchschnittlichen Effekt der Gesamthilfen.^[13]

Die E funktioniert, wenn sie die Kriterien aufdeckt, die bei einem Werturteil zum Tragen kommen. Bei der Formulierung eines Werturteils kann entschieden werden, ob diese Kriterien akzeptierbar sind und welche Bedeutung ihnen zugeordnet werden. Dabei spielt die Machbarkeit und die Auswirkungen verschiedener Aktivitäten eine bedeutende Rolle.^[14] Die EVAS z.B. werden als Dokumentations- und Qualitätsentwicklungsverfahren der Kinder- und Jugendhilfe verwendet, um einen entscheidenden Beitrag zur Verbesserung der Struktur-, Prozess- und Ergebnisqualität innerhalb der jeweiligen Einrichtungen zu gewähren. Hinzu kommt, dass sie sinnvoll in den Arbeitsalltag integriert werden soll, z.B. können Aufnahmegespräche eine nützliche Ergänzung sein oder für eine sinnvolle Komprimierung von Daten sorgen.^[15]

Der wichtigste Zweck einiger E besteht darin, wissenschaftliche Erkenntnisse bzw. Resultate zu erzielen und zu generieren, die über untersuchte spezifische Interventionen hinaus generalisiert werden können.^[16] Bspw. wurde im Hinblick auf den Einfluss der Strukturqualitätsdimensionen gefragt, wie Fähigkeiten und Fertigkeiten in der Kinder- und Jugendhilfe gefördert werden können. Es zeigt sich, dass die Förderung von Ressourcen zumeist im Rahmen eines möglichst breiten und umfassenden Methodenspektrums, d.h. durch das Angebot von vielfältigen pädagogischen und therapeutischen Interventionen, gelingt.^[17]

Zusammenfassend kann der Begriff der E als systematische, datenbasierte und kriterienbezogene Bewertung von Programmen, Projekten und einzelnen Maßnahmen bezeichnet werden, die zu einer rationaleren Entscheidungsfindung über die Fortführung oder Umgestaltung des UG beitragen soll.^[18]

[...]

^[1] Vgl. Flick 2004, S. 13 in Flick

^[2] Vgl. Lüders 2004, S. 33ff. in Flick

^[3] Vgl. Kardorff 2004, S. 66

^[4] Vgl. Bortz/Döring 2003, S. 101

^[5] vgl. Schnell et al. 2005, S. 44f.

^[6] Vgl. Flick 2004, S. 12f.

^[7] Zitat: Øvretveit, 2002, S. 25

^[8] EVAS ist eine Abkürzung für „Evaluationsstudie erzieherischer Hilfen“. Laut vgl. Macsenaere/Knab 2004 ist EVAS das zurzeit größte Qualitätsentwicklungsverfahren in der Kinder- und Jugendhilfe. Mittlerweile nehmen bundesweit und trägerübergreifend 150 Einrichtungen und Dienste daran teil. EVAS zeigt die Effekte der Kinder- und Jugendhilfe auf, ermöglicht damit der Praxis eine wirkungsorientierte Steuerung und ermöglicht somit konkrete Verbesserungsprozesse in der Praxis.

^[9] vgl. Øvretveit, 2002, S. 25

^[10] vgl. Macsenaere/Knab, 2004, S. 7

^[11] vgl. Øvretveit, 2002, S. 26

^[12] vgl. Macsenaere/Knab, 2004, S. 26f.

^[13] vgl. Macsenaere/Knab, 2004, S. 35f.

^[14] vgl. Øvretveit, 2002, S. 27

^[15] vgl. Macsenaere/Knab, 2004, S. 42, 45, 48

^[16] vgl. Øvretveit, 2002, S. 27

^[17] vgl. Macsenaere/Knab, 2004, S. 55

^[18] vgl. Fachlexikon der Sozialen Arbeit 2002, S. 301