Evaluationsforschung. Ein Überblick


Studienarbeit, 2007
43 Seiten, Note: 1,7

Leseprobe

Inhaltsverzeichnis

Vorwort

2 Einleitung

3 Historische Einordnung

4 Evaluationsforschung
4.1 Allgemeines zur Evaluationsforschung
4.2 Evaluatoren
4.3 Evaluationsstandards und Guiding Principles

5 Planung einer Evaluation
5.1 Wahl der Untersuchungsart
5.1.1 Evaluation durch Erkundung
5.1.2 Evaluation durch Populationsbeschreibung
5.1.3 Evaluation durch Hypothesenprüfung
5.2 Operationalisierung von Maßnahmewirkungen
5.2.1 Varianten für unabhängige Variablen
5.2.2 Erfassung der abhängigen Variablen
5.2.3 Überlegungen zur Nutzenbestimmung
5.3 Abstimmung von Maßnahme und Wirkung
5.4 Stichprobenauswahl
5.4.1 Interventionsstichprobe
5.4.2 Evaluationsstichprobe
5.5 Abstimmung von Intervention und Evaluation
5.6 Exposé und Arbeitsplan

6 Durchführung, Auswertung und Berichterstellung
6.1 Projektmanagement
6.2 Ergebnisbericht
6.3 Evaluationsnutzung und Metaevaluation

7 Ausblick

8 Literaturhinweise

Vorwort

Vor meine Arbeit möchte ich einige persönliche Zeilen stellen, wie es zur Themenauswahl dieser Studienarbeit kam.

Im März 2006 machte ich ein Praktikum am Schuldorf Bergstraße in Seeheim-Jugenheim und wurde dort von Ziva Mergenthaler betreut. In dieser Zeit las ich viele Aufsätze und Literatur zum Thema „Ganztagsschule und ganztägigem Lernen“ und war am Schuldorf auch selbst in die Betreuung/Unterstützung von Schülern und Schülerinnen[1] involviert. Dort habe ich erlebt, wie dankbar einzelne SchülerInnen für die Unterstützung sind, die sie im schulischen und/oder sozialen Lernen erfahren. Die SchülerInnen sind soziokulturell sehr unterschiedlich gestellt und haben plötzlich Möglichkeiten und Angebote, sich in unterschiedlichsten Bereichen weiterzubilden, darin zu lernen, sich zu entdecken, Hilfe und Unterstützung zu erfahren, sich in diverse AGs einzuwählen - welche sie ohne „Ganztagsschule“ vielleicht nicht gehabt hätten oder in anderer Ausprägung, zumindest stünden nicht allen SchülerInnen die gleichen Türen offen. Seit meinem Praktikum beschäftigt mich die Frage, ob Ganztagsschule die Chancengleichheit verbessern kann. Ich fände es sehr spannend, dieser Frage nachzugehen und könnte mir vorstellen, diese in meiner Magisterarbeit zu bearbeiten.

Hierzu müsste man also das Ganztagsschul-Projekt „evaluieren“, müsste u. a. die Vor- und Nachteile ermitteln, z.B. durch Befragungen der SchülerInnen und LehrerInnen, Eltern und PädagogInnen feststellen, welche konkreten positiven und negativen Veränderungen bei den SchülerInnen eingetreten sind, seit sie die Angebote des Ganztagsschul-Projektes wahrnehmen. So müsste man sich zuerst in die Theorie des Themas „Evaluation“ einarbeiten, wie man bei einer Evaluation vorzugehen hat und was man beachten muss. Man müsste also erarbeiten, was Evaluation ist, wie sie einzuordnen ist und wie man eigentlich evaluiert. Thomas Trebing (2006) formuliert es sehr schön: „Was (Gegenstand) wird für wen (Auftraggeber), warum (Grund) bzw. zu welchem Zweck (Ziel) evaluiert? Und welche Konsequenzen zieht man warum daraus, welche Veränderungen oder Entscheidungen empfehlen sich?“

Daher ist diese Studienarbeit als eine Art „Handbuch“ zu begreifen und soll meine Vorarbeit zur Magisterarbeit sein. Sie soll – orientiert am Buch von Bortz und Döring (2006): Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler - einen Überblick über Evaluationsforschung verschaffen. Wie dann letztendlich im Detail vorgegangen und evaluiert wird (z.B. welches Evaluationssetting benutzt wird), muss zu einem späteren Zeitpunkt geklärt und erarbeitet werden, denn hierzu ist Evaluation zu vielschichtig und unterschiedlich. Aus diesen Gründen wird die detaillierte Darstellung der unterschiedlichen Evaluationsverfahren in dieser Arbeit nicht behandelt.

1 Einleitung

Zu Beginn der Arbeit soll versucht werden, „Evaluation“ näher zu definieren und zu skizzieren. Hierbei werden die unterschiedlichen Definitionen aus der Soziologie, der Psychologie und der Pädagogik nicht unterschieden, sondern zusammengeführt (vgl. Trebing 2006, 146-148).

„Der Begriff Evaluation stammt von dem lateinischen Wort ,valor’, d.h. ,Wert’, und der Vorsilbe e / ex, d.h.: aus, und bedeutet übersetzt ,Bewertung’, ;einen Wert aus etwas ziehen’.“ (Meyer 2002, 2) Zum Wortfeld Evaluation gehören u. a. „Erfolgskontrolle, Effizienzforschung, Begleitforschung, Bewertungsforschung, Wirkungskontrolle, Qualitätskontrolle usw.“ (Wottawa und Thierau 1998, 13). Evaluation hat mit Bewertungen und Beschreibungen innerhalb von Handlungsalternativen zu tun; ist ziel- und zweckorientiert, überprüft, verbessert und entscheidet über praktische Maßnahmen. „Evaluation kann sich sowohl auf den Kontext (Voraussetzungen, Rahmenbedingungen), die Struktur, den Prozess als auch das Ergebnis (Produkt) beziehen.“ (http://de.wikipedia.org/wiki/Evaluation) Evaluationsmaßnahmen sollen an den aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angeschlossen sein: „ ,Die allgemein anerkannten sozialwissenschaftlichen Definitionen von ,Evaluation’ unterstreichen die explizite Verwendung wissenschaftlicher Forschungsmethoden und verstehen unter ,Evaluationsforschung’ die ,systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer Interventionsprogramme.’ “ (nach Meyer 2002, 2-3) Wissenschaftliche Evaluationen unterscheiden sich von Alltagsevaluationen lediglich durch den Gebrauch empirischer Forschungsmethoden und der Einhaltung der Evaluationsstandards[2] (vgl. ebd., 3).

Da man die „endgültigen“ Folgen einer Maßnahme nicht bewerten kann, ist es wichtig, Zwischenziele festzulegen (vgl. Wottawa und Thierau 1998, 20).

„Evaluation ist viel mehr als Erfolgskontrolle.

Evaluieren bedeutet entdecken, den verborgenen Wert eines Programms, einer Methode oder eines Lernergebnisses wahrnehmen.

Evaluieren bedeutet auch benennen, aus der Vielzahl möglicher Variablen dem Wesentlichen einen Namen geben.

Evaluation nimmt einen Wert wahr und gibt einem Wert Wirksamkeit. Evaluation beschreibt Qualität, erschafft Qualität und vermag sie zu legitimieren. Evaluieren heißt registrieren und konstruieren: ,Program evaluation is a process by which society learns about itself’ (Cronbach et al. 1980, S. 2).

Aber heute, in einer Zeit, in der viele Bildungsprogramme und ganze Institutionen um ihr Überleben ringen, kann Evaluation als Kontrolle auch zum Mittel der Steuerung und Machtausübung werden […].” (Wesseler o.J., 736)

Thomas Trebing (2006) führt die vorläufige Definition (aus Soziologie, Psychologie und Pädagogik) wie folgt zusammen:

„Aus diesen drei human- und sozialwissenschaftlichen Definitionen lässt sich eine vorläufige Definition destillieren.

Evaluation bezeichnet

eine begründete Bewertung,

die wissenschaftlich abgesichert ist,

praktisch wirksam wird und

Beteiligte wie Betroffene soweit möglich einbezieht.

- Grundlage der Bewertung sind Argumente, Hypothesen und empirisch erhobene Daten.
- Die Bewertung ist wissenschaftlich abgesichert durch die Standards für Evaluation und durch wissenschaftliche Methoden.
- Die Bewertung soll praktisch wirken, d.h. auf Veränderungen oder Entscheidungen hin.
- Berücksichtigt werden sollen möglichst alle Beteiligten und Betroffenen in ihren
- relevanten Interessen und Bedürfnissen,
- alltäglichen Nutzungskontexten.“

Das folgende Kapitel 3 soll einen kurzen Überblick über die geschichtliche Entwicklung der Evaluationsforschung in den USA und in Europa geben. Im Anschluss soll es in Kapitel 4 einen Übersicht über Evaluationsforschung allgemein geben, sie näher untersuchen und in die empirische Forschung einordnen. Die Fragen, wer die Evaluation, nach welchen Richtlinien durchführen und welche Rahmenbedingungen es geben wird, sollen in den Punkten 4.2 und 4.3 beleuchtet werden. Im Anschluss daran steht in Kapitel 5 die Planung einer Evaluation im Vordergrund – in Anlehnung an die Planung einer empirischen Untersuchung allgemein. Im Laufe des Kapitels werden die Fragen beantwortet, welche verschiedenen Untersuchungsarten es gibt und wie Maßnahmen überhaupt wirken und operationalisiert werden können. Es soll skizziert werden, wie der Nutzen einer Maßnahme festzustellen ist, warum er zu ermitteln ist und wie Nutzen und Wirkung letztendlich abgestimmt sein sollten. In Kapitel 5.4 geht es um die zwei Arten der Stichprobenerhebung – entweder die Methode der Interventions- oder der Evaluationsstichprobe. Am Ende des vierten Kapitels wird die Notwendigkeit der Abstimmung von Intervention und Evaluation angesprochen, sowie das Exposé und der Arbeitsplan vorgestellt. Im daran anschließenden Kapitel 6 stehen die Durchführung, Auswertung und Berichterstellung einer Evaluationsstudie.

Die einzelnen Abschnitte dieser Arbeit sollen einen Überblick über das weite Feld der Evaluationsforschung geben, an einigen Stellen wurde bewusst auf Details verzichtet. Bei Bedarf und konkreten Evaluationsvorhaben kann vorliegende Arbeit zur Hand genommen werden und stichwortartig Auskunft geben, wie vorgegangen werden sollte. Im Einzelfall ist dann z.B. zu entscheiden, welche Untersuchungsmethode gewählt werden muss, wie die Stichproben genommen werden etc.

2 Historische Einordnung

Um „ Evaluationgeschichtlich einzuordnen, kann man in den USA bis in das 18. Jahrhundert zurückgehen, „[…] als die Bundesregierung zum ersten Mal externe Inspektoren mit der Bewertung öffentlicher Programme beauftragte. Zu den damals untersuchten staatlichen Einrichtungen gehörten Waisenhäuser, Schulen, Krankenhäuser und Gefängnisse.“ (Meyer 2002, 3) Die Anfänge der modernen Evaluationsforschung liegen in den USA in den 1930er Jahren, wo sie im Rahmen des „New Deal“ zu einem festen Bestandteil der Sozialpolitik geworden sind („[…] z.B. Reformprogramme zur Verminderung von Arbeitslosigkeit und zur Verbesserung der sozialen Sicherheit von Evaluationsstudien […]“ (ebd., 3)) Fortan untersuchte und bewertete die Evaluationsforschung Programme, Interventionen und Maßnahmen im Bildungs- und Gesundheitswesen und entwickelte formale Regeln und Kriterien für Erfolgs- und Wirkungskontrolle (vgl. Bortz und Döring 2006, 96). In den 60ern boomten Evaluationen regelrecht, als es vielerorts staatliche Sozial-, Bildungs-, Gesundheits-, Ernährungs- und Infrastrukturprogramme gab und eine Institutionalisierung einsetzte. Nun folgten einige Fachzeitschriftengründungen (z.B. American Journal of Evaluation, Evaluation Review), die sich 1986 zur American Evaluation Association (AEA) zusammenschlossen mit dem Ziel, die Evaluationsmethoden und den praktischen Einsatz zu verbessern, die wissenschaftliche Evaluationsforschung in der amerikanischen Öffentlichkeit zu fördern. Anfang der 1990er konnten die Evaluationsstandards des „Joint Committee“ und der „Guiding Principles for Evaluators“ herausgegeben werden.

Wissenschaftliche Evaluationen sind in den USA zu einem Instrument politischen Handelns geworden: „Nach Schätzungen wurden in den USA bereits 1976 etwa 600 Mio. $ für die Evaluation von sozialen Dienstleistungsprogrammen aufgewendet. […] In den achtziger Jahren wurden so genannte ,Sunset-Gesetze’ erlassen, die bei fehlendem Nachweis der Wirksamkeit von Programmen deren automatische Beendigung nach einer festgelegten Zeitspanne vorsahen. 1993 verabschiedete der US-Congress den ,Government Performance and Result Act’, welcher die regelmäßige Durchführung von Evaluationen für alle Bundesprogramme gesetzlich verankerte.“ (Meyer 2002, 4)

In Europa (Schweden, Großbritannien und Bundesrepublik Deutschland) setzte eine professionelle Evaluationsforschung erst Ende der 60er Jahre ein. Was ähnlich wie in den USA begann (mit Nachweisen der Effektivität von Programmen in der Bildungs-, Gesundheits- und Sozialpolitik), wurde Ende der 70er in Kosten-Nutzen-Tests umfunktioniert, später aus finanziellen Gründen eingestellt. Erst Anfang der 90er fasste die Evaluationsforschung in Europa wieder Boden und konnte sich im Zuge der Reform- und Modernisierungsdebatte staatlicher Institutionen etablieren. Unter dem Stichwort „New Public Management“ bekam sie in Großbritannien (Ende der 80er), Holland und den skandinavischen Ländern wieder einen Aufschwung. Auf europäischer Ebene gründete sich die European Evaluation Society (EES), ähnlich der AEA.

Im deutschsprachigen Raum wurde Ende der 60er-Jahre das englische Wort Evaluation aus der amerikanischen Tradition übernommen (nach http://de.wikipedia.org/wiki/Evaluation). Hier war die Evaluationsforschung in Bereichen der Bildungs-, Psychotherapie- und Politikforschung, Arbeitspsychologie, Stadterneuerung, Infrastruktur sowie der Erziehungsfragen vertreten (vgl. z.B. Stockmann 2004, 27-28). Im Jahr 2002 wurde an der Universität des Saarlandes das Forschungsinstitut Centrum für Evaluation (CEval) gegründet. „Als wissenschaftliches Institut, welches der Professur für Soziologie angegliedert ist und eng mit der Fakultät für empirische Humanwissenschaften zusammenarbeitet, leistet es einen Beitrag zur Weiterentwicklung der Evaluationsforschung und zur verstärkten Durchführung und Nutzung von Evaluationen. […] Auf Initiative von Professor Reinhard Stockmann wurde außerdem im letzten Jahr die erste deutschsprachige Fachzeitschrift für Evaluationsforschung, die ,Zeitschrift für Evaluation’, ins Leben gerufen, deren Redaktion beim CEval angesiedelt ist.“ (Meyer 2002, 8-9)

Mittlerweile hat sich die Evaluationsforschung in Europa etabliert und entwickelt sich weiter – steckt jedoch im Vergleich zu den USA noch in den Kinderschuhen.

3 Evaluationsforschung

Im folgenden Abschnitt 4.1 soll auf „Evaluationsforschung“ allgemein in Abgrenzung zur Grundlagen- und Interventionsforschung eingegangen werden, auf die die Evaluation Durchführenden (Evaluatoren, Abschnitt 4.2) und auf die Qualitätssicherung von Evaluationen (Evaluationsstandards und Guiding Principles, Abschnitt 4.3).

3.1 Allgemeines zur Evaluationsforschung

Evaluationsforschung ist zu verstehen als ein Teilbereich der empirischen Forschung. Sie untersucht und bewertet Maßnahmen oder Interventionen im Hinblick auf deren Erfolg. Sie kann als „Anwendungsvariante“ empirischer Forschungsmethoden auf eine spezielle Gruppe von Fragestellungen verstanden werden (vgl. Bortz und Döring 2006, 96) und schaut sich Auswirkungen gezielt eingesetzter Maßnahmen (z.B. Wandel in Natur, Kultur, Technik und Gesellschaft oder den Wandel in bestehenden Institutionen oder Strukturen) an. Nach Rossi und Freeman (1993) ist es die Aufgabe der Evaluationsforschung, Interventionsprogramme zu evaluieren: „ ‚Evaluations forschung beinhaltet die systematische Anwendung empirischer Forschungsmethoden zur Bewertung des Konzeptes, des Untersuchungsplanes, der Implementierung und der Wirksamkeit sozialer Interventionsprogramme.‘ “ (nach Bortz und Döring 2006, 96)

Die Funktionen von Evaluationen können in drei Punkten zusammengefasst werden (Wesseler o.J., 739):

- Rechtfertigung/Legitimierung
- Verbesserung/Optimierung
- Überwachung/Kontrolle.

Die Evaluationsforschung beschäftigt sich also mit der Bewertung von Maßnahmen, welche zuvor von der Interventionsforschung entwickelt worden sind: „Die Interventionsforschung befasst sich auf der Basis technologischer Theorien mit der Entwicklung von Maßnahmen und die Evaluationsforschung mit deren Bewertung.“ (Bortz und Döring 2006, 102)

[...]


[1] Im Folgenden sind die männliche Form und weibliche Form in einem Wort zu lesen, z.B. Schüler und Schülerinnen in „SchülerInnen“, Pädagogen und Pädagoginnen in „PädagogInnen“ etc. Sofern dies allerdings das Lesen erschwert, wird auf die weibliche Schreibweise verzichtet. Frauen werden aber selbstverständlich nicht ausgeschlossen.

[2] Näheres zu Evaluationsstandards vgl. Kapitel 4.3 dieser Arbeit.

Ende der Leseprobe aus 43 Seiten

Details

Titel
Evaluationsforschung. Ein Überblick
Hochschule
Technische Universität Darmstadt  (Institut für Allgemeine Pädagogik und Berufspädagogik)
Veranstaltung
Studienarbeit zum Erwerb eines Seminar-Scheines im Rahmen des Magisterstudiums
Note
1,7
Autor
Jahr
2007
Seiten
43
Katalognummer
V279942
ISBN (eBook)
9783656737889
ISBN (Buch)
9783656741169
Dateigröße
624 KB
Sprache
Deutsch
Schlagworte
evaluationsforschung, überblick
Arbeit zitieren
M.A. Jessica Schumacher (Autor), 2007, Evaluationsforschung. Ein Überblick, München, GRIN Verlag, https://www.grin.com/document/279942

Kommentare

  • Noch keine Kommentare.
Im eBook lesen
Titel: Evaluationsforschung. Ein Überblick


Ihre Arbeit hochladen

Ihre Hausarbeit / Abschlussarbeit:

- Publikation als eBook und Buch
- Hohes Honorar auf die Verkäufe
- Für Sie komplett kostenlos – mit ISBN
- Es dauert nur 5 Minuten
- Jede Arbeit findet Leser

Kostenlos Autor werden