Evaluation und Evaluationsforschung. Eine begriffliche Annäherung

Inhaltsverzeichnis

Vorwort

Abbildungsverzeichnis

Tabellenverzeichnis

Abkurzungen

1 Einleitung

2 Evaluation und Bewertungsbegriffe
2.1 Herkunft des Wortes Evaluation
2.1.1 Evaluation in der Alltagssprache
2.1.2 Ursprung von Evaluation
2.1.3 Historischer Uberblick der Evaluation
2.2 Bewertungsbegriffe
2.2.1 Wirkung und Wirksamkeit
2.2.2 Effekt und Erfolg
2.2.3 Nutzen und Outcome
2.2.4 Effektivitat und Effizienz
2.3 Evaluation und Evaluationsforschung

3 Evaluationsbegriff und Evaluationsbedeutung
3.1 Dimensionen von Evaluation
3.1.1 Ebenen der Evaluation
3.1.2 Wissenschaftliche Bedeutung von Evaluation
3.1.3 Definitionsbestandteile von Evaluation
3.2 Arten von Evaluation
3.2.1 Rahmenbedingungen
3.2.2 Evaluationsmodelle
3.2.3 Ausrichtung der Evaluation
3.2.4 Zeitpunkt der Evaluation
3.2.5 Durchfuhrungsmodi der Evaluation
3.2.6 Metaevaluation
3.3 Anwendungsfelder und Qualitat von Evaluation
3.3.1 Wissenschaftsdisziplinen von Evaluation
3.3.2 Evaluationsstandards
3.3.3 Diagnostik, Methodologie und Methodik in der Evaluationsforschung

4 Fazit

Literaturverzeichnis

Anhang

Vorwort

Der Begriff Evaluation wurde von mir bewusst erst wahrend des Studiums zur Kenntnis genommen. Gleichzeitig bemerkte ich auch den allgemeinen Gebrauch des Begriffs Evaluation in allen moglichen Formen und Zusammenhangen.

Es stellt sich fur mich die Frage, was Evaluation uberhaupt bedeutet? Was verbirgt sich hinter dem Begriff und wer evaluiert? Evaluation ist zunachst eine menschliche Aktivi- tat. Tagliche Evaluation ist meist unspezifisch. Sind Bewertungen, Beurteilungen und Einschatzungen von alltaglichen Dingen schon Evaluationen? Finden Evaluationen im Gesundheitssystem statt und was wird darunter verstanden, wenn in der ambulanten und klinischen Krankenpflege, in Bildungseinrichtungen der Pflege und bei Projekten im Gesundheitswesen „evaluiert" wird?

Als Krankenpfleger weift ich, dass die Arbeit mit Menschen im Gesundheitswesen schwierig zu messen ist. Deshalb ist es mir wichtig, mit dieser Arbeit den Evaluations- begriff zu analysieren. Somit wird er mir und anderen im Gesundheitswesen Tatigen verstandlich.

Abbildungsverzeichnis

Abbildung 1: Zielfunktionen von Evaluation

Abbildung 2: Die wichtigsten Begriffe der Evaluation

Tabellenverzeichnis

Tabelle 1: Evaluation: Begriffsdimensionen und Klarungsbedarf

Tabelle 2: Dimensionen der Evaluationsforschung

Abkurzungen

Abbildung in dieser Leseprobe nicht enthalten

1 Einleitung

Bis vor ca. 20 Jahren wurde Evaluation im deutschsprachigen Raum kaum wahrge- nommen und war auf wenige Gesellschaftsbereiche beschrankt. War Evaluation in den 1980-1990er Jahren nur einem kleinen Kreis an Fachexperten vertraut, so ist der Be- kanntheitsgrad von Evaluation, ihre Akzeptanz, die Anwendungsbreite und die metho- dischen Ansatze vielfaltiger und konkreter geworden. Evaluation und abgeleitete Wort- varianten haben sich im Sprachgebrauch weit verbreitet und werden mittlerweile in Parlamentsdebatten, Tageszeitungen, Talkshows mit politischen oder gesellschaftli- chen Inhalten, Radio- und Fernsehnachrichtensendungen genutzt. Zum Teil wird sogar kritisch von einem Evaluationsboom gesprochen. Abseits der inflationaren Ausbreitung des Wortes stellt sich die Frage, was Evaluation nun wirklich ist und was sie zu leisten vermag (vgl. Beywl, Widmer 2009, S. 13-16).

Durch die Verwendung unterschiedlicher Benennungen, Definitionen, verwandter Be- griffe, Kontexte und Sprachgebrauche ist es notwendig, den Terminus Evaluation ge- nauer zu untersuchen. Eine sichere begriffliche Abgrenzung von professioneller und alltaglicher Evaluation ist ebenso notwendig wie ein MindestmaB an Qualitatssicherung (z.B. Standards fur Evaluation lt. DeGEval) (vgl. DeGEval 2002, S. 8). Probleme kon- nen sonst durch den inhaltlich nicht einheitlichen Gebrauch des Evaluationsbegriffes auftreten. Damit ein Evaluationsprojekt nicht unkalkulierbaren Risiken des Scheiterns ausgesetzt ist, mussen auch Begrifflichkeiten im Vorfeld, im Detail, verbindlich, nach- vollziehbar und gut dokumentiert vorgenommen werden (vgl. Kromrey 2001, S. 3).

Diese Ausarbeitung zielt darauf ab, zentrale Begrifflichkeiten von Evaluation zu konkre- tisieren und ein wissenschaftliches Verstandnis fur Evaluation zu entwickeln. Durch eine entsprechende Literaturanalyse werden die Worte Evaluation und Evaluationsfor- schung konkretisiert. Dadurch kann eine gemeinsame Sprache geschaffen werden. Sie ist bedeutsam fur die Kommunikation sowohl fur den Einzelnen, von Gruppen innerhalb von Projekten, als auch zwischen unterschiedlichen Akteuren.

Im ersten Teil erfolgte eine kurze Einleitung. Darauf aufbauend werden im zweiten Teil allgemeine Informationen uber Evaluationsbegriff, Evaluationsforschungsbegriff und unterschiedliche Bewertungsbegriffe gegeben. Bestandteile, Rahmenbedingungen und Inhaltsebenen des Begriffes Evaluation stehen durch verschiedene Betrachtungen im dritten Kapitel im Fokus. Kapitel 4 beschlieBt die Ausarbeitung mit dem Fazit.

2 Evaluation und Bewertungsbegriffe

Wie in der Einleitung angesprochen, umfasst Evaluation eine Vielzahl moglicher, Be- deutungen, Verhaltens- und Sichtweisen. Einer abstrakten, die Wirklichkeit voll umfas- senden Definition entzieht sich damit der Begriff. Aus Grunden der Ausdifferenzierung des Begriffes und zu didaktischen Zwecken, macht man in der Literatur eine grofte Zahl an Definitionen bzw. beschreibenden Begriffserlauterungen fest (vgl. dazu Rossi und Freeman 1993, Rutmann 1977, Wittmann 1985, Wulf 1972, zitiert nach Wottawa, Thierau 1998, S. 13). Die Bandbreite der Auffassungen des Wortes Evaluation gehen deutlich auseinander. Deshalb ist es sinnvoll sich auch mit der Herkunft und der An- wendung des Wortes Evaluation zu befassen. Das geschieht in den folgenden Kapi- teln.

2.1 Herkunft des Wortes Evaluation

Das Substantiv Evaluation leitet sich aus dem Lateinischen her und wird mit Berech- nung und Bewertung ubersetzt. Es setzt sich aus den beiden Wortern „ex" fur aus und „valeur" fur Wert oder Preis zusammen. Aus der franzosischen Sprache ist es als „va- luation" und aus der Englischen als ..evaluation" bekannt (vgl. Duden - Das grofte Fremdworterbuch 2007). .Valuation" bedeutet Schatzung, .valuer" abschatzen und das latainische „valere" bedeutet stark oder wert sein. Im englisch/amerikanischen Sprach- verstandnis steht .evaluation" fur Einschatzung, Festsetzung, Beurteilung, Auswer- tung, Abwagung und Bewertung (vgl. Duden - Deutsches Universalworterbuch 2006).

Auch unter Experten^[1] (z.B. zentrales Internetforum der deutschen Evaluationsgemein- schaft) wird gestritten, wovon das Wort abgeleitet wird. Ob das Wort in direkter Folge aus dem Lateinischen, Englischen oder Amerikanischen abstammt, dementsprechend ausgesprochen werden sollte oder eine Eindeutschung vorzunehmen ist, sei jedem selbst uberlassen (vgl. Stockmann 2014, S. 72).

Zum Wortbegriff von Evaluation gehoren auch eine Reihe verwandter Bezeichnungen, die in verschiedenen Kontexten, teilweise synonym, verwendet werden.

Dazu gehoren:

- Erfolgskontrolle,
- Effizienzforschung,
- Begleitforschung,
- Bewertungsforschung,
- Wirkungskontrolle,
- Controlling
- Qualitatskontrolle und viele mehr (vgl. Wottawa, Thierau 1998, S. 13).

2.1.1 Evaluation in der Alltagssprache

Der Begriff Evaluation ist spatestens seit der PISA-Studie im deutschen Wortschatz und auch in der Alltagssprache bekannt geworden. Dort ist er prasent und wird haufig auch in verschiedenen Kontexten verwandt. Diese sind oft nicht von wissenschaftlicher Bedeutung und haben als Bewertung nichts mit Evaluation zu tun. Durch die alltagssprachliche Verwendung des Begriffs Evaluation auf beliebige Gegenstande, verliert der Begriff zunehmend seine wissenschaftliche Prazision. Deshalb ist eine sau- bere Abgrenzung notwendig (vgl. Stockmann, Meyer 2014, S.15). Evaluation im alltaglichen Sprachgebrauch ist ausgesprochen unspezifisch. Wie alle Sachverhalte, kann von verschiedenen Individuen sehr unterschiedlich bis gegensatzlich einges- chatzt und beurteilt werden (vgl. Kromrey 2001, S. 2).

Darum ist es ebenfalls wichtig, sich dem Evaluationsbegriff uber den Ursprung zu nahern. Das geschieht im nachsten Kapitel.

2.1.2 Ursprung von Evaluation

Je nach Sichtweise werden unterschiedliche Wurzeln von Evaluation erkennbar. Die Tatigkeit, die mit Evaluation oder Evaluierung gemeint ist, ist so alt wie die Menschheit selbst. Jeder Wissensgewinn wurde durch die Tatigkeit der Evaluation erzielt. Wenn Menschen uberpruften, ob gebratenes Fleisch wohlschmeckender und bekommlicher ist als rohes Fleisch oder bestimmte Pflanzen und Pilze eftbar sind oder nicht, dann wurde evaluiert.

Evaluationen sind ein wichtiges Instrument zur Generierung von Erfahrungswissen. Dieses Wissen entsteht durch das Sammeln von Informationen. Diese Infor- mationssammlungen werden bewertet und anschlieftend zum Treffen von Entschei- dungen genutzt. Standig wurde und wird neues Wissen mit altem Gebrauchswissen abgeglichen. Die dabei eingesetzten Bewertungskriterien konnen sehr unterschiedlich sein. Sie orientieren sich oft nach dem Nutzen eines Gegenstandes, Sachverhaltes oder Entwicklungsprozesses und konnen je nach Einzelperson oder Gruppen unter- schiedlich ausfallen (vgl. Stockmann 2004, S.13). Wird dagegen Evaluation nicht als Allerweltsvorgang betrachtet, so ist Evaluation ein modernes Phanomen. Systema- tische Verfahren folgen bestimmten wissenschaftlich vorgegebenen Regeln (vgl. Stockmann 2014, S. 30).

2.1.3 Historischer Uberblick der Evaluation

Die Geschichte der Evaluation und Evaluationsforschung kann an Hand einer zeit- lichen Abfolge oder eines theorieorientierten Uberblicks erfolgen. Dabei werden die historischen Epochen, in denen Menschen allgemeine Evaluationsansatze wirksam eingesetzt haben, verdeutlicht. Gleichzeitig werden spezifische Entwicklungen aufgefuhrt, die in direktem ode indirektem Bezug zur Evaluation stehen. Diese ausfuhr- liche Ubersicht befindet sich im Anhang der Projektstudienarbeit (siehe Anhang 1). Aus dieser unterschiedlichen klassifikatorischen Darstellung geht hervor, dass die Evalua­tionsforschung seit mehr als 60 Jahren aus wissenschaftlicher Sicht in den Mittelpunkt des Interesses ruckt. Dabei stagniert seit einigen Jahren die theoretische Entwicklung von Evaluationsansatzen, wahrend die methodischen Konzepte stetig weiterentwickelt wurden und in allen Ebenen der Gesellschaft eingesetzt werden (vgl. Gollwitzer, Jager 2009, S. 8ff).

Die Ursprunge der Evaluation sind in den USA zu finden. Mit 10-jahriger Verspatung setzte die moderne Evaluationsforschung in Europa Ende der 60er Jahre ein (vgl. Stockmann 2014, S. 30-35). Im deutschsprachigen Raum konnten mit dem Beginn der 70er Jahre erste Erfolge erzielt werden (vgl. Bortz, Doring 2006, S. 97).

Zu den Protagonisten der Forschungsrichtung zahlen, nach Hellstern und Wollmann, u.a. E.A. Suchmann (1967), C.H. Weiss (1972), P.H. Rossi, H.E. Freeman (1979) und L.J. Cronbach (vgl. Messing 2001, S. 2). Im Unterschied zu anderen Landern (insbe- sondere den USA) gibt es jedoch in Deutschland keine Evaluationskultur, die politische Verantwortung und Evaluation miteinander verknupft (vgl. Stockmann 2014, S. 61). Evaluation ist in den Vereinigten Staaten von Amerika ein Wachstumsmarkt. So wer­den seit 1969 mit dem ..National Environmental Policy Act" die gesetzliche Auflage be- schlossen, alle umweltrelevanten Bundesgesetze bezuglich der direkten und indirekten Auswirkungen zu evaluieren (vgl. Dieckmann 2011, S. 40).

2.2 Bewertungsbegriffe

Gerade in der Praxis der gesundheitsbezogenen Versorgung ist es aus vielerlei Hin- sicht notwendig, unser Tun systematisch zu reflektieren. Dabei werden Begriffe syno­nym verwendet. Somit mussen Begrifflichkeiten und Konzepte von Bewertungen verdeutlicht werden, die nicht immer scharf voneinander getrennt sind. Dazu werden nachfolgend, die im Gebrauch mit dem Wort Evaluation auftretenden Bewertungsbe­griffe, naher beleuchtet.

2.2.1 Wirkung und Wirksamkeit

Vor allem in der pharmakologischen Forschung werden die Begriffe Wirkung und Wirksamkeit genutzt. Wirksamkeit kennzeichnet in der klinischen Forschung die Klasse der angestrebten positiven Wirkungen einer klinischen Intervention. Dazu muss ein Endpunkt definiert werden und die Uberprufung der Wirksamkeit einer MaBnahme er- folgt unter Kontrollbedingungen (z.B. randomisierte kontrollierte Studien). Somit lasst sich Wirksamkeit nicht direkt beobachten, sondern ist ein theoretisches Konstrukt, das aus Daten und Versuchsanordnungen abgeleitet werden muss (vgl. Meyer T, 2014, S. 296). Bei der Evaluation wird in zu bewertenden Phasen auch von Wirkungsevaluation, Wirkungskette oder Wirkungsentfaltung gesprochen. Dabei beziehen sich die Begriffe

- output auf den Leistungserbringer,
- outcome auf Wirkungen bei den direkten Adressaten und
- impact auf die gesellschaftlichen Auswirkungen (vgl. Wiedmer 2004, S. 78).

2.2.2 Effekt und Erfolg

Der Begriff Effekt leitet sich vom lateinischen Wort „effectus” fur Wirkung oder Erfolg ab. Er wird als Ergebnis einer Ursache verstanden. Er wird mit EffektgroBen und Effektstarken angegeben und nicht mit Wirksamkeitszusammenhangen in Verbindung gebracht.

Auch der Erfolgsbegriff entzieht sich des Nachweises der Wirksamkeit. Dabei ist die Betroffenenperspektive von besonderer Bedeutung. So konnen Patienten, Behan- delnde und Leistungstrager eine medizinische MaBnahme aus ihrer Sicht als Erfolg beurteilen. Erfolg kennzeichnet dokumentierte Bewertungen einzelner relevanter End- punkte oder das Gesamt der Abwagungen relevanter Endpunkte (vgl. Meyer 2014, S. 296 ff).

2.2.3 Nutzen und Outcome

Die Beurteilung des Nutzens einer MaGnahme bezieht sich auf relevante Endpunkte des Nutzers (z.B. Patient, Klient, Bewohner, etc.). Dabei kennzeichnet der Begriff Nutzen (engl. „benefit”) das positive Ergebnis einer Intervention unter Alltags- bedingungen im Hinblick auf die Ziele oder Teilziele der Intervention. Um Aussagen zum Nutzen treffen zu konnen, muss der Nachweis der Wirksamkeit der MaGnahme vorrausgesetzt werden.

Der Begriff Outcome wird als Anglizismus im Deutschen verwendet und/oder mit dem Begriff Ergebnis oder Endzustand ubersetzt. Nach Kunze et al. wird Outcome als uber- geordneter Begriff, als Auswirkung von Intervention und anderen Expositionen definiert (vgl. ebd. 2014, S. 297 ff).

2.2.4 Effektivitat und Effizienz

Effektivitat ist ein Beurteilungskriterium, mit dem sich beschreiben lasst, ob eine MaG- nahme geeignet ist, ein vorgegebenes Ziel zu erreichen. Dabei werden uber die Art und Weise der Zielerreichung bei der Betrachtung unter Effektivitatsgesichtspunkten keine Aussagen getroffen (vgl. Gabler Wirtschaftslexikon, http://wirtschaftslexikon. gabler.de/Definition/effektivitaet.html; abgerufen am 28.06.2015). Dagegen wird Effizi- enz als Beurteilungskriterium bezeichnet, mit dem sich beschreiben lasst, ob eine MaGnahme geeignet ist, ein vorgegebenes Ziel in einer bestimmten Art und Weise zu erreichen. Dabei steht die Wirtschaftlichkeit (Kosten-Nutzen Rechnung) im Vorder- grund der Betrachtung (vgl. Gabler Wirtschaftslexikon, http://wirtschaftslexikon. gab- ler.de/Definition/effizienz.html; abgerufen am 28.06.2015).

Nach der allgemeinen Darstellung von Bewertungsbegriffen, vergleicht das nachste Kapitel Evaluation und Evaluationsforschung.

2.3 Evaluation und Evaluationsforschung

Es besteht nach wie vor kein allgemeiner Konsens daruber, was Evaluation heiGt, um- fasst und leisten soll. Alltagsbewertung und Evaluation im Rahmen der Wissenschaft sind verschieden. Um zur Vereinheitlichung der Definitionsthematik und zur Systemati- sierung der begrifflichen Diskussion beizutragen, schlug Suchman 1967 und Abramson 1976 die Unterscheidung von Evaluation, Evaluationsprogramm und Evaluationsfor­schung vor. Beide Systematisierungsversuche konnten sich nicht durchsetzen (vgl. Wottawa, Thierau 1998, S. 13).

In der Literatur werden die Begriffe Evaluierung, Evaluation und Evaluationsforschung meist synonym verwendet. Es erfolgt meist keine scharfe Trennung der Worter.

Bei der Literaturrecherche ist jedoch festzustellen, dass in den verschiedensten Wis- senschaftsdisziplinen, dem Begriff und der Definition von Evaluationsforschung, Vor- rang gegeben wird. Bei der Unterscheidung gibt es Evaluationsexperten, die in der Evaluationsforschung eine eigenstandige Disziplin sehen. Die uberwiegende Mehrheit der Evaluationsexperten sieht in der Evaluationsforschung jedoch eine Anwendungsva- riante der empirischen Forschungsmethoden. Diese ist auf spezielle Gruppen von Fra- gestellungen gerichtet (vgl. Bortz, Doring 2006, S. 96).

Nach Suchmann definieren Wottawa und Thierau Evaluationen und Evaluationsfor­schung wie folgt:

- ..Evaluation (Bewertung): ProzeG der Beurteilung des Wertes eines Produktes, Prozesses oder eines Programmes, was nicht notwendigerweise systematische Verfahren oder datengestutzte Beweise zur empirischen Untermauerung einer Beurteilung erfordert."
- .Evaluation research (Evaluationsforschung): explizite Verwendung wissen- schaftlicher Forschungsmethoden und -techniken fur den Zweck der Durchfuh- rung einer Bewertung. Evaluationsforschung betont die Moglichkeit des Bewei- ses anstelle der reinen Behauptung bzgl. des Wertes und Nutzens einer bestimmten sozialen Aktivitat„ (Wottawa, Thierau 1998, S. 13).

Evaluation ist somit jegliche Art der Festsetzung des Wertes einer Sache. Dabei wird der Evaluationsgegenstand und die Methoden/Techniken mit denen evaluiert werden soll, offengelassen. Es ist ein zweck- und zielorientierter Prozess eines Evaluationsob- jektes.

Bei der Evaluationsforschung stutzt sich die Bewertung auf empirische Daten, die durch wissenschaftliche Methoden erhoben werden. Dadurch werden Irrtumer und Fehler vermindert und vermieden. Rossi und Freemann haben 1993 den Begriff Evalu­ationsforschung wie folgt prazisiert:

.Evaluationsforschung beinhaltet die systematische Anwendung empirischer For­schungsmethoden zur Bewertung des Konzeptes, des Untersuchungsplanes, der Im- plementierung und der Wirksamkeit sozialer Interventionsprogramme." (zitiert nach Bortz, Doring 2006, S. 96).

[...]

^[1] In diesem Text wird der Einfachheit halber fur Personen nur die mannliche Form verwendet. Die weibliche Form ist selbstverstandlich immer mit eingeschlossen.