Evaluation in der Weiterbildung - Die Bedeutung von Wirkungsanalysen am Beispiel einer (Re)Integrationsmaßnahme für Langzeitarbeitslose

Inhalt

1 Einleitung

2 Evaluation
2.1 Evaluationsbegriff
2.1.1 Definitionsversuch
2.1.2 Abgrenzung Evaluation und Grundlagenforschung
2.1.3 Abgrenzung Evaluation und Qualitätsmanagement
2.2 Geschichte der Evaluation
2.2.1 Geschichtliche Entwicklung des Evaluationsgedankens
2.2.2 Evaluations-Generationen
2.2.3 Evaluationsgedanke
2.3 Evaluationsgegenstände
2.4 Evaluationskonzepte
2.4.1 Systematisierung nach dem Zeitpunkt der Durchführung
2.4.2 Systematisierung nach der Art der Durchführung
2.4.3 Zusammenfassung
2.5 Funktionen
2.6 Durchführung
2.6.1 Voraussetzungen
2.6.2 Auftraggeber
2.6.3 Verfahren
2.7 Evaluationsstandards
2.7.1 Nützlichkeitsstandards
2.7.2 Durchführbarkeitsstandards
2.7.3 Korrektheitsstandards
2.7.4 Genauigkeitsstandards
2.7.5 Übersicht
2.8 Evaluationen in der Weiterbildung
2.9 Probleme von Evaluationen in der Weiterbildung

3 Langzeitarbeitslosigkeit
3.1 Auswirkungen von Langzeitarbeitslosigkeit
3.2 Soziale Netzwerke im Kontext von Langzeitarbeitslosigkeit
3.3 Weiterbildung für Langzeitarbeitslose

4 Soziale und berufliche Integration
4.1 Soziale Integration
4.2 Berufliche Integration
4.3 Soziale Kompetenz
4.4 Motivation

5 Situation in der Schweiz
5.1 Arbeitslosigkeit und Sozialsystem
5.2 Arbeitsmarktliche Maßnahmen

6 Stand der Forschung
6.1 Die Arbeitslosen von Marienthal
6.2 Evaluation von Weiterbildungsmaßnahmen
6.2.1 Wirkungsanalysen in der Weiterbildung
6.2.2 Wirkungen von arbeitsmarktlichen Maßnahmen

7 Empirischer Teil
7.1 Jobcenter
7.2 Ziele des Jobcenters
7.2.1 Orientierung auf dem Arbeitsmarkt
7.2.2 Kennen und Nutzen der eigenen Ressourcen/Stärken
7.2.3 Erfolgreiches Bewerben
7.2.4 Förderung sozialer Kompetenz
7.2.5 Gesteigerte Motivation
7.3 Evaluationsinstrument
7.4 Fragebogenkonstruktion
7.4.1 Vorbemerkungen
7.4.2 Fragebogen
7.5 Pretest
7.6 Ergebnisse aus dem Pretest

8 Schlussbetrachtungen

Literaturverzeichnis

Anhang

1 Einleitung

„Überall auf der Welt, in industrialisierten Gesellschaften oder Entwicklungsländern, sind Menschen unterprivilegiert; überall gibt es Programme, die solche Benachteiligungen beseitigen oder mindern sollen. Oft zeigt sich aber, dass diese Maßnahmen missbraucht werden oder schlecht geplant, schlecht ausgeführt oder ineffektiv sind“ (Rossi et al.1988, S.2).

Die Diskussion um die Bedeutung von Evaluationen als Bewertungsverfahren von Maßnahmen im Bildungsbereich ist keine neue, hatte aber in den letzten 30 Jahren sowohl unterschiedliche Ausrichtungen als auch insgesamt verschiedene Aufund Abschwünge. Mit dem Blick auf die Professionalisierungsdiskussion im Bereich der Weiterbildung, aber auch im Kontext der Frage nach Qualitätssicherung und der tatsächlichen Wirksamkeit von Weiterbildungsmaßnahmen hat sie dabei nichts an Aktualität verloren. Evaluationen können Klarheit über die Qualität von Planung und Durchführung, sowie über die Effektivität einer Maßnahme verschaffen, und damit zu einer Optimierung dieser beitragen. Dazu sollten sie allerdings so angelegt werden, dass sie den zahllosen Bemühungen, die Lebensumstände von Menschen zu verbessern, von größtmöglichem Nutzen sind.

Evaluationen werden heute an vielen Stellen gefordert und verlangt. Wobei der Begriff der ‚Evaluation’ ein sehr weitreichender ist. Evaluationen können sich vieler verschiedener Methoden bedienen, um die unterschiedlichsten Gegenstände zu untersuchen. Aber auch die Zielsetzung einer Evaluation kann variieren. Eine Entscheidung über ein geeignetes Verfahren hängt nicht alleine vom Evaluationsgegenstand ab, sondern auch davon, welches Ziel mit einer Evaluation verfolgt wird. Auf all diese Aspekte möchte ich in der vorliegenden Arbeit näher eingehen.

Im Rahmen meiner Magisterarbeit habe ich eine Maßnahme zur „beruflichen und sozialen (Re)Integration von Langzeitarbeitslosen in den ersten Arbeitsmarkt“ aus methodischer und didaktischer Perspektive untersucht, um anschließend ein geeignetes Evaluationsverfahren für diese Maßnahme entwickeln zu können. Bisher wurde lediglich erhoben, wie viele der

Teilnehmenden im Anschluss an die Maßnahme wieder in den ersten Arbeitsmarkt integriert sind. Eine Evaluation darüber hinaus gab es bis zum jetzigen Zeitpunkt noch nicht. Eine sinnvolle und aussagekräftige Bewertung sollte allerdings weitere Faktoren miteinbeziehen. Die berufliche (Re)Integration in den ersten Arbeitsmarkt sollte nicht der einzige Indikator dafür sein, den Erfolg der Maßnahme zu bewerten. Auch die soziale (Re)Integration als angestrebtes Ziel sollte herangezogen werden.

Ich habe versucht diese Lücke zu schließen und ein Evaluationsinstrument zu generieren, welches beide Perspektiven erfassen kann. Ziel dabei war es, ein Evaluationsinstrument zu entwickeln, mit welchem der Erfolg oder der Misserfolg der Maßnahme in umfangreicherem Maße als dies bisher der Fall gewesen ist, gemessen werden kann. Dazu habe ich mich zum Einen darauf konzentriert, welche Indikatoren zur Messung der sozialen und beruflichen (Re)Integration im Kontext von Langzeitarbeitslosigkeit von Bedeutung sind und zum Anderen darauf, wie der Beitrag der einzelnen Module zur Zielerreichung gemessen werden kann.

Weiter habe ich mich aus andragogischer Perspektive mit dem Thema Evaluation und der Zielgruppe ‚Langzeitarbeitslose’ beschäftigt und mich schließlich den Methoden der empirischen Sozialforschung bedient, um ein geeignetes Evaluationsinstrument für die von mir untersuchte Maßnahme entwickeln zu können.

In der vorliegenden Arbeit setze ich mich zu Beginn mit Evaluationen ganz allgemein, aber auch mit den Besonderheiten von Evaluationen im Bereich der Weiterbildung auseinander. Hierzu werde ich verschiedene Evaluationskonzepte vorstellen und auf unterschiedliche Aspekte vertiefend eingehen. Ein zweites zentrales Thema meiner Arbeit ist Langzeitarbeitslosigkeit und ihre Auswirkungen auf die Lebenssituation von betroffenen Personen. Deutlich soll dabei vor allem werden, welche Rolle Langzeitarbeitlosen als spezielle Zielgruppe für die Weiterbildung zukommt. In diesem Kontext werde ich die Gegebenheiten auf dem Schweizerischen Arbeitsmarkt beschreiben und auf verschiedene Studien, die sich mit Wirkungsanalysen von Weiterbildungsmaßnahmen beschäftigen, eingehen.

Der Theorieteil diente mir als Grundlage für die Entwicklung des Evaluationsinstruments. Am Ende der Arbeit werde ich die Erfahrungen, welche ich während der Durchführung des Pretests gesammelt habe, darstellen und schließlich das getestete Instrument bewerten.

Da es Ziel meiner Arbeit war, ein geeignetes Evaluationsinstrument zu entwickeln, liegt der Schwerpunkt meiner Ausführungen auf dem Entwicklungsprozess. Ich habe versucht herauszuarbeiten, welches die geeigneten Methoden und Verfahren sind bzw. sein könnten. Die Durchführung stand am Ende und wird dementsprechend auch im Rahmen dieser Darstellung inhaltlich weniger Raum einnehmen.

2 Evaluation

„Die Kunst des Evaluierens liegt darin, ein tiefes Verständnis eines Programms so möglich zu machen, daß es wirksam wird für Entscheidungen. Deshalb muß ein verantwortlicher Weg gefunden werden zwischen dem einen Pol der ‚Absolutheit der wissenschaftlichen Wahrheit’ und dem anderen Pol der

‚Abhängigkeit aktueller Interessen’“ (Wesseler 1994, S.679).

In diesem ersten großen Kapitel möchte ich mich intensiv und aus verschiedenen Perspektiven mit dem Thema Evaluation auseinander setzen. Dabei soll nicht nur der Begriff ‚Evaluation’ mit Inhalt gefüllt, sondern auch der Evaluationsgedanke und seine geschichtliche Entwicklung thematisiert werden. Es soll deutlich werden, was mit Evaluation gemeint ist und was nicht, aber auch welche Ideen und Gedanken einer Evaluation zu Grunde liegen. Weiter werde ich auf Evaluationsgegenstände und Evaluationskonzepte eingehen und verschiedene (didaktische) Funktionen von Evaluationen darstellen. Aber auch die konkrete Planung und Durchführung einer Evaluation sowie damit verbundene Schwierigkeiten werden angesprochen. Auch werde ich kurz auf die im Rahmen von Qualitätsund Professionalisierungsdiskussion an Bedeutung gewinnenden Evaluationsstandards eingehen. Im letzten Teil werde ich mich dann noch spezifischer auf Evaluationen im Bereich der Weiterbildung konzentrieren und versuchen, die damit verbundenen Probleme zu diskutieren.

2.1 Evaluationsbegriff

„Evaluation ist ein außerordentlich vielfältiger Begriff []und entzieht sich somit prinzipiell einer abstrakten, die Wirklichkeit gleichzeitig voll umfassenden Definition“ (Wottawa/Thierau 2003, S.13). Dennoch möchte ich in diesem Kapitel versuchen, den Begriff einzugrenzen, um schließlich zu einem – dieser Arbeit zu Grunde liegenden - Verständnis von Evaluation zu gelangen. Zu diesem Zweck werde ich neben der Darstellung verschiedener Definitionsversuche auch die Abgrenzung zur Grundlagenforschung und zum Qualitätsmanagement vornehmen. Beginnen werde ich mit der genaueren Betrachtung des Wortes selbst.

2.1.1 Definitionsversuch

Etymologisch betrachtet wird der Begriff Evaluation aus dem lateinischen Wort valere abgeleitet, welches mit „wert sein“ übersetz werden kann (vgl. Kluge 2002, S.263). Neben der „Bewertung“ ist im Fremdwörterbuch unter dem Begriff der Evaluation auch die „sachu. fachgerechte Einschätzung u. Beurteilung [von Lehrplänen u. Unterrichtsprogrammen bzw. von Forschungsvorhaben] zu finden (vgl. Duden 2000, S.420). Evaluationen haben demnach immer etwas mit einer Wertschätzung oder Bewertung zu tun. Sie lassen sich inhaltlich aber unterteilen in Evaluationen, welche im Alltag stattfinden und wissenschaftliche Evaluationen. Der Begriff Evaluation wird immer häufiger auch in der Alltagssprache benutzt. In den meisten Fällen möchte damit ausgedrückt werden, dass etwas geprüft, bewertet oder beurteilt wurde. Die Nachvollziehbarkeit der Bewertung spielt in diesem Kontext in der Regel aber keine Rolle. Dagegen ist gerade diese Nachvollziehbarkeit für wissenschaftliche Evaluationen von entscheidender Bedeutung.

Wissenschaftliche Evaluationen unterscheiden sich von Alltagsevaluationen im Wesentlichen durch die Anwendung empirischer Forschungsmethoden. Weiter ist eine wissenschaftliche Evaluation immer zielund zweckorientiert. Es gilt eine Sache oder Maßnahme zu überprüfen, zu verbessern oder über sie zu entscheiden. Wissenschaftliche Evaluationen dienen als Planungsund Entscheidungshilfen und haben daher auch mit der Bewertung von Handlungsalternativen zu tun. Evaluationsmaßnahmen sollen dem aktuellen wissenschaftlichen Stand bezüglich Techniken und Forschungsmethoden angepasst sein (vgl. Wottawa/ Thierau 2003, S.14).

In diesem Sinne definiert das ‘Joint Committee on Standards for Educational Evaluation’¹ Evaluation als „die systematische Untersuchung der Verwendbarkeit oder Güte eines Gegenstandes“ (Sanders 2000, S.25). Systematisch wird eine Untersuchung laut Peter Rossi und Howard Freemann (1993) dadurch, dass die grundlegenden Regeln für die Sammlung valider und relevanter Daten gelten.

Sie definieren etwas detaillierter

„Evaluation research is the systematic application of social research procedures for assessing the conceptualization, design, implementation, and utility of social intervention programs“ (Rossi et al. 1993, S.5).

Beide Definitionen zielen darauf ab, durch den gezielten Einsatz sozialwissenschaftlicher Forschungsmethoden zur Verbesserung der Planung und Durchführung, sowie zur Bestimmung der Effektivität und Effizienz von Maßnahmen beizutragen.

Jost Reischmann konkretisiert dies explizit für den Bereich der Weiterbildung noch weiter, indem er eine Definition vorschlägt, die sich aus drei Elementen zusammensetzt:

„Evaluation meint das methodische Erfassen und das begründete Bewerten von Prozessen und Ergebnissen zum besseren Verstehen und Gestalten einer Praxis- Maßnahme im Bildungsbereich durch Wirkungskontrolle, Steuerung und Reflexion“ (Reischmann 2003, S.18).

Evaluation meint demnach erstens das methodische Erfassen, zweitens das begründete Bewerten und drittens das bessere Verstehen und Gestalten. Zentral ist hier nicht nur das methodische Erfassen und damit die Überprüfbarkeit der gewonnenen Daten, sondern auch die begründete Bewertung. Dies bedeutet, es ist unumgänglich zu entscheiden, was als Kriterium für Erfolg und Misserfolg angesehen werden kann. Nur so können die erhobenen Daten, also der „Ist-Wert“ mit dem gewünschten Ergebnis, dem „Soll-Wert“ verglichen werden. Und nur so kann es zu einem besseren Verstehen und Gestalten von Maßnahmen kommen (vgl. Reischmann 2003, S.18f.).

Oft wird Evaluation mit Erfolgskontrolle gleichgesetzt. Evaluation ist aber mehr als nur Erfolgkontrolle. Etwas evaluieren bedeutet nicht nur, etwas zu bewerten, sondern auch es zu registrieren und Ergebnisse umzusetzen. Damit beschreibt Evaluation nicht nur Qualität, sondern erschafft auch Qualität (vgl. Wesseler 1994. S. 671).

Verschiedene Begriffe wie Effizienzforschung, Bewertungsforschung, Wirkungskontrolle, Qualitätskontrolle, Controlling etc. tauchen im Zusammenhang mit

Evaluation auf. Eine genaue Abgrenzung zu jedem einzelnen dieser Begriffe ist im Rahmen dieser Arbeit nicht zwingend notwendig. Dagegen erscheint es mir sinnvoll, näher darauf einzugehen wie es sich mit dem Begriffspaar Evaluation und Evaluationsforschung verhält.

Die Unterscheidung von Evaluation und Evaluationsforschung wurde 1967 von Edward A. Suchman vorgeschlagen. Evaluation ist bei Suchman der Prozess zur Beurteilung des Wertes eines Produktes, Prozesses oder Programmes. Sie erfordert aber nicht notwendigerweise ein systematisches Verfahren oder datengestützte Beweise zur Untermauerung der Beurteilung. In der Evaluationsforschung hingegen geht es nach Suchman explizit um die Verwendung wissenschaftlicher Forschungsmethoden und –techniken. Diese werden eingesetzt, um eine Bewertung durchzuführen. Die Evaluationsforschung betont damit die Möglichkeit des Beweises anstelle einer reinen Behauptung, wenn es um den Wert und/oder den Nutzen einer bestimmten Maßnahme geht (vgl. Suchman 1967, S.27ff.).

Weder diese Unterscheidung noch Versuche anderer Autoren haben sich bis heute einheitlich durchsetzten können. Ich werde mich daher in den meisten Fällen auf den Begriff Evaluation beschränken, auch wenn nach Suchman Evaluationsforschung gemeint ist.

Unter Evaluation verstehe ich eine wissenschaftlich gestützte Evaluation, die sich an der Definition von Reischmann orientiert. Im Evaluationsprozess sollen durch sozialwissenschaftliche Methoden Daten erhoben werden, durch die eine begründete Bewertung ermöglicht wird und die damit zu einer besseren Planung und Gestaltung von Maßnahmen beitragen. In diesem Sinne werde ich den Begriff Evaluation im Folgenden verwenden.

2.1.2 Abgrenzung Evaluation und Grundlagenforschung

Wissenschaftliche Evaluationen bedienen sich ebenso wie die Grundlagenforschung empirischer Forschungsmethoden. Dennoch lassen sich Evaluationsforschung und Grundlagenforschung relativ klar voneinander abgrenzen. Die Grundlagenforschung strebt vergleichsweise zweckfrei nach Erkenntnissen, dagegen ist die Evaluationsforschung häufig an einen Auftraggeber gebunden. Dieser verfolgt wiederum mit der Evaluation eine bestimmte Absicht. Eine

Evaluation muss sich daher meist an extern vorgegebenen Zielbestimmungen orientieren. Ein weiterer Aspekt der Abgrenzung von Evaluationsund Grundlagenforschung liegt in der Wertung. Evaluationen sind immer mit einer Wertung verbunden. Die Grundlagenforschung kann zwar normative Urteile enthalten, dies wird aber nicht stringent gefordert. Dagegen wird in der Evaluationsforschung die Bewertung als Teil des Forschungsauftrags verlangt (vgl. Stockmann 2004, S.14).

In der Grundlagenforschung wird durch theorieinterne Aspekte ein Erkenntnisgewinn erarbeitet, ohne einen unmittelbaren Verwertungsbezug zu haben. Die Bewertung eines Sachverhalts wie sie bei Evaluationen geschieht, macht aber nur dann Sinn, wenn darauf Entscheidungen, also praktische Maßnahmen folgen. Gerade wegen dieses unmittelbaren Praxisbezugs sollten bei Evaluationen besonders die ethisch-moralischen Fragen bedacht werden. Nicht nur die Funktionalität einer Evaluation, sondern auch die damit verbundene moralische Verantwortung sollte eine Rolle spielen, da mittels Evaluationen beratend und oft sogar entscheidend in die Lebensumstände anderer Menschen eingegriffen wird und aufgrund der Wissenschaftlichkeit dabei der Anspruch erhoben wird, über Kompetenzen zu verfügen, welche den „Laien“ fehlen (vgl. Wottawa/ Thierau 2003, S.14).

Die Evaluationsforschung als angewandte Sozialforschung kann aber ebenso wie die Grundlagenforschung das theoretische und methodologische Wissen bereichern und erweitern (vgl. Rossi et al.1988, S.1).

2.1.3 Abgrenzung Evaluation und Qualitätsmanagement

Die Begriffe Evaluation und Qualitätsmanagement werden häufig synonym verwendet oder beziehen sich zumindest auf den gleichen Prozess. Unterschiede sind nicht immer offensichtlich. Es könnte der Eindruck entstehen, Evaluationen werden durch Qualitätsmanagementsysteme abgelöst.

Ein Qualitätsmanagementsystem verfolgt wie eine Evaluation das Ziel, die Qualität eines Prozesses, eines Produkts oder einer Bildungsleistung zu steigern. Trotz des gemeinsamen Ziels sind aber Unterschiede erkennbar. Im Folgenden werde ich kurz auf Gemeinsamkeiten und Unterschiede eingehen, um abschließend eine Aussage darüber treffen zu können, ob es sich bei

Evaluation und Qualitätsmanagement um zwei sich ergänzende oder zwei miteinander konkurrierende Konzepte handelt.

Obwohl – aber vielleicht auch gerade weil - der Qualitätsbegriff eine zentrale Rolle in nahezu jedem Lebensund Gesellschaftsbereich spielt, bleibt er schillernd und wird in unterschiedlichen Bedeutungen verwandt und operationalisiert (vgl. Stockmann 2006, S.23). An dieser Stelle genügt es, relativ kurz darauf einzugehen was unter Qualitätsmanagement verstanden wird. Ein

„Qualitätsmanagement wird definiert als aufeinander abgestimmte Tätigkeiten zur Leitung und Lenkung einer Organisation bezüglich Qualität“ (Zollondz 2002, S.129). Das Qualitätsmanagement soll den Nutzen eines Produkts oder einer Dienstleistung festlegen, zur ständigen Verbesserung beitragen und damit eine weitgehende Fehlerfreiheit gewährleisten. Festlegung und Umsetzung der Qualitätspolitik sind Aufgaben des Qualitätsmanagements (vgl. Stockmann 2006, S.24). Im Rahmen der Implementierung eines Qualitätsmanagementsystems stehen verschiedene Modelle zur Verfügung. Gängige Modelle sind unter anderen: DIN EN ISO 9000:2000, TQM (=Total Quality Management), das Qualitätsmodell der EFQM (European Foundation For Quality Management) und eduQua explizit für Weiterbildungsinstitutionen in der Schweiz. Die nachfolgenden Aussagen über Qualitätsmanagement sind sehr allgemein gehalten und beziehen sich nicht auf ein konkretes Modell.

Wie bereits erwähnt ist die zentrale Gemeinsamkeit von Evaluation und Qualitätsmanagement das Ziel, zu einer Qualitätsverbesserung beizutragen. Was allerdings noch nicht den Umkehrschluss rechtfertig, Evaluationen müssen immer eine Qualitätsverbesserung zum Ziel haben. Hierauf werde ich aber in Kapitel 2.5 noch näher eingehen. „Beide Konzepte wollen – wenn auch in unterschiedlicher Weiserationale Entscheidungsgrundlagen für das Unternehmensoder Programmmanagement schaffen“ (Stockmann 2006, S.34). Und beide Konzepte stellen ein wichtiges Instrument dar, wenn es um die Planbarkeit und Steuerungsfähigkeit politischer, betrieblicher und sozialer Prozesse geht. Eine wesentliche Gemeinsamkeit ist der Glaube an die Möglichkeit von Planung und Steuerung solcher Prozesse. Aber auch bei der Umsetzung sind Gemeinsamkeiten erkennbar. Oft bleiben die durch aufwändige Verfahren und Methoden ermittelten Befunde ohne konkrete Umsetzung in der Praxis. Empfehlungen werden ignoriert oder verlaufen im Sand. Evaluationen und Qualitätsmanagement sehen sich oft mit institutionellen, bürokratischen und damit häufig sehr starren Strukturen und Gewohnheiten konfrontiert. Und nicht selten gilt es, gegen tiefes Misstrauen zu kämpfen. Hierbei spielt neben der Angst vor Kontrolle und den damit verbundenen Konsequenzen auch das Gefühl eine Rolle, in der fachlichprofessionellen Autonomie eingeschränkt zu werden (vgl. Stockmann 2006, S.34). Auf diese Problematik werde ich im Verlauf der Arbeit noch näher eingehen.

Unterschiede zwischen Evaluation und Qualitätsmanagement sind im Wesentlichen auf unterschiedliche Traditionen und historische Ursprünge zurückzuführen (vgl. Wottawa/Thierau 2003, S.9).

Qualitätsmanagementsysteme wurden und werden überwiegend in gewinnorientierten Unternehmen eingesetzt, während Evaluationskonzepte eher von öffentlichen Einrichtungen und Non-Profit-Organisationen genutzt werden. In den unterschiedlichen Bereichen existieren naturgemäß verschiedene Bedingungen bezogen auf Unternehmenskultur sowie Arbeitsweise und einzelne Prozesse. Evaluation und Qualitätsmanagement greifen aber auch auf unterschiedliche wissenschaftstheoretische Ansätze zurück. Qualitätsmanagementmodelle orientieren sich häufig an betriebswissenschaftlich Ansätzen, während Evaluationen ihr methodisches Instrumentarium vor allem der sozialwissenschaftlichen Grundlagenforschung entnehmen. Ein weiterer Unterschied liegt im Anspruch des Qualitätsmanagements, ein allumfassendes und aufeinander abgestimmtes System der Qualitätssicherung zu sein. Damit werden alle Bereiche von der Informationsbeschaffung und –bewertung über das Formulieren von Empfehlungen bis hin zu ihrer Umsetzungen einbezogen. Bei Evaluationen steht die Erfassung und Bewertung von Informationen, die dann in unterschiedlichen Managementsystemen für Steuerungsentscheidungen genutzt werden können, im Vordergrund (vgl. Stockmann 2006, S.36).

Es ist also nicht immer deutlich, wo Evaluation aufhört und wo Management anfängt. Dient aber die Definition, wie sie unter 2.1.1 formuliert wurde als Grundlage, so beschränkt sich auch Evaluation nicht auf die reine Erfassung und Bewertung von Informationen.

Insgesamt sollten die beiden Begriffe nicht widersprüchlich gesehen werden, sondern als sich gegenseitig ergänzend. Dies gilt insbesondere für den Bildungsbereich, wo bis zum jetzigen Zeitpunkt noch überwiegend Evaluationen durchgeführt werden, die Umsetzung von Evaluationsergebnissen aber häufig eher mangelhaft bleibt. Langfristig werden Evaluationen aber nur dann Akzeptanz finden, wenn sie zu rationalen, nachvollziehbaren Entscheidungen und Handlungen führen. Und genau dafür ist eine Verknüpfung von Qualitätsmanagement und Evaluation notwendig. Es bedarf einer professionellen Anwendung von beiden Konzepten in ihrer gesamten Breite und einer Politik, die bereit ist, ihr Handeln an Evaluationsergebnissen auszurichten.

„Auf diese Weise könnte ein wesentlicher Beitrag zur Qualitätsentwicklung im Bildungsbereich geleistet werden“ (Stockmann 2006, S.38).

Da ich mich in dieser Arbeit auf die Untersuchung einer konkreten Weiterbildungsveranstaltung beziehe, macht es durchaus Sinn, dies unter dem Thema ‚Evaluation’ zu tun. Es wurde ein Evaluationsinstrument generiert, welches eine begründete Beurteilung der Veranstaltung ermöglichen soll. Die spätere Nutzung eines Evaluationsinstruments sowie die Entscheidung darüber, welche Konsequenzen aus den Ergebnissen gezogen werden, gehen aber Hand in Hand mit dem Qualitätsmanagement einer Institution.

2.2 Geschichte der Evaluation

Um das Thema Evaluation und die dahinter steckende Idee möglichst ganzheitlich erfassen zu können, ist es sinnvoll auch einen Blick auf die Entwicklung des Evaluationsgedankens zu werfen. Ich werde im Folgenden einen kurzen Abriss über die Geschichte des Evaluationsgedankens geben, indem ich ihn zum Einen in einen größeren historischen Rahmen stelle und zum Anderen auf konkrete Evaluationsgenerationen eingehe.

2.2.1 Geschichtliche Entwicklung des Evaluationsgedankens

Die erforderlichen Grundlagen für die Idee einer empirischen, sozialwissenschaftlich gestützten Evaluation wurden erst im Laufe einer langen geistesgeschichtlichen Entwicklung geschaffen. Ich werde im Folgenden einen kurzen Abriss dieser Entwicklung geben und beziehe mich dabei im Wesentlichen auf die Ausführungen von Heinrich Wottawa und Heike Thierau (2003, S.25ff.).

Bereits in der Urgesellschaft fanden erste Evaluationsversuche technischer Art statt. Empirisch erworbene Kenntnisse über Materialeigenschaften wurden bei der Herstellung von Gerätschaften und Waffen berücksichtigt. Ebenso steht die Entdeckung biologischer Gesetzmäßigkeiten und deren Umsetzung in Ackerbau und Viehzucht in engem Zusammenhang mit evaluationsähnlichen Prozessen. Auch die erste gesellschaftliche Arbeitsteilung – Trennung von Ackerbau und Viehzucht – ist das nutzenorientierte Resultat bewerteter Erfahrungen und löst die frühere Arbeitsteilung nach Alter und Geschlecht ab.

Bereits Aristoteles (384-322 v.Chr.) forderte die empirische Nutzenbestimmung zur Bewertung von gesellschaftlich relevanten Maßnahmen. Dies bezog sich v.a. auf die Überprüfung und Bewertung von Staatsformen. Auch wenn es zunächst bei der theoretischen Forderung geblieben ist, so kann doch von einer wichtigen Entwicklung bezüglich Evaluationen in der griechisch-römischen Antike gesprochen werden.

Die Überlegungen aus der Antike bleiben im Mittelalter erhalten, es kommt aber nicht zur Umsetzung der theoretischen Forderungen. Zwar führt der Philosoph und Theologe Thomas von Aquin (1225-1274) die Systematisierung des aristotelischen Verständnisses von Nutzen in umfassender Weise weiter, insgesamt wird es aber durch das religiös fundierte Gut-/Böse-Prinzip überlagert, an dem sich das Handeln im Mittelalter orientiert. Die empirische Überprüfung des Nutzens einer Sache oder Maßnahme tritt damit weit hinter die spekulative, religiös-moralische Bewertung zurück. Darin ist auch die Unterbrechung der, in der Antike begonnenen Entwicklung empirischer Wissenschaftsansätze und eine erhebliche Innovationsschwäche begründet.

Die Renaissance ist von weitreichenden geistigen Umwälzungen geprägt, welche zu einem starken Aufschwung der empirischen Wissenschaften führen. Diese sind von Innovationsund Evaluationsversuchen in vielen Gebieten begleitet. Eine Vielzahl neuer wissenschaftlicher Erkenntnisse sind kennzeichnend für diese Epoche. Mit Galileo Galilei und Leonardo da Vinci sind nur zwei Wissenschaftler dieser Zeit benannt.

Der enorme Aufschwung der Naturwissenschaften im 17.Jahrhundert bringt eine nutzenorientierte Veränderung der technischen und ökonomischen Entwicklung mit sich. Die Festigung und Institutionalisierung der empirischen Forschung steht in engem Zusammenhang mit der europäischen Aufklärung. Mit dem Utilitarismus breitet sich in der Philosophie eine Denkweise aus, die versucht allgemeine verbindliche Normen mit wissenschaftlichen Mitteln, also evaluationsgestützt zu begründen. Der Utilitarismus wurde von Jeremy Bentham (1748-1832) begründet und später von John Stuart Mill (1806-1873) verfeinert. Sie versuchten Ethik und Politik, Gesetzgebung und Verwaltung zu einer empirisch verifizierbaren und rational kalkulierbaren Wissenschaft zu machen. Als höchstes Beurteilungskriterium von Moral und Recht gilt das Prinzip des Nutzens. Im Utilitarismus kann eine der wesentlichen geistigen Wurzeln der modernen Evaluation gesehen werden. Mit der industriellen Revolution breitet sich das Fabriksystem und damit eine kapitalistische Produktionsweise aus. Die empirischen Wissenschaften werden zielgerichtet und nutzenorientiert zur Lösung gesellschaftlicher Probleme eingesetzt und das utilitaristische Gedankengut wird dadurch gestärkt.

Im 20.Jahrhundert kommt es zu einer explosionsartigen Vermehrung des Wissens in den empirischen Wissenschaften und damit zu einem allmählichen Aufbau eigenständiger Gesellschaftswissenschaften. In diesen entwickelt sich die spezifische Evaluationsforschung als stark expandierende Richtung. Besonders in wenig traditionsgebundenen Gesellschaften, wie bspw. den USA, wird sie in nahezu allen gesellschaftlichen Bereichen zu einer wichtigen Gestaltungshilfe.

Dieser kurze Überblick der geschichtlichen und geistesgeschichtlichen Entwicklung soll die Bedeutung von Gesellschaft, sozialem System und Zeitgeist für die Umsetzung und Verinnerlichung des Evaluationsgedankens skizzieren. Das Bewusstsein, gesellschaftlich relevantes Handeln auch unter Optimierungsaspekten selbst rational gestalten zu können ist entscheidend für den Glaube an die Möglichkeit von gezielten und initiierten Veränderungen. Dieser Glaube ist stark durch die jeweilige Gesellschaft oder das betroffene System geprägt, trägt aber wesentlich zum Erfolg solcher Veränderungen und damit zu einer Optimierung bei.

2.2.2 Evaluations-Generationen "

Nachdem die Evaluationsgeschichte im weitesten Sinne Inhalt des letzten Abschnitts war, möchte ich im Folgenden die einzelnen Evaluationsgenerationen thematisieren. Es geht nicht mehr darum, darzustellen wie sich der Evaluationsgedanke überhaupt als solcher etablieren konnte, sondern um eine Evaluationsgeschichte i.e.S. Dazu werde ich auf eingesetzte Methoden eingehen und Intentionen, mit denen Evaluationen durchgeführt werden, aufzeigen. Ich beziehe mich hierbei auf Matthias Wesseler (1994), der für die Zeit nach dem Zweiten Weltkrieg fünf Evaluationsgenerationen² unterscheidet. In der ersten Evaluationsgeneration ist die ökonomische Effizienz von zentraler Bedeutung. Die Kosten-Nutzen-Analyse steht im Vordergrund. Dabei wird aus dem Verhältnis von Kosten und Nutzen auf die Qualität eines Produkts, einer Tätigkeit oder einer Veranstaltung geschlossen. Aber gerade im Bildungsbereich gestaltet es sich als äußerst schwierig, den Nutzen ökonomisch erfassbar zu machen.

Daher entwickelte sich in den späten 60er Jahren eine zweite Generation, in der die Prozess-Orientierung in den Mittelpunkt rückte. Hier ging es nicht mehr um den Vergleich zwischen Input (Kosten) und Output (Nutzen), sondern der Prozess war von zentraler Bedeutung. Das Bemühen lag darin, nicht nur die Ergebnisse, sondern auch die Qualität des (Lehr-/ Lern)prozesses zuverlässig zu erfassen und dies möglichst auch durch quantitative Methoden zu untersuchen. Die Validität rückte als wichtigstes Kriterium in den Mittelpunkt.

In der dritten Generation lag der Schwerpunkt auf der Entwicklung und Anwendung von zuverlässigen Methoden und Instrumenten. Die Methodenorientierung stand im Zentrum der Aufmerksamkeit und die Zuverlässigkeit der Verfahren war das zentrale Kriterium einer Evaluation. In diesem Kontext wurden aber auch viele quantitative Daten erhoben, deren Bedeutung für einzelne Programme nicht mehr klar erkennbar war. Somit ging die Bedeutung von Evaluationen in den 1980er Jahren stark zurück.

Als Antwort auf diese Entwicklung wurde in der vierten Generation der Schwerpunkt auf die praktische Wirkung einer Evaluation gelegt. Also darauf, welche Auswirkungen eine Evaluierungen tatsächlich auf die

Programmsteuerung haben kann und auch hat. Das wichtigste Kriterium dieser Generation ist die Überzeugungskraft der Ergebnisse.

Die fünfte Generation bemüht sich stark um die Interessen aller Beteiligten. Dabei steht aber nicht eine abstrakt objektive Bewertung im Mittelpunkt. Vielmehr geht es um eine Balance zwischen der Notwendigkeit zu klaren Entscheidungen beizutragen und dem Bemühen ein tiefes Verständnis der komplexen Qualität einer Veranstaltung zu erhalten.

Die chronologische Darstellung der Abfolge spiegelt die wissenschaftliche Diskussion in der Evaluationsforschung wieder. Kennzeichen einzelner Generationen sind auch heute noch in unterschiedlichen Bereichen erkennbar. Die Evaluationsgenerationen vermitteln bereits einen ersten Eindruck davon, mit welchen unterschiedlichen Zielsetzungen und Methoden Evaluationen durchgeführt oder in Auftrag gegeben werden können. Darauf werde ich im Laufe der Arbeit noch detaillierter eingehen.

2.2.3 Evaluationsgedanke

Die Darstellung der geschichtlichen Entwicklung des Evaluationsgedankens und der verschiedenen Evaluationsgenerationen zeigt die Verbundenheit von Evaluation und dem Wunsch innovativ und optimierend zu wirken. Eine Vorstellung über die zu Grunde liegende Idee sowie die Vielfältigkeit und Offenheit des Themas wird möglich. Ich möchte nun versuchen, dies aus heutiger Perspektive zu konkretisieren.

In der Offenheit des Evaluationsbegriffs spiegelt sich die Pluralität gesellschaftlicher Wertungen wieder. Der Glaube an die objektive Wahrheit von Qualität und den absoluten Wert einer Sache oder eines Programms ist, so Wesseler (1994), in unserer Gesellschaft schon lange nicht mehr uneingeschränkt vorhanden. Evaluationen haben demnach die Aufgabe, sich um die Einschätzung des Wertes einer Maßnahme und deren Leistungen in einem gegebenen historischen, sozio-kulturellen und ökonomisch-politischen Kontext zu bemühen. Und darin liegt die Bedeutung von Evaluationen: Orientierung in dem oftmals durch „Ratlosigkeit“ gekennzeichnetem Lehr-/Lernalltag anzubieten, um damit schließlich zu einer „Sensibilisierung durch Evaluation“ (Tietgens et al. 1986, S.24) zu kommen.

Es geht also nicht nur darum, Qualität herzustellen und zu verbessern, sondern vor allem um das Aufzeigen von Handlungsalternativen.

Nachdem Evaluationen in den 1990er Jahren aufgrund ihrer Vielfältigkeit zu den zentralen und vieldiskutierten Themen gehörte, wird heute kaum noch die Frage diskutiert, ob Evaluationen durchgeführt werden sollen oder nicht. Es geht vielmehr um die Frage nach dem wie und welche Konsequenzen daraus gezogen werden können und sollen (vgl. Carstensen/Reissert 1998, S.4).

2.3 Evaluationsgegenstände

So vielfältig die Bereiche sind, in denen Evaluationen stattfinden, so vielfältig sind auch die Evaluationsobjekte. Allein im Bereich der Weiterbildung zählen dazu Veranstaltungen, Programme, Organisationen, Projekte, Personen und vieles mehr³. Eine Systematisierung ist kaum möglich. Ansatzpunkt für eine Evaluation ist aber immer ein bestimmtes Merkmal des Objektes und bei genauerer Betrachtung lassen sich diesen Merkmalen fünf Evaluationsgegenstände zuordnen. Dabei kann es auch von Interesse sein, durch eine größer angelegte Evaluation mehrere Gegenstände gleichzeitig zu untersuchen. Häufig ist es aber nicht möglich alle Merkmale eines Programms oder einer Veranstaltung zu evaluieren. Darum ist es notwendig, vor Beginn deutlich zu machen, was eigentlich Gegenstand der Evaluation sein soll.

Klaus Götz und Peter Häfner (1991) beschränken sich für die Bereiche Schule und Weiterbildung auf drei Evaluationsgegenstände: Lernprozess (Process), Lernerfolg (Output) und Lerntransfer (Outcome).

Wesseler (1994) ergänzt⁴ diese um Kontext und Input als weitere mögliche

Evaluationsgegenstände. Ich persönlich finde diese Erweiterung sinnvoll. Gerade bei größer angelegten, ‚allumfassenden’ Evaluationen können Merkmale dieser Gegenstände von großer Bedeutung sein. Ich werde im Folgenden die einzelnen Gegenstände kurz skizzieren.

Unter Kontext werden sämtliche Rahmenbedingungen verstanden, denen ein Evaluationsobjekt ausgesetzt ist. Dies beinhaltet soziale, kulturelle und ökonomische Faktoren, aber auch Merkmale von Beteiligten oder das vorherrschende politische Klima.

Mit Input werden sehr konkret die materiellen und finanziellen Ressourcen bezeichnet, aber auch Eingangsqualifikationen, Kompetenzen, Zielvorgaben oder vorgegebene curriculare Elemente.

Ist der (Lern)Prozess Gegenstand der Evaluation, werden didaktische und methodische Faktoren untersucht, die das Lernen in seinem Verlaufsprozess beeinflussen können. Ebenso sind Informationsund Kommunikationsstrukturen, sich herausbildende Beziehungen und mögliche Interventionen von außen, Merkmale, die in der Prozessevaluierung untersucht werden.

Unter Output werden Ergebnisse wie bspw. der Lernerfolg verstanden. Untersucht werden dabei kurzfristig beobachtbare Resultate unabhängig davon, ob diese als Ziel beabsichtigt waren oder nicht.

Ist das Outcome Gegenstand einer Evaluation, wird der Lerntransfer untersucht. Dabei soll gemessen werden, wie sich das Gelernte auf neue Situationen übertragen lässt. Evaluiert werden die längerfristigen Folgen des Outputs.

2.4 Evaluationskonzepte

Evaluationen unterscheiden sich nicht nur bezüglich ihrer Gegenstände, sondern auch in der Art und Weise ihrer Durchführung. Da nie alle Merkmale in allen möglichen Beziehungen zueinander und untereinander präzise bewertet werden können, haben sich unterschiedliche Evaluationskonzepte ausdifferenziert. In den folgenden Abschnitten werde ich einzelne Konzepte vorstellen, die auch als „Evaluationsmodelle“ bezeichnet werden können (vgl. Wesseler 1994, S.675f.). Ich habe dabei eine Systematisierung nach zwei Gesichtspunkten vorgenommen. Einerseits nach dem Zeitpunkt der Durchführung, andererseits nach der Art der Durchführung.

2.4.1 Systematisierung nach dem Zeitpunkt der Durchführung

Evaluationen können an drei Stellen bzw. in drei Phasen einer Maßnahme ansetzen. Vor Beginn einer Maßnahme oder dem Start einer Produktion, während der Durchführung dieser oder erst nachdem diese abgeschlossen wurde. Je nach Phase bedarf es einer anderen Analyseperspektive, da unterschiedliche Erkenntnisinteressen verfolgt werden. Aus diesem Grund werden verschiedene Evaluationskonzepte angewandt.

Die diagnostische Evaluation findet vor dem Programmbeginn statt und fungiert als Machbarkeitsstudie. Es wird auch von prognostischer Evaluation gesprochen, da die Untersuchung eine empirisch gestützte Prognose über den Erfolg einer später durchzuführenden Maßnahme abgeben soll. Ebenfalls vor der tatsächlichen Durchführung einer Maßnahme steht die strategische Evaluation. Bei dieser Form der Evaluation geht es darum, zu beurteilen ob die Ursachen des zu untersuchenden Problems richtig erkannt wurden und damit die vorgesehene Maßnahme oder Problemlösung voraussichtlich angemessen sein wird. Als Spezialfall kann noch die Input-Evaluation genannt werden, bei der die für eine bestimmte Maßnahme eingesetzten Ressourcen bewertet werden. (vgl. Wottawa/ Thierau 2003, S.33).

Häufig erscheint auch der Sammelbegriff Kontextevaluation, wobei es um eine bewertete Untersuchung der Voraussetzungen geht. Kontextevaluationen werden vor der sachgerechten Planung einer später zu evaluierenden Maßnahme durchgeführt. Inhaltlich geht es dabei nicht nur um die Erarbeitung der Projektziele sondern auch um die Diskussion über absehbare kontextbedingte Nebenfolgen. Ebenso wird die ethische Bewertung der durchzuführenden Intervention und der daraus gewonnenen Ergebnisse thematisiert (vgl. Wottawa/ Thierau 2003, S.31ff.).

Wenn eine Evaluation durch die Untersuchung der materiellen, personellen, institutionellen, finanziellen und theoretischen Rahmenbedingungen eines Programms in der Phase der Programmentwicklung zum Programmdesign beiträgt, wird auch von einer formativen Evaluation gesprochen. Formativ meint aktiv gestaltend, prozessorientiert und konstruktiv ausgerichtet (vgl. Stockmann 2004, S.16f.).

In der Regel findet die formative Evaluation während eines Programms statt und soll zu dessen Steuerung beitragen (vgl. Wesseler 1994, S.675f.). Sie wird auch als Prozess- oder dynamische Evaluation bezeichnet. Bei Störungen und Änderungen bezüglich Rahmenbedingungen oder Zielsetzung kann sie sofort korrigierend eingreifen. Gerade bei Projekten, die auf einen längeren Zeitraum ausgerichtet sind, ist es sinnvoll, fortlaufend zu evaluieren (vgl. Wottawa/ Thierau 2003, S.31ff.).

Der dritte, für Evaluationen interessante Ansatzpunkt ist die Phase nach dem Ablauf des eigentlich zu evaluierenden Programms. Hier besteht die Aufgabe darin, nach Abschluss eines Programms alle Effekte zu erfassen, zu bewerten und Zusammenhänge aufzudecken. In dieser Phase sind Evaluationen meist summativ, also zusammenfassend, bilanzierend und ergebnisorientiert (vgl. Stockmann 2004, S.16f.). Summative Evaluationen dienen damit einer abschließenden, globalen und zusammenfassenden Bewertung. In diesem Zusammenhang wird auch von Ergebnis-, Outputoder Produktevaluation gesprochen. Inhalt ist aber immer die Bewertung von Ergebnissen. Dabei kann die Bewertung statisch und damit vergangenheitsorientiert oder veränderungsorientiert, also auf neue Maßnahmen ausgerichtet sein (vgl. Wottawa/ Thierau 2003, S.31ff.).

Nach der Durchführung einer Evaluation kann es ratsam sein, eine Meta- Evaluation durchzuführen. In einer Meta-Evaluation werden die gemachten Erfahrungen aufbereitet und zusammengefasst. (vgl. Wottawa/ Thierau 2003, S.31ff.).

2.4.2 Systematisierung nach der Art der Durchführung

Neben dem Zeitpunkt der Durchführung kann auch die Art der Durchführung als Unterscheidungskriterium herangezogen werden.

Dient die Herkunft der evaluierenden Person als Ausgangspunkt, so kann zwischen interner und externer Evaluation unterschieden werden. Bei einer internen Evaluation kommt die evaluierende Person aus dem Programm oder der Institution selbst. Es wird dann auch von Selbstevaluation gesprochen. Ein/e Mitarbeiter/in der Institution oder die, für die Planung und Durchführung der Maßnahme verantwortliche Person selbst ist für die Evaluation zuständig. Bei einer externen Evaluationen, auch Fremdevaluation genannt, wird die evaluierende Person durch eine fremde Institution gestellt. Im Falle einer externen Evaluation kommt es dadurch zu einer personellen Trennung von Evaluierenden und Involvierten (vgl. Wottawa/ Thierau 2003, S.31ff.). Dies hat Vorund Nachteile, welche in einem engem Zusammenhang mit der Funktion einer Evaluation stehen. Darauf werde ich in Kapitel 2.5 noch näher eingehen. Häufig fehlen für eine Fremdevaluation jedoch die finanziellen Mittel.

Weiter kann zwischen offenen und geschlossenen Evaluationen unterschieden werden. Hier hängt die Entscheidung häufig davon ab, wer die Auftraggeber für eine Untersuchung sind. Bei einer geschlossenen Evaluation sind die Ergebnisse ausschließlich für die auftraggebende Stelle zugänglich. Im Gegensatz dazu werden bei einer offenen Evaluation die Ergebnisse in der Regel publiziert.

Intendiert durch die Auftraggeber können Evaluationen parteilich oder überparteilich angelegt sein. Bei der parteilichen Evaluation ist die Studie so anzulegen, dass unabhängig der von empirischen Faktenlage ein bestimmtes Ergebnis auftritt. Gründe für eine solche „vom Auftraggeber gewünschte Parteilichkeit“ kann der Wunsch nach Bekräftigung einer bestimmten politischideologischen Positionen sein. Auch das Bestreben, die eigene Tüchtigkeit zu „belegen“ kann die Motivation für eine solche Evaluation sein (Wottawa/ Thierau 2003, S.33). Speziell oder besonders in Kombination mit einer geschlossenen Evaluation besteht hierbei die Gefahr des Missbrauchs. Eine überparteiliche Evaluation erhebt den Anspruch unabhängig und objektiv zu sein. Allerdings dürfte die Unterscheidung zwischen einer parteilichen und einer überparteilichen Evaluation selten direkt kommuniziert werden; die wenigsten Evaluator/innen werden schließlich offen zugeben, parteilich zu sein.

Bei Evaluationen ist ein vergleichendes aber auch ein nicht-vergleichendes Vorgehen möglich. Eine vergleichende Evaluation soll dazu dienen, klare Entscheidungen zu ermöglichen, wenn es um die Auswahl der besten Alternative geht. Bei einer nicht-vergleichenden Evaluation geht es um die Bewertung einer Maßnahme gemessen an normativen Standards oder vorgegebenen Zielsetzungen (vgl. Wottawa/ Thierau 2003, S.31ff.).

Weiter kann der Fokus einer Bewertung unterschiedlich ausgerichtet sein. Es ist zu unterscheiden, ob konkrete Programmauswirkungen bewertet werden sollen, oder ob festgestellt werden soll, inwieweit eine Maßnahme umgesetzt wurde. Geht es darum Auswirkungen zu erfassen, wird von einer Program Impact Evaluation gesprochen. Soll evaluiert werden, ob eine Maßnahme überhaupt die Chance hatte Auswirkungen zu erzeugen, so findet eine Compliance Evaluation statt (vgl. Wottawa/ Thierau 2003, S.35). Diese Unterscheidung ist besonders dann von Bedeutung, wenn Aussagen über das Zustandekommen eines negativen Resultats getroffen werden sollen.

Abschließend möchte ich noch kurz auf die Methodenwahl als Unterscheidungskriterium eingehen. Hier kann zwischen formaler und informaler Evaluation unterschieden werden. Eine formale Evaluation greift überwiegend auf quantitative, reaktive Methoden zurück. Der Vorteil von quantitativen Evaluationen ist die Möglichkeit relativ schnell viele Personen befragen, die Daten auswerten und zusammenfassen zu können. Nachteil ist der Verlust von Informationen, da nur Antworten auf das gegeben werden, was auch gefragt wurde. Eine informale Evaluation bedient sich dagegen mehrheitlich qualitativer, nicht-reaktiver Methoden. Eine qualitative Evaluation lässt Offenheit für nicht vorgesehene Beobachtungen zu. Häufig werden so offene Antworten und unvorhergesehene Informationen gewonnen. Die Schwierigkeit liegt hier in der zusammenfassenden Auswertung (vgl. Reischmann 2003, S109). Der Paradigmenstreit zwischen qualitativen und quantitativen Methoden ist auch nicht ohne Bedeutung für die Evaluationsforschung geblieben. Die in den 1980er Jahren in Gang gekommene Verständigung darüber „welche Funktionen einzelne Forschungsansätze am besten erfüllen können und welche Kombinationen angebracht sind“ (Tietgens et al. 1986, S.11) erscheint somit, auch bezogen auf Evaluationen, als sinnvoll. Evaluationen werden nicht mehr nur als Lieferanten objektiv quantifizierbarer Daten gesehen, sondern werden durch den interpretativen Ansatz ergänzt. Dem zu Grunde liegt die Auffassung, dass die Wirkung von Bildungsangeboten im mentalen Wert für die Nachfragenden zu suchen sei.

„Gerade heute, unter der Herrschaft der Zahlen, erscheint es besonders angebracht, darauf zu verweisen, dass Bildung etwas ist, was sich in den Menschen vollzieht, was sie für sich aus der Veranstaltungsteilnahme entwickeln, was also unter qualitativem Aspekt gesehen sein will.“ (Tietgens 1993, S.219).

Es kann also durchaus von großer Bedeutung sein, auch und gerade in der Weiterbildungsarbeit mit ‚speziellen oder schwervermittelbaren’ Zielgruppen auf qualitative Methoden zurückzugreifen. Dies scheitert allerdings häufig am Defizit finanzieller und personeller Ressourcen.

[...]

---

¹ Das Joint Committee wurde 1974 durch die American Educational Research, die American Psychological Association und den national Council on Measurement in Education gegründet. Seine Aufgabe bestand in der Revidierung der 1966 publizierten „Standards for Educational and Psychological Tests an Manuals“. 1975 kam es zur Gründung eines neuen Komitees, welches einen Abschnitt über Evaluationen verfassen sollte. In diesem Rahmen wurden Standards für Evaluationen in Bildung und Erziehung formuliert.

² Matthias Wesseler entwickelt dabei anlehnend an die vier Evaluationsgenerationen von Egon G. Guba und Yvonna S. Lincoln eine fünfte Generation.

³ Ich werde im Folgenden der Einfachheit halber überwiegend den Begriff Maßnahmen verwenden, da mir dies insbesondere bezogen auf meinen empirischen Teil eine sinnvolle Bezeichnung scheint. Die Aussagen sind aber in der Regel allgemein gehalten und können auf jedes Evaluationsobjekt übertragen werden.

⁴ Er tut dies anlehnend an Daniel L. Stufflebeam und Douglas M. Windham.