Möglichkeiten der Veranstaltungsevaluation

1. Die theoretischen Grundlagen der Evaluation von Erwachsenenbildung

1.1 Evaluation: Begriffsklärung und allgemeine Grundlagen 1.1.1 Begriffsklärung 1.1.2 Evaluationsebenen und Evaluationsfelder 1.1.3 Arbeitsschritte einer Evaluation

1.2 Ausgewählte Theoriemodelle der Evaluation 1.2.1 Prozess- und phasenorientierte Ansätze 1.2.2 Ebenenorientierte Ansätze 1.2.3 Handlungsorientierter Ansatz

1.3 Zur Zusammenfassung: ‚pädagogischer Qualitätsbegriff’ und Ziele der Erwachsenenbildung

2. Methoden der Veranstaltungsevaluation

2.1 Auswahl der Evaluationsmethoden

2.2 Instrumentarium zu den Evaluationsfeldern einer Bildungsveranstaltung 2.2.1 Evaluation der Planungs- und Vorbereitungsphase 2.2.2 Prozessevaluation 2.2.3 Evaluation des Lernerfolgs 2.2.4 Transferevaluation

2.3 Die Nutzwertanalyse - ein integratives Instrument zur qualitativen Bewertung von Bildungsmaßnahmen

3. Zusammenfassung und Ausblick

1. Die theoretischen Grundlagen der Evaluation von Erwachsenenbildung

1.1 Evaluation: Begriffsklärung und allgemeine Grundlagen 1.1.1 Begriffsklärung

Wenn man sich mit dem Themenbereich Evaluation von pädagogischem Handeln beschäftigt, ist es zunächst notwendig, sich die Bedeutung des Begriffes Evaluation zu erschließen. Der Begriff ‚Evaluation’ ist lateinischen Ursprungs und bedeutet etwa ‚Bewertung’ oder ‚Bestimmung des Wertes’ oder ‚Auswertung’ ¹ . Der Ursprung der Evaluation als wissenschaftliche Bewertung von Handeln geht vermutlich auf die Soziologie zurück, wobei der Ursprung in den Vereinigten Staaten liegt. Dabei ist nicht klar, wann die ersten Evaluationsstudien durchgeführt wurden. Sie erfolgten wohl im Zusammenhang mit der Beurteilung der Wirksamkeit von politischen Reformprogrammen. Dabei gehen die Meinungen allerdings auseinander, ob die Untersuchungen über die Wirkung Roosevelts ‚New Deal’ in den 30er Jahren des 20. Jahrhunderts bereits als Evaluation bezeichnet werden können, oder ob Evaluation erst in den 60er Jahren des vergangenen Jahrhunderts mit der Bewertung der Reformpolitik Johnsons einsetzte. ² Ausgehend von der Soziologie breitete sich das Gedankengut der Evaluation in andere Wissenschaften aus, und „hielt Einzug in das Bildungswesen, das Gesundheitswesen, die Arbeitsmarkt- und Beschäftigungspolitik sowie das Arbeitsleben und wurde im Rahmen von politischen Reformprogrammen eingesetzt.“ 3

Die Definition dessen, was unter Evaluation verstanden wird, ist in der Wissenschaft nicht eindeutig, daher ist es notwendig, für eine Annäherung an den Begriff diejenigen Merkmale herauszufiltern, die bei der Fülle von Definitionsversuchen von Evaluation immer wieder auftreten und damit die Evaluation am besten beschreiben bzw. dem Wesenskern der Evaluation am nächsten kommen. 4

¹ Vgl. BECKER (2000), 7.

² Vgl. GERLICH (1999), 10.

³ GERLICH (1999), 10.

⁴ Vgl. GERLICH (1999), 11.

Gerlich identifiziert hier in etwa folgende wesentliche Merkmale ⁵ , die bereits so von Wottawa und Thierau ⁶ vorgeschlagen werden:

• Evaluation ist Unterstützung für Planung und Entscheidung

• Bei der Evaluation stehen Ziel- und Zweckorientierung im Vordergrund: Praktische Maßnahmen sollen überprüft und verbessert werden.

• Die Evaluation erarbeitet die Grundlagen für Entscheidungen, die zur Verbesserung der praktischen Maßnahmen führt. Sie hat damit primär die Funktion und das Ziel der Handlungsoptimierung.

• Die Verwendung aktueller wissenschaftlicher Techniken und Methoden ist bei der Evaluation - wie bei jeder wissenschaftlichen Arbeit - eine Selbstverständlichkeit.

Zusammengefasst kann Evaluation damit als ein wissenschaftliches Verfahren angesehen werden, dessen Ziel es ist, Handeln zu überprüfen und zu bewerten mit dem Ziel der Optimierung des Handelns. Es geht im Bereich der Erwachsenenbildung damit vorwiegend darum, was „wir für die Zukunft anders und besser machen können, damit Teilnehmer/-innen an Seminaren optimale Lernumfeldbedingungen antreffen und optimale Lernprozesse in Gang kommen können.“ ⁷ Die angewandten Methoden müssen dabei den wissenschaftlichen Standards entsprechen, was im Bereich der Pädagogik konkret bedeutet, dass eine Orientierung an den Anforderungen und Gütekriterien für Methoden quantitativer und qualitativer Sozialforschung erfolgen muss, um wissenschaftlich akzeptierte und verwertbare Ergebnisse zu erzielen. Ein Standard ist dabei „ein Prinzip, auf das sich die in einem Fachgebiet tätigen Praktiker geeinigt haben, und dessen Beachtung dazu beiträgt, dass die Qualität und die Fairneß der jeweiligen beruflichen Tätigkeit - z.B. Evaluation - verbessert werden.“ 8

⁵ Vgl. GERLICH (1999), 11.

⁶ Vgl. WOTTAWA/THIERAU (1990), 9.

⁷ BECKER (2000), 9. Seite 3 ⁸ SANDERS (2000), 24.

1.1.2 Evaluationsebenen und Evaluationsfelder

Im Rahmen der Evaluation von Maßnahmen der Erwachsenenbildung können - analog zum Ablauf von Bildungsveranstaltungen - verschiedene Ebenen und Felder der Evaluation erkannt werden. Dabei orientiert sich die Evaluation an den Ebenen der Bildungsmaßnahme. Ebenen der Bildungsmaßnahme sind ⁹ :

1. Bedarfsanalyse und Festlegung der Zielsetzung der Bildungsmaßnahme 2. Planung, Entwicklung und Vorbereitung der Bildungsmaßnahme 3. Durchführung der Bildungsmaßnahme 4. Feststellung der Ergebnisse im Lernfeld 5. Anwendung des Gelernten (z.B. am Arbeitsplatz)

Den Ebenen der Bildungsmaßnahme entsprechen folgende Evaluationsfelder ¹⁰ :

1. Evaluation des Kontextes und der Ziele der Bildungsmaßnahme 2. Evaluation des Inputs der Bildungsmaßnahme (Teilnehmer, Erwachsenenbildner, Ressourcen) 3. Prozessevaluation (Evaluation des Bildungsprozesses im engeren Sinne) 4. Erfolgskontrolle im Lernfeld 5. Transferevaluation (Erfolgskontrolle im Funktionsfeld)

Die Evaluationsfelder 1-3 stellen dabei die sog. Prozessevaluation dar, da hierbei der Prozess der Bildungsmaßnahme selbst evaluiert wird, also diejenigen Entscheidungsfelder, welche Einfluss auf die Art der Gestaltung der Maßnahme nehmen. Dies kann ggf. während des Verlaufs der Maßnahme geschehen und unter Umständen zu notwendigen Korrekturen am geplanten Verlauf führen. Dies wird auch formative Evaluation genannt. Die Evaluationsfelder 4 und 5 werden als Produkt- bzw. Ergebnisevaluation bezeichnet, was auch mit dem Begriff summative Evaluation benannt wird. Hierbei wird das Ergebnis der Maßnahme evaluiert, wobei zu unterscheiden ist, ob es sich um eine Evaluation im Lernfeld selbst handelt (z.B. Ab-

⁹ Vgl.GERLICH (1999), 12.

¹⁰ Vgl. GERLICH (1999), 13.

schlusstest eines Kurses) oder ob die Evaluation im Funktionsfeld durchgeführt wird (z.B. am Arbeitsplatz des Teilnehmers). Damit beurteilt die „summative Evaluation[...] zusammenfassend die Wirksamkeit einer [...] Intervention, während die formative Evaluation regelmäßig Zwischenergebnisse erstellt mit dem Ziel, die laufende Intervention [mit Intervention ist z.B. eine Bildungsmaßnahme gemeint. M.H.] zu modifizieren oder zu verbessern.“ ¹¹ Neben den Ebenen einer Bildungsmaßnahme, die sich aus ihrem chronologischen Ablauf herleiten, existiert noch eine zweite Struktur von Ebenen bei Bildungsveranstaltungen: „Neben einer Sachebene gibt es eine Erlebnisebene und eine Beziehungsebene.“ ¹² Alle drei Ebenen stehen in wechselseitiger Beziehung zueinander und beeinflussen sich gegenseitig. Dies wird auch in Abbildung 1 dargestellt:

Die Einteilung dieser Ebene geht auf das Gedankengut der Themenzentrierten Interaktion von Ruth Cohn zurück. Bei der Bewertung von Maßnahmen der Erwachsenenbildung besteht die Gefahr, „das Augenmerk vor allem auf die Sachebene zu richten.“ ¹³ Damit werden allerdings wichtige Aspekte menschlicher Kommunikation ausgeblendet, denn für einen gelingenden Dialog, der für eine erfolgreiche Bildungsmaßnahme notwendig ist, sind auch die Beziehungs-und Erlebnisebene entscheidend. Daher muss in die Evaluation neben der Sachebene auch die Erlebnis- und Beziehungsebene einbezogen werden, denn Erfolg oder Misserfolg einer Maßnahme sind auch von diesen Ebenen abhängig.

¹¹ BORTZ/DÖRING (2001), 113.

¹² BECKER (2000), 10. Seite 1 ¹³ BECKER (2000), 10.