Evaluation in der Weiterbildung am Beispiel eines Trainings für Taxifahrer


Diplomarbeit, 2003

201 Seiten, Note: 1,3


Leseprobe

Inhaltsverzeichnis

Einleitung

Teil I - Theoretische Betrachtungen
1 Evaluation in der Weiterbildung
1.1 Grundlagen
1.1.1 Begriffsklärung
1.1.2 Einteilungsmöglichkeiten von Evaluation
1.1.3 Der Nutzen von Weiterbildung als zentrales Problem der Evaluation
1.2 Methoden der Evaluation in der Weiterbildung und ihre Gütekriterien
1.2.1 Befragung
1.2.2 Beobachtung
1.2.3 Tests
1.2.4 Inhaltsanalyse
1.2.5 Methoden aus qualitativer Perspektive
1.2.6 Weitere Methoden und Gütekriterien der Instrumente
1.3 Bildungscontrolling
1.3.1 Die etablierten Methoden .
1.3.2 Die neueren Methoden
1.3.3 Bildungscontrolling als System
1.4 Evaluationsstrategien
1.4.1 Das Modell Kirkpatricks
1.4.2 Die Kosten-Nutzen-Analyse
1.5 Chancen und Grenzen von Evaluation in der Weiterbildung
2 Der Taxifahrer – ein unbekanntes Wesen
2.1 Ein Historischer Rückblick - Von der Kutsche zum Taxi
2.2 Ein Überblick über gesetzliche Rahmenbedingungen und Taxenordnungen
2.3 Allgemeine Informationen zum Beruf Taxifahrer
2.4 Die Einstellung des Taxifahrers zu seinem Beruf
2.5 Die soziale Umgebung des Taxifahrers
2.5.1 Das Verhältnis Taxifahrer und Taxikunde
2.5.2 Die Einstellung des Taxifahrers zu seinen Kollegen
2.5.3 Der angestellte Fahrer und der Taxiunternehmer
2.5.4 Probleme der Taxifahrer mit der Polizei
2.6 Das Bild vom Taxifahrer in der Öffentlichkeit
2.7 Das Weiterbildungsangebot für Taxifahrer
2.8 Die Zukunft des Taxigewerbes

Teil II – Empirische Arbeit
1 Die Forschungsfrage
2 Exploration
2.1 Der Taxikunde
2.2 Der Taxifahrer
2.3 Die Deutscher Bahn AG und DB Bildung
2.4 Die TAXI 33 Servicegesellschaft mbH
2.5 Das Training
2.6 Zwischenresümee
3 Bildung spezifischer Hypothesen
4 Wahl einer geeigneten Untersuchungsform
5 Die Entwicklung eines Instruments zur Datenerhebung und Messung des Erfolgs der Weiterbildung
5.1 Auswahl einer Datenerhebungstechnik
5.2 Operationalisierung und Indikatorenbildung
5.3 Die Konstruktion des Messinstruments
5.3.1 Verwendung der Rating-Skala
5.3.2 Verwendung eines Semantischen Differentials
5.3.3 Verwendung offener Fragen
5.4 Vorstellung des Fragebogens mit operationalen Hypothesen
5.5 Der Pretest
5.6 Einschätzungen der Gütekriterien
6 Durchführung der Untersuchung
7 Ergebnisdarstellung und Erörterung
7.1 Ergebnisdarstellung und Bewertung .
7.1.1 Auswertung der Rating-Skala hinsichtlich des Mittelwertunterschiedes zwischen trainierten und untrainierten Taxifahrern
7.1.2 Auswertung der Rating-Skala hinsichtlich der Unterschiede der Standardabweichungen von trainierten und untrainierten Taxifahrern
7.1.3 Auswertung der Rating-Skala hinsichtlich des Mittelwertunterschiedes zwischen den selbständigen und angestellten Taxifahrern
7.1.4 Auswertung der offenen Fragen
7.1.5 Auswertung der semantischen Differentiale
8 Erörterung der Ergebnisse

Resümee

Literaturverzeichnis

Anlagen
Fragebogen der empirischen Arbeit
Erklärung nach Paragraph 11(3) Diplomprüfungsordnung
Erklärung nach Paragraph 15(4) Diplomprüfungsordnung

Einleitung

Bildung ist mit Sicherheit ein Gut, welches in der Zukunft weiter an Bedeutung gewinnen wird. Sloane (2000) begründet diese Entwicklung anhand verschiedener Trends und Megatrends. Unter anderem ist er der Meinung, dass in Zukunft der „Wandel zum Regelfall“ werden wird und deshalb eine „Wissens- und Informationsgesellschaft“ in der Entwicklung ist (Sloane 2000. S. 95). Gleichzeitig verkürzt sich die Halbwertzeit des Wissens, was dazu führt, dass eine permanente Anpassung an sich verändernde Umweltbedingungen erfolgen muss, um den immer neuen Anforderungen gerecht zu werden. Dies gilt insbesondere für den Bereich der beruflichen Aus- und Weiterbildung, aber auch für den Bereich der individuellen Erwachsenenbildung. Nur Unternehmen, die ein qualitativ hochwertiges Konzept von Aus- und Weiterbildung haben, werden die Fähigkeit besitzen, auf die sich schnell verändernden Umweltverhältnisse zu reagieren. In einem solchen Konzept sollte aber auch eine Bewertung oder Kontrolle der Bildungsmaßnahmen enthalten sein, da Bildung auch einen Kostenfaktor darstellt, deren Investitionen sich für das Unternehmen „auszahlen“ müssen. Der Aspekt einer systematischen Bewertung der Bildungsmaßnahmen ist in vielen Unternehmen noch nicht Bestandteil des Weiterbildungskonzeptes. Eine Studie ergab, dass von amerikanischen Unternehmen nur circa 20% ihre Bildungsmaßnahmen auf den daraus resultierenden Nutzen überprüfen. In anderen Studien wurden ähnliche Ergebnisse gemessen. So evaluierten immerhin noch 75-100% der befragten Unternehmen ihre Bildungsmaßnahmen hinsichtlich der Zufriedenheit. Bei der Lernerfolgsebene waren es noch 25% und bei der Transferebene ganze 10%. Diese Zahlen zeigen deutlich die Ziele der Unternehmen, welche über eine Bewertung der Zufriedenheitsebene selten hinauskommen. Bei der Betrachtung des Zusammenhangs zwischen der Zufriedenheit mit einer Bildungsmaßnahme und den weiteren Ebenen: Lernerfolg, Transfer, Unternehmenserfolg kann festgestellt werden, dass es hierbei keinen statistischen Zusammenhang gibt. Das heißt, das was die Unternehmen hauptsächlich evaluieren oder kontrollieren, hat nur eine geringe Korrelation mit dem für sie daraus resultierendem Nutzen (Vgl. Gülpen 1996. S. 25). Eine Untersuchung an einer Stichprobe deutscher Unternehmen kam zu ähnlichen Ergebnissen. Sie besagt, dass 56% der Unternehmen ihre Evaluationsmaßnahmen als eher unsystematisch und subjektiv einschätzen. Bei der Befragung des Themas Nutzen der Weiterbildungsmaßnahmen gaben 75% der Unternehmen an, dass sie diesen nicht vollständig oder überhaupt nicht erfassen würden (Vgl. Gülpen 1996. S. 25). Bei der Genauigkeit anderer wirtschaftlicher Rechenmodelle, zum Beispiel zu Investitionen, zu denen man Bildungsmaßnahmen zählen kann, ist dies bemerkenswert.

Das ist der Ausgangspunkt unserer Arbeit, welche sich dem Thema Evaluation in der Weiterbildung widmet. Zunächst werden im theoretischen Teil Begriffsdefinitionen, Grundlagen, Methoden und Anwendungsmöglichkeiten der Evaluation vorgestellt. Ein Schwerpunkt ist die Betrachtung eines wichtigen Problemfeldes in der Evaluation von Bildungsmaßnahmen; der Nutzen. In diesem Zusammenhang wird versucht, zwei Konzepte, Bildungscontrolling und Evaluation, sinnvoll miteinander zu verknüpfen, um somit Weiterbildungsprojekten die Möglichkeit zu geben, aus den Tools beider Ansätze Strategien und Methoden auszuwählen. Bei der Betrachtung der Herangehensweisen zeigt sich, dass sie die gleichen Zielsetzungen haben und der einzige Unterschied ihre Herkunft ist. Das zweite Kapitel des theoretischen Teiles stellt bereits eine Verknüpfung mit dem empirischen Teil dieser Arbeit dar. Es ist eine Theorieexploration, in der unser Forschungsgegenstand, die Berufsgruppe der Taxifahrer, beleuchtet wird. Besonderen Wert wurde auf deren Einstellung zu ihrem Beruf, ihr berufliches Umfeld und eine Bestandsaufnahme der gängigen Weiterbildungsmaßnahmen für Taxifahrer gelegt.

Der zweite Teil dieser Arbeit versucht, die gewonnenen Erkenntnisse aus dem theoretischen Bereich praktisch anzuwenden. Dazu wurde in Zusammenarbeit mit der Deutschen Bahn AG und der Taxiruf 33 GmbH aus Frankfurt am Main ein Training ausgesucht, welches sich mit der Weiterbildung von Taxifahrern beschäftigt. Um eine genaueres Bild über diesen Beruf und sein Umfeld zu erhalten wurde dazu zunächst eine intensive Exploration durchgeführt, bei der besonderen Schwerpunkt auf Taxifahrer, Fahrgast, Training, Deutsche Bahn AG und Taxiruf 33 gelegt wurde. Von besonderem Interesse war die Frage, in welchem Beziehungsgeflecht sich der Taxifahrer in seinem Umfeld befindet. Weiterhin wurde hier explorativ untersucht, welchen Nutzen dieses Training aus der Sicht aller Beteiligten haben kann. Der Aspekt Nutzen, der ein zentrales Problem der Evaluation in der Weiterbildung darstellt, war somit der Ausgangspunkt für unseren empirischen Teil. Im Anschluss wurden Hypothesen entwickelt und nach Möglichkeiten der Überprüfung gesucht. Eine Operationalisierung der Hypothesen sowie die Konstruktion eines geeigneten Instrumentes zur Messung des Erfolgs der Weiterbildungsmaßnahme waren die weiteren Schritte. Während der Ergebnisdarstellung und -interpretation und insbesondere in der Erörterung wird der Rückbezug zum Nutzen nachvollziehbar dargestellt.

An dieser Stelle möchten wir uns für die erfolgreiche Zusammenarbeit mit der Deutschen Bahn AG, insbesondere bei Herrn Dambach bedanken. Die Taxiruf 33 GmbH hat uns ebenfalls bei unserer Untersuchung unterstützt. Hier gilt unser besonderer Dank Herrn Rehaag. Auf der wissenschaftlichen Seite möchten wir uns bei Herrn Prof. Haeberlin bedanken, der uns mit Geduld und reichlich Erfahrung betreut hat.

1 Evaluation in der Weiterbildung

Man bildet sich zwar insgemein ein, dass Experimente bei der Erziehung

nicht nötig wären, und dass man schon aus der Vernunft urteilen könne,

ob etwas gut oder nicht gut sein werde.

Man irret hierin aber sehr, und die Erfahrung lehrt,

dass sich oft bei unsern Versuchen ganz entgegengesetzte Wirkungen zeigen

von denen, die man erwartet.

(KANT 1901. S. 79)[1]

Das erste Kapitel ist ein theoretischer Grundstein für den empirischen Teil dieser Arbeit. Es geht es darum darzustellen, welche Formen, Methoden und Ansätze in der Praxis existieren, Bildungsmaßnahmen mit Hilfe sozialwissenschaftlicher Methoden zu bewerten. Denn allein das Zitat des großen Philosophen zu Beginn dieser Seite zeigt, welche Relevanz methodisches Vorgehen bei der Bewertung des Gegenstandes der pädagogischen Forschung - dem Menschen - zukommt. Vernunft, Ratio, Logos oder ähnliche reichen nicht aus, die Komplexität dessen, was in der Pädagogik erforscht oder evaluiert werden soll, zu erfassen.

Um sich der Frage zu nähern, wie Bildungsmaßnahmen bewertet werden können, wurde untersucht, welche Formen, Methoden und Ansätze in der Praxis existieren. Aber auch theoretische Möglichkeiten und Probleme sollen nicht außer Acht gelassen werden. Dazu wird zu Beginn eine Bestimmung der Begriffe Evaluation und Weiterbildung vorgenommen. Danach folgt eine Darstellung der verschiedenen Unterscheidungsmöglichkeiten von Evaluation, welche dazu dient, die Begriffsbestimmung zu erweitern und einen ersten Einblick in die verschiedenen Möglichkeiten des Evaluierens zu bieten. Im Kapitel 1.3 soll dann ein zentraler Aspekt der Evaluation in der Weiterbildung dargestellt werden – das Problem des Nutzens von Weiterbildungsmaßnahmen (Vgl. Eichenberger 1992. S. 42 ff). Dieser ist gerade im Hinblick auf Weiterbildung in Unternehmen ein entscheidender Faktor. Im Anschluss daran wird auf verschiedene Methoden der Evaluation eingegangen, die entweder bereits in der Praxis Anwendung finden oder die in ihrer Konzeption Möglichkeiten zur Anwendung bieten. Es folgen zwei verschiedene Strategieformen, Bildungscontrolling und Evaluation. Ein Einblick, welche Möglichkeiten beide bieten, wird dabei gegeben. Zum Abschluss werden dann noch Probleme oder Anwendungsgrenzen der Evaluation in der Weiterbildung aufgezeigt, die auch darauf hinweisen sollen, was Evaluation leisten kann und was nicht.

1.1 Grundlagen

1.1.1 Begriffsklärung

Ziel dieses Kapitels ist es, die beiden Begriffe Weiterbildung und Evaluation für diese Arbeit zu definieren, um dadurch eine begriffliche Trennschärfe bei der weitergehenden Betrachtung zu ermöglichen.

Zur Definition des Begriffes Weiterbildung schlägt Weisser (2002) vor, dem Deutschen Bildungsrat zu folgen, der im Jahre 1971 eine anerkannte Möglichkeit der Definition veröffentlicht hat. Demnach wird Weiterbildung als die „Fortsetzung oder Wiederaufnahme organisierten Lernens nach Abschluss einer unterschiedlich ausgedehnten ersten Bildungsphase.“ Definiert (Deutscher Bildungsrat 1971. S. 197). Wichtig an dieser Definition ist nach Meinung Weissers, dass damit eine Grenze zwischen Grundbildung und Weiterbildung gezogen wurde. Dadurch, dass nur diese Unterscheidung getroffen wurde, erhält der Bildungsbereich einen offenen Horizont. Relevant an dieser Definition ist, der Ausschluss nicht organisierten Lernens aus der Weiterbildung, der so nach Ansicht Weissers heute nicht mehr durchsetzbar ist denn Weiterbildung befasst sich bereits mit nicht organisiertem Lernen (Vgl. Weisser 2002. S. 19). Der Definition kann ebenfalls entnommen werden, dass Weiterbildung als eigener Sektor im Bildungssystem Deutschlands angesehen werden kann. Der Begriff des „quartären“ (Weisser 2002. S. 115) Sektors oder der „vierten Säule (Laermann 1995. S. 242), der an den schulischen, den berufschulischen und den (fach)hochschulischen Bereich anschließt, hat sich als Kennzeichen der Weiterbildung durchgesetzt. Die Frage, wann ein Mensch Weiterbildung in Anspruch nimmt, versucht Nuissl zu beantworten. Als Ergebnis nennt er die Gründe: Problem, Wunsch, Konflikt, Defizit oder Kontakt. Eine Möglichkeit der Reaktion auf diese Gründe, zum Beispiel neben Selbstlernen, Beratung, Diskussionen u. a., ist die Inanspruchnahme organisierter Weiterbildungsmaßnahmen (Vgl. Nuissl 2000. S. 11 ff). Wenn ein Anlass zur Weiterbildung besteht, gibt es eine Reihe von Anbietern, die dem Wunsch eines Menschen nach Weiterbildung entsprechen können. In Deutschland ist eine Pluralität von Trägerschaften in der Weiterbildung feststellbar. Ein kurzer Einblick in die Vielfalt soll anhand des folgenden Schemas gegeben werden.

Abbildung in dieser Leseprobe nicht enthalten

Abb. 1 Trägerschaftsstruktur deutscher Weiterbildung

Die Trägerschaften sind ein wichtiges Einteilungskriterium für Weiterbildung, da sie ihre Ziel und Inhalte selbst auswählen. Auf Grund der Vielfalt kann im Wesentlichen nur eine strukturelle Unterscheidung getroffen werden. Diese führt auf Wittpoth zurück, der Weiterbildung in berufliche und allgemeine einteilt (Vgl. Weisser 2002. S. 122 ff). Resümierend kann gesagt werden, dass der Begriff Weiterbildung auf Grund seiner komplexen strukturellen Vielfalt nicht leicht zu umreißen ist. Die Möglichkeit der Charakterisierung hinsichtlich der Träger der Weiterbildung bietet immerhin einen ersten Einblick in diesen stark wachsenden Sektor des Bildungssystems.[2]

Für die Aufgabe, Bildungsmaßnahmen zum Beispiel in der Weiterbildung zu bewerten, haben sich zwei Begriffe in der Literatur durchgesetzt, Bildungscontrolling auf der einen und Evaluation auf der anderen Seite. Beide stammen aus unterschiedlichen Fachgebieten, haben jedoch letztendlich das gleiche Ziel. Bildungscontrolling stammt aus dem betriebswirtschaftlichen Sektor mit der Kernaufgabe, Buchhaltungsvorschriften zu verfassen und umzusetzen (Vgl. Gerlich 1999. S. 3 ff). Evaluation stammt aus den geisteswissenschaftlichen Fächern, genauer gesagt aus den Sozialwissenschaften der USA der dreißiger Jahre. Dabei ging es zunächst um die Bewertung von sozialen Programmen des Präsidenten der USA (Vgl. Gerlich 1999. S. 10). Heute existiert eine starke Vermengung zwischen beiden Begriffen. Das ist verständlich, wenn man bedenkt, dass beide das gleiche oder ähnliche Ziel besitzen; Bewertung von Maßnahmen, Prozessen und Ergebnissen. Einige Autoren verwenden die Begriffe synonym, andere definieren Evaluation als Unterfunktion von Bildungscontrolling. Gülpen ist dagegen der Meinung, dass Controlling ein Spezialfall von Evaluation ist (Vgl. Gülpen 1996. 16 ff). Die Autoren möchten hier von der Definition ausgehen, dass beide Begriffe legitime Darstellungen des gleichen Sachverhaltes sind und deshalb kein Unterstellungsverhältnis in der einen oder anderen Richtung vorliegt. Der einzige Unterschied, auf den sich wohl viele Forscher einigen können, ist die unterschiedliche Herkunft beider Begriffe. Deshalb werden auch beide Formen im Teil I, Kapitel 1.3 dargestellt und hinsichtlich ihrer Strategien bewertet.

Die folgenden Aussagen widmen sich der Frage, wie Evaluation definiert werden kann. Zunächst einmal muss, wie bei vielen Begriffen in der sozialwissenschaftlichen Forschung, folgendes konstatiert werden: „Es gibt keine einheitliche Definition für Evaluation; hierbei handelt es sich um einen Sammelbegriff, der mit einer breiten Palette verschiedener Aktivitäten und Konzepte in Verbindung gebracht wird.“ (Riedel 1992. S. 5) Dies soll aber nicht entmutigen, sich weiter mit dem Thema zu beschäftigen. Deshalb werden nun Aspekte des Begriffes dargestellt, die nach Wottawa und Thierau in der wissenschaftlichen Diskussion konsensfähig sind.

- Evaluation ist eine bewertende Tätigkeit, die als Entscheidungs- oder Planungshilfe dient. Evaluation ist also eine Bewertung von Handlungsalternativen.
- Evaluation ist ziel- und zweckorientiert, mit der Aufgabe, Maßnahmen zu überprüfen, zu verbessern und/oder über solche zu entscheiden.
- Maßnahmen der Evaluation sollten dem aktuellen Stand der wissenschaftlichen Techniken angepasst sein. (Wottawa/Thierau 1990. S. 9)

Für die Evaluation von Weiterbildung ist die Definition Reischmanns nützlich, da er den Evaluationsbegriff auf das Feld der Weiterbildung verengt und damit für diese Arbeit ein genaueres Bild liefert.

„Evaluation meint:

1. das methodische Erfassen und
2. das begründetete Bewerten von Prozessen und Ergebnissen zum
3. besseren Verstehen und Gestalten einer Praxis-Maßnahme im Bildungsbereich durch Wirkungskontrolle, Steuerung und Reflexion.“ (Reischmann 2003. S. 18.)

Auf die einzelnen Aspekte dieser Definition soll noch etwas genauer eingegangen werden. Zunächst bedeutet das Erfassen in dieser Definition, dass es methodisch geschieht und danach auch dokumentiert wird.[3] Methodisches Erfassen bezieht sich hier auf eine ganze Reihe verschiedener Methoden, auf die im Teil I, Kapitel 1.2noch genauer eingegangen wird. Wichtig am methodischen Erfassen ist die Tatsache, dass überhaupt nach einer wissenschaftlichen Methode vorgegangen wird. Dabei reicht die Spanne von strengen quantitativen Forschungsdesigns bis hin zu qualitativen Fallstudien. Nicht ausreichend für das methodische Erfassen sind Vorgehensweisen, die nicht nachprüfbar sind (z.B. „ich hatte den Eindruck aus diesem Seminar gewonnen, dass …“). Der zweite Aspekt des Erfassens ist die Dokumentation. Dabei ist wichtig, dass dokumentiert wird, mit welchen Instrumenten welche Daten zustande gekommen sind (Vgl. Reischmann 2003. S. 20).

Als zweite Komponente enthält Evaluation in der Weiterbildung das Bewerten von Prozessen sowie von Ergebnissen. Ein wichtiger Bestandteil dabei ist der Vergleich zwischen einem Soll- und einem Ist-Wert. Der Ist-Wert stellt dabei die gesammelten Daten des Erfassens dar. Der Soll-Wert ist eine Größe, die möglichst vor Beginn der Evaluation festgelegt werden sollte. Nachvollziehbarkeit dieses Soll-Wertes ist hierbei ein wichtiges Kriterium. Dies geschieht durch eine Beschreibung, Erläuterung und Begründung spätestens während der Evaluation so, dass Außenstehende die Möglichkeit haben, alle Schritte nachzuvollziehen. Das Bewerten insgesamt und vor allem die Festlegung des Soll-Wertes stellen oftmals ein Problem in Evaluationsuntersuchungen dar (Vgl. Wottawa/Thierau 1998. S. 83). Dabei gibt es verschiedene Wege, wie die Werte zu ermitteln sind. Manchmal sind sie von den Auftraggebern der Evaluation bereits vorgegeben, manchmal ergeben sie sich aus dem Gegenstand an sich. Oftmals ist es aber auch Aufgabe des Evaluierenden, diese Soll-Werte und deren Kriterien zu bestimmen und zu begründen. Denn ohne die Werte und deren begründete Kriterien „ist eine Evaluation keine Evaluation“ (Reischmann 2003. S. 22).

Das dritte Element von Evaluation besteht aus mehreren Teilen. Dazu gehört zunächst die Kontrollfunktion. Evaluation soll also herausfinden, was abgelaufene Maßnahmen bewirkt haben. Weiter soll Evaluation dazu beitragen, dass kommende Maßnahmen besser gestaltet werden und als letztes soll Evaluation helfen, Bildungsmaßnahmen zu reflektieren. Wichtig bei Evaluationsprojekten ist, dass vorher genau festgelegt wird, welche Ziele erreicht werden sollen. Nur dann entstehen Daten, die in der Bewertungsphase brauchbar sind. Dabei beziehen sich Evaluationsprojekte im Normalfall auf konkrete Situation (Bildungsmaßnahmen etc.). Solch eine Praxisnähe bewirkt im Normalfall, dass dem Projekt nicht so viel Zeit gegeben wird, wie zum Beispiel wissenschaftlicher Forschung. Das bedeutet, dass wenn immer möglich darauf Rücksicht genommen werden sollte (Vgl. Reischmann 2003. S. 24 ff).

Zur Definition eines Begriffes ist es manchmal hilfreich, ihn von anderen abzugrenzen, um damit zu zeigen, was mit ihm nicht gemeint ist. Das soll auch an dieser Stelle geschehen. Der Begriff der Evaluation wird von wissenschaftlicher Forschung abgegrenzt. Evaluation bewertet und behandelt im Regelfall eine spezielle Bildungsmaßnahme oder einen Prozess, dessen Ergebnis nicht auf andere übertragbar ist. Wissenschaftliche Forschung versucht mit ihren Methoden, allgemeine, über eine Einzelsituation hinausgehende Ergebnisse zu erzielen (Vgl. Reischmann 2003. S. 29 ff). Mit anderen Worten besteht der Unterschied darin, „dass pädagogische Evaluation den Wert, pädagogische Forschung dagegen die wissenschaftliche Wahrheit einer Sache einzuschätzen versucht.“ (Glass 1972. S. 169). Weiterhin unterscheidet sich Evaluation von so genannten Feedbacks oder Rückblicken am Ende von Bildungsmaßnahmen. Wenn dabei über die Maßnahme kurz gesprochen wird, fehlt solchen Rückblicken im Vergleich zur Evaluation die Dokumentation der Daten, was dazu führt, dass die Bewertung nicht nachvollzogen werden kann. Diesen Rückblicken soll damit nicht die didaktische Notwendigkeit abgesprochen werden; im Sinne dieser Arbeit soll darunter jedoch aus den dargestellten Gründen nicht Evaluation verstanden werden.

Um den Begriff Evaluation weiter auszudifferenzieren, werden im nächsten Kapitel verschiedene Unterscheidungsmöglichkeiten vorgestellt. Dadurch wird noch deutlicher, was Evaluation bedeutet und in Ansätzen kann bereits daran erkannt werden, welche verschiedenen Formen und Strategien existieren.

1.1.2 Einteilungsmöglichkeiten von Evaluation

Einen sehr guten Überblick über Einteilungsmöglichkeiten von Evaluation bieten Wottawa/Thierau (1990. S. 29) in ihrem Lehrbuch. Dieses Kapitel beschränkt sich aber nur auf Evaluation in der Weiterbildung, was Wottawa/Thierau nicht machen. Deshalb werden nur für Weiterbildungsevaluationen relevante Einteilungs- möglichkeiten dargestellt.

Offene versus geschlossene Evaluation

Der Unterschied zwischen diesen beiden Formen besteht darin, dass bei der offenen Evaluation die zu beantwortenden Fragestellungen fortlaufend dem Evaluationsprozess angepasst werden. Eine Konkretisierung und Verfeinerung sowohl der Messinstrumente als auch der Erfolgskriterien ist hier angebracht. Bei der geschlossenen Evaluation dagegen stehen die Fragestellungen, die Messinstrumente sowie die Kriterien bereits fest und dürfen nicht oder nur unwesentlich verändert werden (Vgl. Eichenberger 1992. S. 22).

Summative versus formative Evaluation

Summativ bedeutet, dass nach der Durchführung Bildungsmaßnahme der Erfolg aufsummiert und mit Hilfe diese Aufsummierung eine Entscheidung über die Maßnahme getroffen wird. Das Ergebnis kann dann lauten, dass die Maßnahme aus bestimmten Gründen nicht das vorher vereinbarte Ziel erreicht hat und deshalb verbesserungswürdig ist. Mit Hilfe summativer Evaluationen ergibt sich quasi ein Endurteil über das zu bewertende Phänomen. Anders verhält es sich bei der formativen Evaluation. Dabei wird im Lernprozess, sinnvoller Weise mehrmals an verschiedenen Stellen, gemessen. Aus diesen Messungen und den daraus resultierenden Bewertungen werden Schlussfolgerungen für das weitere Vorgehen des Lernprozesses gezogen (Vgl. Reischmann 2003. S. 35). Wottawa und Thierau unterscheiden diese Formen nach dem Zeitpunkt in vor, während und nach der Maßnahme (Vgl. Wottawa/Thierau 1990. S. 29). Diese Möglichkeit der Einteilung von Evaluationen nennen Will, Winteler und Krapp (1987. S. 26 ff) Gutachtenmodell, welches der summativen Evaluation und Beratungsmodell, welches der formativen Evaluation entspricht. In ihrer Darstellung ist das Beratungsmodell so angelegt, dass es eher auf vorwissenschaftliche oder explorative Methoden zurückgreift, weil das Kriterium Wissenschaftlichkeit zu Gunsten der Kriterien Interaktionsmöglichkeit und Kommunikation mit den Betroffenen in den Hintergrund tritt.

Vergleichende versus nichtvergleichende Evaluation

Mit dieser Unterscheidung ist nicht gemeint, dass ein Soll- mit einem Istwert verglichen wird, dies war ja Bestandteil der Definition und damit jeder Evaluation. Der Vergleich geschieht hier zwischen zwei Personengruppen oder zwischen verschiedenen Zeitpunkten bei einer Personengruppe. Der Vergleich kann aber auch zwischen verschiedenen Maßnahmen und/oder Ergebnissen geschehen. In der sozialwissenschaftlichen Methodik nennt man diese verschiedenen Vergleichsmöglichkeiten abhängige oder unabhängige Stichproben (Vgl. Bortz 1999. S. 137 ff). Reischmann ermutigt, nach Vergleichsmöglichkeiten zu suchen, sieht aber auch, dass viele Bildungsmaßnahmen so individuell sind, dass sie nicht verglichen werden können. In diesem Fall werden Daten nur aus der betrachteten Maßnahme gesammelt und bewertet. Dies ist die Vorgehensweise einer nichtvergleichenden Evaluation (Vgl. Reischmann 2003. S. 105 f).

Intrinsische versus Output-Evaluation

Entweder wird versucht, Bildungsmaßnahmen nach ihren eigenen Absichten, von innen heraus (intrinsisch) zu bewerten oder es wird bewertet, welche Ergebnisse die Maßnahme hervorgebracht hat (Output). Zur intrinsischen Evaluation gehören folgende Formen:

- Bei der Zielevaluation werden die Ziele einer Bildungsmaßnahme anhand der Kriterien logische Stimmigkeit, Vollständigkeit, Genauigkeit und Überprüfbarkeit bewertet.
- Prozessevaluation ist die Bewertung der Planung und des Ablaufes anhand vorher gewählter Kriterien.
- Mit Produktevaluation ist die Bewertung eines didaktischen Produktes gemeint; zum Beispiel die Planung einer Konferenz, noch bevor dieses Produkt „aus dem Raum getragen wird“.

Outputevaluation versucht zu bewerten, was das Ergebnis einer Maßnahme sein kann. Hierbei lassen sich in der Regel verschiedene Indikatoren finden, die nach der Maßnahme oder nach einem Abschnitt gemessen und bewertet werden können (Vgl. Reischmann 2003. S. 106 ff).

Quantitative versus qualitative Evaluation

Quantitative Evaluation meint die Messung und Bewertung von quantitativen Größen, wie Stückzahlen, Fehlerzahlen, Geldbeträgen Teilnehmerzahlen oder ähnlichem. Aber auch Methoden der Messung von Einschätzungen sind hiermit gemeint, wenn diese sofort in Zahlen „umgerechnet“ werden. Ein Beispiel sind die Ratingsskalen, die oft in Fragebögen eingesetzt werden (Vgl. Diekmann 2001. S. 393 ff). Weitere Möglichkeiten bestehen zum Beispiel im semantischen Differential und der Likertskala. Der Vorteil solcher Messungen besteht in der schnellen und einfachen Auswertung. Qualitative Messung erfasst meist Worte von Personen, die nicht vorher festgelegt sind. Offene Fragen in einem Fragebogen sind ein bekanntes Beispiel. Vorteil dieser Messung ist, dass dabei den zu befragenden Personen die Möglichkeit gegeben wird, genau das zu sagen, was sie wollen. Sie müssen hierbei nicht ihre Meinung zu einem Phänomen in vorgegebene Antwortkategorien „pressen“ (Vgl. Reischmann 2003. S. 108 f).

Hypothesengenerierende versus Hypothesenprüfende Evaluation

„Bei diesem hypothesengenerierenden Verfahren hat man zunächst bestenfalls vage Vorstellungen; man beobachtet im Feld oder blättert Protokolle durch oder spricht mit den Beteiligten und versucht dabei, Klarheit darüber zu gewinnen, was man eigentlich untersuchen will und was die zu erhebenden Indikatoren sind.“ (Reischmann 2003. S. 110) Das Ziel dieser Form der Evaluation ist also das Finden von Hypothesen in dem zu bewertenden Feld. Vorraussetzung dafür ist die explorative Beschäftigung mit dem Feld. Dies kann wieder durch eine ganze Reihe von Methoden geschehen. Wichtig ist an dieser Unterscheidung, dass hypothesengenerierende Evaluation von einem noch recht unbekannten Forschungsfeld ausgeht und versucht, sich dieses zu erschließen. Demgegenüber steht die hypothesenüberprüfende Exploration. Hierbei geht es darum, vorher festgelegte Fragestellungen zu beantworten. Das Themenfeld ist bekannt und Hypothesen über die Bildungsmaßnahme sind bereits formuliert. Davon ausgehend ergibt sich also das Ziel, vorhandene Hypothesen mit geeigneten Verfahren zu überprüfen.

Neben diesen Unterscheidungsmöglichkeiten von Evaluation gibt es noch weitere. Entweder ergibt sich deren Inhalt aus der Bezeichnung oder sie spielen für die Evaluation von Weiterbildung keine grundlegende Rolle. Deshalb werden sie in der folgenden Tabelle nur stichpunktartig aufgeführt.

Abbildung in dieser Leseprobe nicht enthalten

Abb. 2: Weitere Einteilungsmöglichkeiten[4]

Im nächsten Unterkapitel soll es um ein zentrales Problem der Evaluation in der Weiterbildung gehen. Es handelt sich um den Nutzen (Output) einer Weiterbildungsmaßnahme. Dies ist ein zentrales Problem, da in der Literatur zu dem Thema sehr konträre Meinungen existieren.

1.1.3 Der Nutzen von Weiterbildung als zentrales Problem der Evaluation

„Auf welche Art und Weise die Resultate der Weiterbildung zu evaluieren sind, ist umstritten. Die Diskussion entzündet sich insbesondere an der Frage, ob es möglich ist, die Amortisation der Weiterbildungsinvestition, also die Relation zwischen Input und Output zu ermitteln.“(Riedel 1992. S. 28) Die Einschätzung Riedels kann nur geteilt werden, denn in der Befassung mit dem Thema scheinen sich die Autoren nicht sicher zu sein, ob es denn möglich ist, den Nutzen einer Bildungsmaßnahme zum Beispiel in Geldwert zu messen. Beim Input dagegen (also die anfallenden Kosten) gibt es in der Regel übereinstimmende Vorgehensweisen, die später (s. Teil I, Kapitel 1.3) dargestellt werden.

Wie der Output (oder der Nutzen) von Weiterbildungsmaßnahmen gemessen werden könnte, stellt Eichenberger in seinem Buch vor:

- Der Mengenausstoß: Wenn die betroffenen Mitarbeiter eine Tätigkeit ausführen, bei der zählbare Mengen produziert werden, ist dies eine Möglichkeit, vergleichend eine Bildungsmaßnahme zu evaluieren.
- Die Qualitätsausprägung, zum Beispiel die Haltbarkeit eines Produkts, ist als weiteres Merkmal zu nennen, mit dem solch eine vergleichende Evaluation möglich wäre.
- Weiteres Merkmal ist eine angestrebte Kostenstruktur in einem Bereich zum Beispiel in einem Unternehmen. Verursachte Kosten zu zählen und sie mit anderen Abteilungen zu vergleichen, stellt eine dritte Möglichkeit dar.
- Die letzte Möglichkeit, monetäre Evaluation zu betreiben, ist die Messung eines veränderten Zeitbedarfes für Arbeitsaktivitäten von Mitarbeitern (Vgl. Eichenberger 1992. S. 178 f).

Aber auch andere Möglichkeiten der Nutzenbewertung einer Bildungsmaßnahme werden in der Literatur genannt. Mindestens, so Eichenberger (1992. S. 177), sei eine Pauschalschätzung, in der der Nutzung grob kalkuliert wird, durchzuführen. Krekel (2001) stellt als Anforderung an eine Nutzenanalyse in der Evaluation die Betrachtung von mehreren Seiten. Dazu schlägt sie vor, den Nutzen einer Bildungsmaßnahme aus Sicht des Mitarbeiters, der Führungskraft und des Unternehmens zu betrachten, um „... deren Nutzen transparent zu machen“ (Krekel 2001. S. 21). Die folgenden Ausführungen bilden den Teil der Autoren ab, die sich eindeutig dafür aussprechen, dass es in der Evaluation möglich ist, den Nutzen von Bildungsprozessen in Geldwert anzugeben. Gerade in der betrieblichen Weiterbildung hat diese Vorgehensweise auch entscheidende Vorteile. Mit den Abteilungsleitern anderer Bereiche, zum Beispiel Produktion, Einkauf, Vertrieb, lässt sich nach Ansicht jener Autoren in Geldwerten einfacher und unkomplizierter kommunizieren, als mit Nutzenbeschreibungen wie zum Beispiel dem „Entwicklungshilfegrad“ (Riedel 1992. S. 29) einer Bildungsmaßnahme. Mit Hilfe von Geldwerten können Personalabteilungen ihre Investitionen, zum Beispiel Weiterbildungsmaßnahme X, auch besser legitimieren. So kann zumindest scheinbar dargestellt werden, welchen Nutzen - in Geldwerten - eine Bildungsmaßnahme für das Unternehmen hat.

Auf der anderen Seite der Autoren stehen diejenigen, welche die Bewertung von Weiterbildungsmaßnahmen in Geldeinheiten ablehnen. Ihre Gründe sind unter anderem:

- Weiterbildung ist keine Sachinvestition.
- Die Tatsache, dass bei Weiterbildungsmaßnahmen auch besonders kognitive und kulturelle Inhalte und Ziele vermittelt werden und diese Erfolge kaum in Geldwert ausgedrückt werden können, muss beachtet werden können.
- Es stellt sich das Problem der Zurechenbarkeit von Weiterbildungserfolgen, denn die Vielwertigkeit der messbaren Leistungen steht einer Zurechnung zu einer bestimmten Bildungsmaßnahme im Wege.
- Es wird bestritten, dass die Erträge der Weiterbildung in quantitativer Form angegeben werden können (Vgl. Riedel 1992. S. 29 f)

Hier stehen sich zwei Fronten recht unversöhnlich gegenüber. Wünschenswert wäre eine breitangelegte Diskussion in der Evaluationsforschung, bei der eine allgemein anerkannte Definition des Begriffes Nutzen von Bildungsmaßnahmen zumindest angeregt und diskutiert würde. Denn manche Definitionen, zum Beispiel Gülpen (1995. S. 22 f) gehen nur von einer Seite an den Begriff heran. Die Autorin fragt in ihrer Arbeit nur nach dem Nutzen für das Unternehmen, das die Bildungsmaßnahme bezahlt und/oder durchführt. Auf der anderen Seite steht aber der betroffene Mitarbeiter. Dort wird nicht gefragt oder bewertet, welchen Nutzen er aus der Maßnahme haben könnte. Dieser Mangel scheint ein Element von Evaluationsformen zu sein, die den Nutzen von Bildungsmaßnahmen in Geldeinheiten oder anderen Kennzahlen anzugeben versuchen.

1.2 Methoden der Evaluation in der Weiterbildung und ihre Gütekriterien

Nachdem nun dargestellt wurde, was Evaluation in der Weiterbildung ist und welches Hauptproblem darin besteht, wird nun wieder an die Definition angeschlossen. Der erste Teil der Definition besagt, dass Evaluation methodisches Erfassen von Daten voraussetzt. Die Methoden der Datenerfassung werden in diesem Kapitel dargestellt. Dabei wird vor allem gezeigt, welche Bedeutung sie besitzen, welche Arten und Unterarten es gibt und wo dort die Vor- und Nachteile liegen. Da Evaluation der Weiterbildung den Menschen in einer besonderen Situation als Gegenstand hat, haben die Methoden eine sehr große Ähnlichkeit mit den Methoden empirischer Sozialforschung. Zunächst sollen bei der Darstellung die quantitativen Methoden im Vordergrund stehen, im Kapitel 1.2.5 werden die qualitativen ebenso beleuchtet, da beide Ansätze Beiträge zur Evaluation liefern können. Begonnen wird mit der wohl bekanntesten und meist benutzten Methode sowohl in der Evaluation als auch in der empirischen Sozialforschung – der Befragung.

1.2.1 Befragung

„Die Methode Befragung wählt man dann, wenn man Verhalten, Gefühle oder die Art und Weise, wie Menschen ihre Welt sehen und interpretieren, nicht direkt beobachten kann.“ (Reischmann 2003. S. 137) Befragungen sind ein sehr häufig verwendetes Instrument in der sozialwissenschaftlichen Forschung, sie wurde sogar als „Königsweg der Sozialforschung“ (Diekmann 2001. S. 371) bezeichnet. Einer der Gründe ist vermutlich, dass dieses Instrument sehr einfach und schnell durchzuführen ist und mit Hilfe von Computern sehr schnell ausgewertet werden kann. Welche verschiedenen Befragungsmöglichkeiten existieren, zeigt folgendes Schema.

Abbildung in dieser Leseprobe nicht enthalten

Abb. 3: Befragungsarten (Vgl. Reischmann 2003. S. 138)

Es ist ersichtlich, dass Befragungen anhand zweier Dimensionen eingeteilt werden können. Zunächst soll der Strukturierungsgrad erläutert werden. Fragen können in der Dimension Strukturierungsgrad in offene, halboffene und geschlossene Fragen eingeteilt werden. Der Strukturierungsgrad nimmt in dieser Aufzählung zu. Der hohe Strukturierungsgrad von Befragungen, der vor allem bei geschlossenen Fragen existiert, bietet folgende Vorteile:

- Vergleichbarkeit der Antworten
- höhere Durchführungs- und Auswertungsobjektivität
- geringerer Zeitaufwand für die befragten Personen
- geringerer Zeitaufwand bei der Auswertung

(Vgl. Diekmann 2001. S. 408)

Die Vorteile der offenen Fragen, die gleichzeitig die Nachteile der geschlossenen Fragen darstellen, sind die Möglichkeiten der Messung aus der Sicht des Befragten. Geschlossene Fragen bergen immer die Sichtweise des Befragenden in sich. Weiterer Vorteil der offenen Fragen ist, dass noch während der Befragung Probleme der Verständlichkeit o.ä. geklärt werden können. Allerdings ist eine Auswertung offener Befragungen meist sehr zeitintensiv. In der Praxis werden vor allem bei schriftlichen Befragungen oft Mischformen eingesetzt. Wann welche Form verwendet wird, hängt im Wesentlichen davon ab, was genau erfragt werden soll (Vgl. Reischmann 2003. S. 140 ff).

Nun werden die Vor- und Nachteile der zweiten Unterteilung von Befragungen aufgezeigt. Streng genommen, gibt es noch die Telefonbefragung, die aber einer mündlichen Befragung ähnlich ist.

Abbildung in dieser Leseprobe nicht enthalten

Abb. 4: Vor- und Nachteile schriftlicher und mündlicher Befragungen

(Vgl. Reischmann 2003. S. 141 f)

Welche Form angewendet wird, hängt, wie bei der Unterteilung offen/geschlossen, davon ab, was der Forscher messen möchte. Aber auch Überlegungen der Praktikabilität spielen eine Rolle. An dieser Stelle sollen die Ausführungen zu den Befragungen genügen. Für weitere Überlegungen zum Beispiel hinsichtlich der Fragebogenkonstruktion empfiehlt sich Diekmann (2001).

1.2.2 Beobachtung

„Beobachtung ist dann ein Forschungsinstrument, wenn sie

a.) einem ausformulierten Forschungszweck dient,
b.) systematisch geplant ist,
c.) explizit aufgezeichnet/dokumentiert wird und
d.) Kontrollen und Prüfungen auf ihre Aussagequalität unterworfen wird“.

(Merriam 1988. S. 88. Zitiert nach Reischmann 2003. S. 143)

Mit dieser Definition soll die Forschungsmethode Beobachtung von eher zufälligen und nicht dokumentierten Beobachtungen abgegrenzt werden, wie sie quasi im Alltag ständig Grundlage menschlicher Hypothesen über die Welt sind. Auch hier gibt es wieder verschiedene Arten. Zunächst einmal unterscheiden sich Beobachtungen ähnlich wie Befragungen nach ihrem Strukturierungsgrad. Der Strukturierungsgrad bezieht sich auf die Kriterien, nach denen beobachtet werden soll. Hohe Strukturierung bedeutet, dass der Beobachter genau vorgegebene Beobachtungsschemas in seinen Händen hält, nach denen er seine Beobachtungen vollzieht. Wenig strukturierte Beobachtung bedeutet dagegen, dass der Beobachter nur mit einer Fragestellung seinem Forschungsobjekt begegnet und versucht, Beobachtungen zu machen, die seine Fragestellung beantworten könnten. Die Vor- und Nachteile der jeweiligen Ausprägung sind ähnlich denen der Vor- und Nachteile von strukturierten und weniger strukturierten Befragungen. Deshalb wird an dieser Stelle nicht noch einmal näher darauf eingegangen (Vgl. Diekmann 2001. S. 469 ff).

Weitere Formen sind die offenen und verdeckten Beobachtungen. Entscheidend ist die Frage, ob der Beobachtete etwas davon weiß, dass er beobachtet wird oder nicht, zum Beispiel durch Videokameras oder Tonbandgeräte. Verdeckte Beobachtung bietet den Vorteil, dass der Beobachtete nicht auf die Forschungssituation reagiert und dadurch Messfehler vermieden werden können. Nachteil der verdeckten Beobachtung ist, dass der Forscher dort an ethisch/moralische Grenzen wissenschaftlicher Forschung stoßen kann (Vgl. Diekmann 2001. S. 470 f). Gerade in der beruflichen Bildung und deren Evaluation kann es bei der verdeckten Evaluation auch zu rechtlichen Problemen kommen, die solch einer Methode im Wege stehen. Gerade die Beteiligung des Betriebsrates auf Grund arbeitsrechtlicher Mitbestimmung desselben könnte eine verdeckte Untersuchung problematisch gestalten.

Des Weiteren kann teilnehmend und nicht teilnehmend beobachtet werden. Eine teilnehmende Beobachtung bietet sich dann an, wenn der Beobachter eine definierte Rolle in seinem Beobachtungsfeld übernehmen kann. Vorteil der teilnehmenden Beobachtung ist, dass die Beobachtungsobjekte sich weniger gestört fühlen und sich „normaler“ verhalten als bei der nichtteilnehmenden Beobachtung. Nachteil an der Teilnahme ist die Gefahr, durch manchmal unbewusstes Eingreifen in die Situation die Messung zu verfälschen. Vorteil der nichtteilnehmenden Beobachtung ist, dass der Beobachter nicht zwei Dinge gleichzeitig tun muss:

- sich im sozialen Umfeld zu bewegen
- Beobachtungen zu protokollieren

Die Beobachtungen werden dadurch genauer. Welche Möglichkeit wann verwendet wird, hängt wiederum davon ab, was gemessen werden soll. Reischmann rät aber davon ab, Erwachsene verdeckt beziehungsweise ohne ihr Wissen zu beobachten, um nicht in eine peinliche Situation zu gelangen. Es sollten dann andere Methoden vorgezogen werden (Vgl. Reischmann 2003. S. 146 f).

1.2.3 Tests

„Man lässt die Teilnehmer Tätigkeiten ausführen, die sie nach der Bildungsmaßnahme beherrschen müssten und kontrolliert, ob sie dies erfolgreich tun.“ (Reischmann 2003. S. 148) Darum geht es in der Methode Tests. Wichtig ist, dass gemessen wird, ob die Weiterbildung in Richtung der vorher festgelegten Ziele in Bezug auf Fähigkeiten, Kenntnisse und Fertigkeiten eine Veränderung der Teilnehmer bewirkt hat. Die einfachste Möglichkeit ist, standardisierte Tests zu verwenden. Dies sind Tests, die vor ihrer Benutzung mehreren Prüfverfahren unterworfen worden sind, die den Test auf seine Güte überprüfen. Bei diesem Test sind dann die Messfehler bekannt und können bei der Benutzung berücksichtigt werden. Leider gibt es nur in wenigen Fällen in der Weiterbildung die Möglichkeit, auf solche standardisierte Tests zurückzugreifen, denn das Feld der Weiterbildung mit seinen vielen verschiedenen Inhalten ist so komplex, dass nur wenige standardisierte Tests sinnvoll anwendbar wären (Vgl. Reischmann 2003. S. 148 f).

Es gibt aber auch die Möglichkeit, selbst Tests zu erarbeiten. Diese stellen quasi eine Vorform der standardisierten Tests dar, da sie denen zu Grunde liegen, jedoch die Prüfverfahren noch fehlen. Wichtig für die Konstruktion solcher Tests ist das Bemühen um eindeutig auswertbare Aufgabenstellungen und um eine verbindliche Durchführung sowie Auswertung. Dieses Bemühen soll dazu dienen, die Tests intersubjektiv nachvollziehbar und damit auch nachprüfbar zu machen. Zu den so genannten informellen Tests gehören auch nachträgliche statistische Prüfverfahren, welche die Güte der Tests einzuschätzen versuchen. Dabei kann festgestellt werden, dass bestimmte Teile des Tests nicht den Anforderungen genügen; sie sollten dann zur Bewertung nicht herangezogen werden. Entscheidend für die Konstruktion von Tests ist die Festlegung der Bildungsziele bereits vor einer Bildungsmaßnahme und eine daraus resultierende Ableitung für die Aufgabenstellung in den Tests. Beide Aspekte, didaktische Planung und Formulierung von Aufgaben, sind sich so ähnlich, dass bereits bei der Planung einer Weiterbildungsmaßnahme, wenn Tests als Methode der Evaluation angewendet werden sollen, die Aufgabestellungen grob feststehen können (Vgl. Reischmann 2003. S. 148 f).

Daraus wird ersichtlich, dass die Konstruktion eines Tests relativ aufwendig ist, wenn darauf geachtet wird, ihn methodisch und nach statistischen Gütekriterien zu entwickeln. Deshalb unterbreitet Riedel den Vorschlag, Tests meist nur bei sich wiederholenden Weiterbildungsmaßnahmen einzusetzen (Vgl. Riedel 1992. S. 44 f). Die Vor- und Nachteile von Tests in der folgenden Tabelle dargestellt.

Abbildung in dieser Leseprobe nicht enthalten

Abb. 5: Vor- und Nachteile bei der Methode Test in der Evaluation

(Reischmann 2003. S. 150 f)

Der entscheidende Nachteil ist sicherlich der hohe Konstruktionsaufwand. Deshalb werden in der Praxis standardisierte Tests nur dann konstruiert, wenn sie anschließend in vielfältiger Weise eingesetzt werden können. Dies wiederum ist nur der Fall, wenn immer wiederkehrende Weiterbildungsmaßnahmen existieren, die dann mit solch einem Test evaluiert werden können.

1.2.4 Inhaltsanalyse

Eine weitere Methode zur Evaluation ist die Inhaltsanalyse, die manchmal auch „Materialanalyse“ (Reischmann 2003. S. 152) genannt wird. „Die Inhaltsanalyse befasst sich mit der systematischen Erhebung und Auswertung von Texten, Bildern und Filmen. ... Das Verfahren zielt nicht nur auf die Erhebung von Daten, sondern schließt Aspekte der Auswertung, der Analyse von Daten ein.“ (Diekmann 2001. S. 481) Zur Auswertung der Daten existieren vier verschiedene Möglichkeiten. Sie werden in der folgenden Tabelle dargestellt.

Abbildung in dieser Leseprobe nicht enthalten

Abb. 6: Methoden der Inhaltsanalyse

(Vgl. Diekmann 2001. S. 496 ff)

Diese Methode der Evaluation bietet im Vergleich zu den bisher genannten (außer der verdeckten Beobachtung) den Vorteil, dass keine Reaktanz der zu untersuchenden Personen entsteht. Die Personen wissen nicht, dass das, was sie produzieren (der Inhalt), zu dem Zeitpunkt, an dem sie produzieren, später einmal (zum Zeitpunkt der Analyse) einer Analyse unterzogen werden soll. Die Inhaltsanalyse st also eine „nicht-reaktive“ Methode (Diekmann 2001. S. 517 ff). Durch solche Methoden wird ein Messfehler ausgeschlossen, der bei anderen Methoden dadurch entsteht, dass die Versuchspersonen auf die Untersuchung reagieren und sich verhalten, als wenn sie nicht untersucht worden wären. Ein Nachteil ist der relativ hohe Aufwand, der betrieben werden muss, um zu einer methodisch korrekten Inhaltsanalyse zu gelangen, denn ohne methodische Korrektheit ist das Verfahren ein höchst interpretatives und damit schwer nachvollziehbares. Weiterhin ist es schwierig, für verschiedene Bildungsmaßnahmen eine gleiche Inhaltsanalyse durchzuführen, was bedeutet, dass es wenige standardisierte Inhaltsanalysen gibt. Für Unternehmen etc. ist dies ein weiterer hinderlicher Faktor bei der Anwendung der Methode. (Vgl. Reischmann 2003. S. 154 ff)

Nach den quantitativen sollen im folgenden Kapitel die qualitativen Methoden vorgestellt werden. In Abgrenzung zu der in der Literatur teilweise vertretenen Meinung auf der einen Seite, dass quantitative Methoden „Fliegenbeinzählerei“ sei und auf der anderen Seite qualitative Methoden „vorwissenschaftliches Vorgehen“ beinhalte (Lamnek Band 1. 1995. S. 41), wird der Meinung Lamneks gefolgt, beide Methoden als nützliche Komponenten der Sozialforschung anzusehen. Aus der angesprochenen Nähe der Sozialforschung und der Evaluation ergibt sich die Nützlichkeit beider Ansätze für die Evaluation in der Weiterbildung (Vgl. Reischmann S. 221 f).

1.2.5 Methoden aus qualitativer Perspektive

„Sehr oft gewinnt man in der aktuellen methodologischen Diskussion den Eindruck, als fungiere der Begriff „qualitative Sozialforschung“ als eine Art Omnibusbegriff, unter denen sich differenzierbare wissenschaftstheoretische Positionen unterschiedlicher Theorie-Schulen und vor allem eine Unzahl konkreter empirischer Forschungsverfahren problemlos subsumieren ließen. Die Bedeutung des Begriffs ist jedenfalls kaum präzisiert, weshalb es ungemein schwer fällt, die Prinzipien qualitativer Sozialforschung und vor allem die Forschungspraktiken der sich als qualitativ verstehenden Projekte auch nur einigermaßen eindeutig zu bestimmen.“ (Lamnek Band 1. 1995. S. 41 f) Um eine Annäherung an solch ein schwer einzugrenzendes Thema zu erreichen, werden zunächst Ansprüche an empirischer Sozialforschung aus der Sicht eines qualitativen Methodikers erläutert. Danach, in Abgrenzung zu den quantitativen Methoden werden verschiedene methodische Implikationen diskutiert, um im Anschluss auf speziell ausgewählte Methoden einzugehen und die Vor- und Nachteile qualitativer Weiterbildungsevaluation darzustellen.

Lamnek (Band 1. 1995. S. 39 ff) sieht den Anspruch von Sozialforschung darin, dass die Prozesse rekonstruiert werden, durch die die soziale Wirklichkeit in ihrer Struktur hergestellt wird. Voraussetzung dafür ist die nicht beweisbare Annahme, dass Personen eines gleichen Kulturkreises über ähnliche Bewusstseinslagen und somit über einen gewissen Vorrat gemeinsamer Symbole verfügen, die es ihnen ermöglichen, einander zu verstehen. Aus diesem Anspruch und der daraus resultierenden Voraussetzung ergeben sich mehrere Kriterien, nach denen Sozialforschung verlaufen soll.

- Interpretativ: Der Forschungsgegenstand, die soziale Realität, wird als nicht objektiv vorgegeben angenommen. Deshalb ist es notwendig, sie interpretativ zu erfassen.
- Naturalistisch: Dadurch, dass das Untersuchungsfeld naturalistisch ist, soll es mit eben solchen Methoden erfasst werden.
- Kommunikativ: die Regeln der Sozialforschung können nicht losgelöst von Regeln des alltäglichen Kommunikationsprozesses betrachtet werden.
- Reflexiv: Qualitative Sozialforschung soll sich in mehrfacher Hinsicht reflektieren. Daraus ergeben sich theoretische und praktische Konsequenzen.
- Qualitativ: Eine offene, nicht standardisierte Vorgehensweise in der Sozial- forschung tritt dem Untersuchungsgegenstand angemessen gegenüber.

(Vgl. Lamnek Band1. 1995. S. 41)

Um eine weitere Annäherung an die qualitativen Methoden zu erreichen, werden im Folgenden Eigenschaften von qualitativer Sozialforschung erörtert. Dies geschieht in Abgrenzung zu der quantitativen Forschung, da so eine höhere Trennschärfe erreicht werden kann, welche ein besseres Verständnis dafür ermöglichen soll.

Erklären und Verstehen

Erklären bedeutet in der naturwissenschaftlichen Tradition, dass kausale Beziehungen zwischen verschiedenen Untersuchungsobjekten hergestellt werden. Dabei wird eine Trennung zwischen (Forschungs-)Subjekt und Objekt hergestellt. Verstehen bedeutet, das soziale Handeln in dem ihm zugewiesenen Sinne zu verstehen. Erklären lässt sich mit quantitativer Sozialforschung verbinden und Verstehen mit qualitativer. Lange Zeit waren beide Positionen streng von einander getrennt, aber schon Dilthey wies darauf hin, dass beide im wissenschaftlichen Forschungsprozess zusammenwirken können (Vgl. Tschamler 1996. S. 122 ff oder Danner 1998. S. 68 ff).Gleichwohl meint Lamnek, dass noch immer eine Trennung in der Sozialforschung vorhanden sei, weil die qualitative Sozialforschung sich eher um interpretatives Verstehen bemühe und quantitative Forschung objektbezogenes Erklären.

Objektiv und Subjektiv

„Um überhaupt einen Sachverhalt interpretieren zu können [was ein Ziel qualitativer Sozialforschung ist: Anm. d. V.], ist ein bestimmtes Vorverständnis notwendig, d. h. man muss immer schon verstanden haben, um soziale bzw. kulturelle Phänomene verstehen zu können.“ (Lamnek Band 1. 1995. S. 228) Das Vorverständnis über ein gewähltes Forschungsobjekt muss deshalb bei qualitativer Forschung bewusst gemacht werden, damit es nicht zu einem Messfehler in diesem Sinne kommt. Nicht die Ablehnung oder Ausschaltung subjektiver Komponenten ist das Ziel qualitativer Forschung, sondern das Bewusstmachen der Subjektivität und die daraus resultierende Einbeziehung in die wissenschaftliche Untersuchung. Im Gegensatz dazu steht der quantitative Ansatz, bei dem das Ziel ist, zum Beispiel durch Interviewerschulungen den Forscher aus dem Forscherprozess herauszuhalten also eine Trennung zwischen Subjekt und Objekt herzustellen.

Geschlossen und Offen

Bei einer quantitativen Untersuchung herrscht nur während der Exploration des Gegenstandes Offenheit für denselbigen. Danach werden Hypothesen festgelegt aus denen sich die Operationalisierungen ergeben. Sie sind Grundlage für die gesamte Untersuchung und werden nicht mehr verändert. Quantitative Studien sind daher geschlossen für sich während der Untersuchung ergebende Fragen und Hypothesen. Anders ist dies bei qualitativen Forschungsvorhaben. Hypothesen entstehen teilweise während der Untersuchung und sind jeder Zeit veränderbar. Auch die Methoden können während der Untersuchung verändert werden, wenn es dem Forschungszweck dienlich ist. Offenheit existiert ebenfalls hinsichtlich des Untersuchungsfeldes, der Forschungsfragen, der Erkenntnischancen und der Methodologie. (Vgl. Lamnek Band 1. 1995. S. 232 ff)

Starr und Flexibel

Diese Eigenschaft ist eng an die vorher beschriebene gekoppelt. Bei den quantitativen Methoden ist die Generierung der Hypothesen nach der Exploration abgeschlossen. Danach werde diese im Forschungsprozess nicht mehr verändert. Der Forscher, der so arbeitet, hat er aufgrund der Standardisierung nur noch beschränkte Möglichkeiten, auf unvorhergesehene Phänomene zu reagieren. Anders gestaltet sich dies bei den qualitativen Methoden. „Je nach Entwicklung und Ablauf sind andere Methoden, andere Zielvorstellungen und/oder Populationen von Interesse, womit sich eine Erweiterung der Erkenntnismöglichkeiten ergeben kann.“ (Lamnek Band 1. 1995. S. 237) Das flexiblere Vorgehen bürgt zwar Gefahren inkonsistenter Befunde aber auch Chancen der tieferen Ausleuchtung des Forschungsfeldes.

Hohes und niedriges Messniveau

Während bei quantitativen Verfahren häufiger Daten eines höheren Messniveaus, mindestens Intervallskarierung, erhoben werden, benutzen qualitative Verfahren öfter niedrigere Messniveaus; rang- oder nominalskaliert. Nach Meinung Lamneks soll dies aber nicht mit einer geringeren Auswertungsmöglichkeit der Daten verwechselt werden. Hohe Messniveaus bieten zwar bessere statistische Verfahren der Auswertung, haben aber auf der anderen Seite das Problem, reliable und valide Daten zu erzeugen. Die Methoden qualitativer Sozialforschung versuchen, zwar auf niedrigem Messniveau, dafür aber gültiger und verlässlicher, Informationen über ihren Objektbereich zu gewinnen (Vgl. Lamnek Band 1. 1995. S. 243 ff).

Nachdem in den letzen Abschnitten Grundlagen der qualitativen Forschung dargestellt wurde, soll nun eine Beschreibung möglicher Methoden erfolgen, die für Evaluationsmaßnahmen Erfolg versprechend erscheinen.

Qualitative Interviews

Diekmann (2001. S. 443 ff) stellt drei verschiedene qualitative Interviews vor, die in der Forschungspraxis Anwendung finden. Das fokussierte Interview arbeitet mit einem Leitfaden, welcher vor Beginn der Befragung entwickelt wurde. Er enthält einige thematische Gesichtspunkte, welche im Verlauf des Interviews angesprochen werden sollen. Die Reihenfolge der Abarbeitung der Fragen ist dabei dem Interviewer überlassen. Des Weiteren handelt es sich häufig um offene Fragen, die dem Befragten Raum eigener Antworten bieten. Das Interview ist in soweit offen, dass neue Hypothesen, welche sich während der Befragung ergeben und nicht im Leitfaden enthalten sind, berücksichtigt werden können. Die folgenden Kriterien können als Anforderungen an ein fokussiertes Interview aufgefasst werden:

1. Nicht- Beeinflussung
2. Spezifität
3. Erfassen eines breiten Spektrums
4. Tiefgründigkeit und personaler Bezugsrahmen

(Diekmann 2001. S. 447)

Das narrative Interview ist im Vergleich zum Fokussierten noch weniger strukturiert und rückt das Erzählen in den Mittelpunkt des Forscherinteresses. Diekmann (2001. S. 499 ff) schlägt drei Phasen vor, die in solch einer Befragung zu bearbeiten sind. In der ersten Phase wird der Proband stimuliert, zu einem Gegenstand seine Meinung, Ansicht, Perspektive, Einstellung o.ä. zu wiederzugeben. Die zweite Phase besteht in der Erzählung des Probanden. Dabei wird angenommen, dass im Erzählfluss des Befragten eine Dynamik entsteht, welche ihn dazu bringt, Dinge zu berichten, die er bei anderen offenen Befragungen nicht erwähnen würde. Die Darstellungszwänge sind dem Probanden nicht bewusst und verringern die Hemmschwelle während des Erzählens. Allerdings weist Diekmann darauf hin, dass diese Annahme nicht empirisch überprüft wurde (Vgl. Diekmann 2001. S. 450) Aufgabe des Interviewers ist es, den Erzählfluss zu unterstützen, in dem er sich zurückhält und möglichst nicht durch Fragen eingreift. Dies ist Teil der dritten Phase, in der offenen Punkte angesprochen werden oder zu weiteren Erzählsträngen animiert wird.

Eine weitere Form der qualitativen Interviews ist das Problemzentrierte. Es ist stärker strukturiert als das Narrative und der Forscher spielt eine aktivere Rolle während der Befragung. Der Interviewer stütz sich auf einen Leitfaden und es ist möglich, den Erzählfluss des Befragten zu unterbrechen. Wichtig ist die Methode deshalb, weil im narrativen Interview eine Erzählkompetenz vorausgesetzt wird, die nicht bei allen Interviewteilnehmern vorhanden ist (Vgl. Diekmann 2001. S. 450 f) Das Problemzentrierte Interview wird teilweise mit anderen Methoden, zum Beispiel auch quantitativer Methoden, eingesetzt, was zu einer „multimethodischen Konzeption“ (Lamnek Band 2. 1995. S. 146) führt, welche versucht, den Gegenstand aus verschiedenen Perspektiven zu betrachten.

Die Gruppendiskussion

Diese Methode der qualitativen Sozialforschung stammt aus der Markt- und Meinungsforschung der 60iger Jahren. Bis heute wird sie eher selten in der Grundlagenforschung eingesetzt (Vgl. Bortz/Döring 2002. S. 318 f). Gruppendiskussionen können in drei Konzeptionen eingeteilt werden, die jeweils unterschiedliche Erkenntnisinteressen ausdrücken:

- Das Interesse besteht in der nicht-öffentlichen Meinung der einzelnen Individuen, die an einer Gruppendiskussion teilnehmen. Es wird davon ausgegangen, dass eine Diskussion in der Gruppe die Offenlegung der nicht-öffentliche Meinung fördern kann.
- Die situationsunabhängige informelle Gruppenmeinung ist eine weitere Möglichkeit der Zielsetzung von Gruppendiskussionen. Hierfür ist eine natürliche und authentische Gruppendiskussion notwendig.
- Die dritte Art versucht, die situationsabhängige Meinung der Gruppe herauszufinden. Dazu generiert der Forscher eine Situation, in der sie zum Thema wird.

(Vgl. Lamnek Band 2. 1995. S. 144)

Je nach Zielsetzung können Gruppendiskussionen entweder zur Hypothesen-generierung, zum Beispiel während der Exploration, oder auch zur Hypothesenprüfung eingesetzt werden. Je nach Erkenntnisinteresse sind vor der Diskussion viele Entscheidungen zu treffen, welche Form sie haben soll. Diese Entscheidungen können unter anderem beinhalten: künstliche oder natürliche Gruppen, homogene oder inhomogene Gruppen, zufällige oder bewusste Auswahl der Probanden, Diskussionsart, thematische Vorgabe, strukturierter oder nicht strukturierter Ablauf und direkte oder indirekte Diskussionsleitung (Bortz/Döring 2002. S. 320). Der Diskussionsleitung kommt bei solchen Verfahren eine besondere Bedeutung zu. Der Moderator hat als wesentliche Aufgabe, darauf zu achten, dass alle Anwesenden sich gleichberechtigt beteiligen, dass alle geplanten Arbeitschritte durchgeführt werden und dass die Arbeitsergebnisse visualisiert werden. Zur Auswertung der Ergebnisse von Gruppendiskussionen ist es zunächst notwendig, den Verlauf aufzuzeichnen. Dazu schlägt Lamnek vor, Tonbandaufzeichnungen und besser noch Videoaufzeichnungen anzufertigen; unter anderem weil so die Untersuchung im Anschluss nachvollziehbar ist. Diese Aufzeichnungen sind danach zu transkribieren und dann je nach Art der Forschungsfrage einer qualitativen oder quantitativen Auswertungsmethode zu unterziehen. Qualitative Methoden können sein: die hermeneutische, die interpretativ-reduktive oder die interpretativ-explikative.

Die qualitative Inhaltsanalyse:

Das Gegenstück zur quantitativen Inhaltsanalyse beinhaltet nach Ansicht Lamneks verschiedene Techniken, die Anwendung finden können. Dazu gehören die Hermeneutik Danners, die strukturelle Beschreibung Hermanns, die strukturelle Rekonstruktion Budes, die objektive Hermeneutik Oevermanns und die qualitative Inhaltsanalyse Mayrings. Von diesen fünf werden im Folgenden die letzten beiden genauer dargestellt, weil sie nach Lamnek große Bedeutung für die qualitative Sozialforschung haben. Gemeinsam ist allen Techniken, dass sie vor allem bei der Auswertung von Interviews eingesetzt werden und sie den Kriterien qualitativer Sozialforschung (interpretativ, kommunikativ, reflexiv und natürlich) entsprechen (Vgl. Lamnek S. 200 ff).

Die objektive Hermeneutik nach Oevermann:

Das Verfahren stammt aus der familientherapeutischen und sozialisations-soziologischen Tradition und wurde vor allem dazu verwendet, transkribierte Interviewprotokolle auszuwerten. Die Herausarbeitung latenter Sinnstrukturen, die hinter den Einzelhandlungen liegen, ist das aktuelle Ziel des Verfahrens. Relevant ist deshalb die Konzentration auf die wahrscheinlichste Bedeutung eines Phänomens. Lamnek unterscheidet bei dieser Methode drei verschiedene Strategien. Die Feinanalyse interpretiert zunächst den äußeren Kontext und die Art des Interaktionstyps bevor die Textanalyse beginnt. Die Sequenzanalyse analysiert Schritt für Schritt jeden einzelnen Interaktionsbeitrag ohne den inneren und äußeren Kontext zu beachten. Die dritte Strategie, die Strukturanalyse, integriert verfügbare Sozialdaten aller an der Interaktion Beteiligter in die Inhaltsanalyse. Dabei wird zwischen Lebenslauf und subjektiver Schilderung von Handlungsereignissen unterschieden (Vgl. Lamnek Band 2. 1995. S. 218 ff).

Die qualitative Inhaltsanalyse nach Mayring:

Erarbeitet wurde sie im Rahmen eines größeren Forschungsprojektes zu transkribierten Protokollen. Zur Anwendung wurden neun Stufen entwickelt, die vom Forscher zu bearbeiten sind. In einer ersten explorativen Stufe sichtet der Forscher das Material und verfestigt ein System von Kategorien, nach denen das Material untersucht werden soll. Die Aussagen von Befragten sind nach den Regeln der Methodik mit Hilfe der interpretativen Techniken Zusammenfassung, Explikation, Strukturierung herauszuarbeiten und den Kategorien zuzuordnen. Zum Schluss werden Generalisierungen über die Einzelfälle hinaus vorgenommen.

Die qualitative Beobachtung:

Bei dieser Methode untersucht der Forscher im Gegensatz zur quantitativen Beobachtung mit den vorher festgelegten Kategorien das Untersuchungsfeld so, dass unvorhergesehene Aspekte mit berücksichtigt werden können (Vgl. Lamnek Band 2. 1995. S. 247 ff). Offenheit als Prinzip qualitativer Sozialforschung ist dabei sehr wichtig, um zu weitergehenden Ergebnissen zu gelangen. Vor allem wird in diesem Zusammenhang die teilnehmende unstrukturierte Beobachtung eingesetzt, um dem Untersuchungsfeld natürlich und authentisch zu begegnen. Der Beobachter hat dabei die Aufgabe, während der Untersuchung wichtige Informationen zu selektierten, die im Zusammenhang mit den Forschungshypothesen stehen. Dadurch dass er keinen festgelegten Beobachtungsschemata folgt, muss er flexibel reagieren. Während der Beobachtung durchläuft er als Teilnehmender vier Phasen, die von verschiedenen Beobachtern unterschiedlich beurteilt werden. Lamnek sieht daher auch die Gefahr des Rollenkonfliktes zwischen seiner Rolle als Forscher und der aktiven Rolle im Forschungsfeld (Vgl. Lamnek Band 2. 1995. S. 277 ff). Trotz dessen ist die Methode ein wichtiger Bestandteil qualitativer sozialwissenschaftlicher Forschung, da bestimmte Phänomene nicht erfragt, beobachtet oder analysiert werden können.[5]

Nachdem eine Auswahl qualitativer Sozialforschung dargestellt wurde, steht nun die Frage im Mittelpunkt, welche Vor- und Nachteile die Methoden für Evaluationsprojekte haben. Reischmann (2003), der genau diesen Aspekt betrachtet hat, merkt an, dass Vorteile darin bestehen, weil nicht die Perspektive des Forschers erfasst wird, sondern die Deutungsmuster der untersuchten Personen. Weitere Vorteile bestehen in den Kriterien, die sich die qualitative Sozialforschung selbst auferlegt. Offenheit und Flexibilität während der Untersuchung bieten Möglichkeiten, auf Veränderungen zu reagieren, welche quantitative Methoden nicht bieten können (Vgl. Lamnek Band 1. 1995. S.21 ff ). Reischmann (2003. S. 225 ff) sieht bei der Anwendung auch Nachteile. Zum einen ist durch die fehlende Standardisierung ein Interpretationsmessfehler nie auszuschließen. Auf der anderen Seite kann es schwierig sein, bei protokollierten Gruppendiskussionen die Menge an Datenmaterial zu bewältigen. Ein enorm hoher Aufwand wird dabei für die Vorteile bei bestimmten Methoden bezahlt. Wottawa/Thierau (1990) sehen bei ihrer Beschäftigung mit diesem Thema noch ein weiteres Problem. Aufgrund mangelnder Akzeptanz von Ergebnissen qualitativer Evaluation machen sie den Vorschlag, wenn möglich qualitative mit quantitativen Verfahren zu verbinden. Damit könnten die Vor- und Nachteile beider Verfahren gegenseitig optimiert werden.

Die, in den letzten Kapiteln (1.2.1 – 1.2.5) aufgezeigten, Methoden stellen den Hauptanteil sozialwissenschaftlicher Forschung und Evaluation dar. Im nächsten Kapitel soll gezeigt werden, dass noch weitere Methoden zur Evaluation in der Weiterbildung denkbar sind. Darüber hinaus wird auf die Gütekriterien eingegangen, nach denen die Methoden in ihrer Anwendung bewertet werden können.

1.2.6 Weitere Methoden und Gütekriterien der Instrumente

Riedel nennt in seinem Buch weitere Methoden, die hier nicht unterschlagen werden sollen. Dazu gehören:

- Simulationsübungen
- Assessment-Center und
- Mitarbeitergespräch.

(Vgl. Riedel 1992. S. 46 ff)

Die aufgezählten sowie die weiteren Methoden, die Riedel in seinen Ausführungen nennt, werden deshalb nur kurz erwähnt, da sie entweder in den, in dieser Arbeit bereits besprochenen, Methoden enthalten sind oder sie aus verschiedenen Arten bestehen. So zum Beispiel die Assessment-Methode, die meist aus den Methoden Befragung, Beobachtung, Test und Inhaltsanalyse besteht. Das bedeutet, dass die in dieser Arbeit bereist vorgestellten Methoden grundlegende Methoden sind, auch in der Sozialforschung, und deshalb auch so ausführlich behandelt wurden. Eine Klasse von Methoden soll aber noch Erwähnung finden. Die so genannten nicht-reaktiven Methoden, von denen eine die Inhaltsanalyse ist, haben in der empirischen Sozialforschung eine nicht zu unterschätzende Bedeutung. Gerade bei einem schwierigen Forschungsfeld, wenn es den Versuchspersonen zum Beispiel peinlich wäre, ihre wirkliche Meinung zu äußern, können solche Methoden von großem Nutzen sein. Dadurch, dass die zu untersuchenden Personen nicht auf eine Versuchssituation reagieren, da sie von dieser nichts wissen, verhalten sie sich demnach so, wie sie dies ohne eine Versuchssituation täten. Beispiele für solche Methoden in der empirischen Sozialforschung sind: lost-letter-Technik, Verwähltechnik, Experimentelle Briefe.[6] Vielleicht sollte gerade bei schwierigen Evaluationsprojekten noch mehr auf solche Methoden zurückgegriffen werden, denn die Daten sind zumindest von der angesprochenen Messfehlerquelle frei.

Nachdem nun eine Sammlung von Methoden dargestellt wurde, werden im folgenden Wege aufgezeigt, die Methoden in ihrer Anwendung zu bewerten. Denn Daten mit Hilfe einer Methode zu sammeln, ist eine Sache, eine andere, nach der Anwendung der Gütekriterien, ist es, Instrumente zu haben, die Messfehler möglichst ausgeschlossen haben und damit den Kriterien wissenschaftlichen Arbeitens genügen. Begonnen wird mit einem Sonderkriterium, das nur in der Evaluation der Weiterbildung existiert.

Didaktische Nützlichkeit

Hierbei steht die Frage im Vordergrund, ob an der angewendeten Stelle Evaluation überhaupt angebracht gewesen war. Evaluation (s. Teil I, Kapitel 1.1.1) soll zur Steuerung und Reflexion von Weiterbildungsmaßnahmen eingesetzt werden. Deshalb ist es nicht hilfreich, wenn die Evaluation missverständlich angelegt ist oder sie sogar in einem Bereich Schäden hervorruft. Immerhin bedeutet Evaluation auch Bewertung und dies wird nicht immer und auch nicht von allen als etwas Positives erachtet. Deshalb muss die Frage gestellt werden, ob „die Evaluation möglicherweise Effekte [hat: Anm. d. Verfassers], die der Bildungsintervention widersprechen.“ (Reischmann 2003. S. 161)

Objektivität, Reliabilität, Validität

Die drei Gütekriterien sind Klassiker in der empirischen Sozialforschung und auf Grund der Nähe von Evaluation und empirischer Sozialforschung sind sie fester Bestandteil der Gütekriterien von Evaluationsinstrumenten. Um das Kapitel nicht ausufern zu lassen, sollen diese drei Kriterien in einer Tabelle dargestellt werden.

Abbildung in dieser Leseprobe nicht enthalten

Abb. 7: Die Gütekriterien Objektivität, Reliabilität und Validität

(Vgl. Reischmann 2003. S. 56 ff)

Der Zusammenhang der drei Gütekriterien besteht darin, dass Objektivität und Reliabiltät notwenige Voraussetzungen für Validität sind. Mit anderen Worten: ist ein Instrument valide, ist es auch immer reliabel und objektiv. Dabei ist Objektivität noch das schwächere Merkmal gegenüber der Reliabilität. Die Begründung dieser Beziehungen lässt sich gut bei Diekmann (2001. S. 223 ff) nachlesen. Einschränkungen müssen bei der Anwendung dieser Gütekriterien auf qualitative Methoden gemacht werden. Reliabilität als Kriterium der Zuverlässigkeit eines Instrumentes wird in der in dem Schema dargestellten Form von qualitativen Forschern zurückgewiesen. Trotz eines Bemühens um reliable Ergebnisse sind bisher keine qualitativen Verfahren zur Messung des Kriteriums entwickelt worden (Vgl. Lamnek Band 1. 1995. S. 173 ff). Der Objektivitätsbegriff der qualitativen Sozialforschung hebt sich von dem der quantitativen Forschung teilweise ab. Durch interpretative Methoden kann eine Abhängigkeit der Ergebnisse vom Auswerter nicht gewährleistet werden. „Die qualitative Sozialforschung hat einen intersubjektiven Objektivitätsbegriff insoweit, als man sich von der Subjektivität durch Generalisierung lösen möchte.“, so Lamnek (Band 1. 1995. S. 186). Das Konzept der Validität als Gütekriterium wird in der qualitativen Sozialforschung weitgehend anerkannt und kann in ähnlicher Form angewendet werden. Dabei ändert sich jedoch der Charakter ein wenig, weg von einem messtechnischen zum Beispiel Multitrait-Multimethod-Methode (Bortz/Döring 2002. S. 202), hin zu einem interpretativ- kommunikativen Charakter der Validität. Dazu wurden eigene Formen der Validität entwickelt, zum Beispiel die argumentative, kumulative, ökologische und kommunikative (Vgl. Lamnek Band 1. 1995. S. 158 ff).

Die Frage, was getan werden kann, um den Gütekriterien bei Evaluationsprojekten zu genügen, beantwortet Reischmann sehr einleuchtend. Die Objektivität kann dadurch erhöht werden, dass standardisierte Methoden zur Messung benutzt werden. Bei der Darstellung der Methoden wurde das Merkmal Strukturiertheit bereits angesprochen. Ein hoher Strukturierungsgrad bedeutet meist auch eine hohe Objektivität des Messinstrumentes. Eine niedrige Reliabilität liegt meist darin begründet, dass die Befragten bestimmte Fragen nicht verstehen oder keine Meinung dazu haben. Deshalb ist ein Pretest angebracht, um mit dessen Hilfe genau diese Fragen aus dem Bogen herauszufiltern. Zur Reliabilitätsicherung werden Wiederholungsfragen in Fragebögen eingebaut. Reischmann schlägt zur Erhöhung der Validität die Form der „kommunikativen Validierung“ (Reischmann 2003. S. 171) vor. Damit sind das Gespräch mit Experten, Fachleuten, Beteiligten und das Studium der Literatur mit der Frage, ob das gewählte Etikett angemessen ausgewählt worden ist, gemeint. Auf diese Art und Weise kann bei einer Evaluation gesichert werden, dass die Gütekriterien Reliabilität, Objektivität und Validität in einem gewünschten Maße erfüllt sind. Ein weiteres Kriterium für die Durchführung von Evaluationsprojekten hat mit der Güte der Instrumente wenig zu tun, sondern ist ein eher praktisches Kriterium.

Ökonomie

Ökonomisch wird ein Instrument, wenn:

- es schnell durchzuführen ist,
- wenig Materialien zu erstellen oder zu besorgen sind,
- es einfach durchzuführen ist,
- es möglichst auch als Gruppeninstrument anzuwenden ist,
- es schnell und ohne Problem auszuwerten ist.

(Vgl. Reischmann 2003. S. 172 ff)

Diese Merkmale klingen einleuchtend und selbstverständlich, können aber in der Praxis manchmal arge Problem bereiten. Wenn Evaluation zum Beispiel in der betrieblichen Praxis systematisch Einzug halten soll, und diese Arbeit ist insgesamt ein Plädoyer dafür, dann reichen Gütekriterien wie Reliabiltät, Objektivität und Validität nicht aus. Ohne eine einfache, schnelle und problemlose Handhabung eines Instrumentes wird es Bildungsverantwortlichen sicher schwer fallen, ihre Vorgesetzten davon zu überzeugen, Ressourcen, die nach Ansicht der Vorgesetzen meist woanders gebraucht werden, für Evaluationsprojekte einzusetzen.

Die beendet die Darstellung die Methoden der Evaluation in der Weiterbildung. Auf den Einsatz der Methoden in verschiedene Strategien der Evaluation sollen die beiden nächsten Kapitel (1.3 und 1.4) näher eingehen. Dabei wird auf die Unterscheidung aus der Begriffsbestimmung, Evaluation und Bildungscontrolling, zurückgegriffen. Die Strategien beider Ansätze werden in den folgenden Ausführungen dargestellt, um so einen Überblick über das zu erhalten, was aktuell in der Theorie und in der Praxis an Evaluation im Bereich der Weiterbildung stattfindet.

1.3 Bildungscontrolling

„Die heute üblichen subjektiven Stimmungsabfragen und Resonanzbögen zum Schluss von Bildungsveranstaltungen liefern als alleiniges Kontrollinstrument kaum Aussagen über die in den Arbeitsalltag übertragbaren Lernerfolge! Bis auf Aussagen über das pünktliche Einhalten von Mittagspausen liefern sie vielleicht noch Aussagen über den Entertainmentgrad des Trainers (und sind damit von jedem Profi-Trainer zu manipulieren).“ (Wilkening 1986. S. 458.) Um dieser in heutigen Unternehmen normalen Situation (s. Einleitung) entgegenzuwirken, muss Bildungscontrolling systematisch erfolgen. Deshalb sollen zunächst bestehende Methoden übersichtlich dargestellt werden, um dann im Anschluss auf Neuere einzugehen.

Eine mögliche Klassifizierung der unterschiedlichen Controllingaktivitäten im Bildungsbereich ist hier dargestellt und dient dem Überblick über die bestehenden Maßnahmen. Danach sollen die einzelnen Aktivitäten etwas genauer definiert werden. Die folgende Abbildung geht auf die Darstellung Feiges (1993. S. 516) zurück. Ähnlich dieser Einteilung geht Becker (1996) vor, in dem sie zunächst ebenfalls in qualitatives und quantitatives Bildungscontrolling unterscheidet, dann aber andere Unterteilungen vornimmt, die aber denen Feiges strukturell äquivalent sind. Eine andere Einteilung beschreibt Graf (1992). Er unterteilt Controlling-Aktivitäten in Kosten-, Effizienz- und Effektivitätscontrolling.

Abbildung in dieser Leseprobe nicht enthalten

1.3.1 Die etablierten Methoden

Zunächst geht es darum, die etablierten Strategien des Bildungscontrollings darzustellen und genauer zu beleuchten. An mancher Stelle wird dazu mit Beispielen aus der Praxis gearbeitet, die den theoretischen Ansatz etwas einleuchtender gestalten sollen.

Ökonomisches Bildungscontrolling:

Diese Form des Bildungscontrollings versucht, eine Input-Outputrelation herzustellen, in dem die Ausgaben für Bildung berechnet und dem daraus resultierenden Gewinn gegenübergestellt werden. Zu nennen sind zwei bedeutende Theorieansätze:

Hentze: Hier geht es um die Messung der sogenannten Grenzproduktivität der Arbeit, die dem Einsatz von Bildung gegenübergestellt wird. Es handelt sich dabei um ein sehr praxisfernes Modell, bei dem die Schwierigkeit darin besteht, die Grenzproduktivitäten zu definieren und zu messen (Vgl. Feige 1993. S. 516).

Eichenberger: Hier wird der Bildungserfolg ebenfalls an der Input-Outputrelation festgestellt. Dazu definiert er drei Gleichungen:

Effizienz = Bildungseinheiten/Input

Effektivität = Nutzenoutput/Bildungseinheiten

Rentabilität = Nutzenoutput/Input

Die Problematik liegt in der Nutzenschätzung, die für die dargestellten Gleichungen dringend erforderlich ist. Sie soll mit Hilfe von Mitarbeiter- gesprächen durchgeführt werden.

Es existieren auch Möglichkeiten, Bildung mit Hilfe betriebswirtschaftlicher Instrumente zu kontrollieren:

Bildungsrendite = durch Bildung erzielte Deckungsbeiträge x 100

Kosten des Bildungscontrollings

(Vgl. Feige 1993. S. 516 f)

Ein Beispiel der Sparkassenakademie Bayern soll kurz erwähnt werden. Dort wird ein monetäres Ergebnis für ein Rentabilitätscontrolling dadurch erzielt, dass eine Deckungsbeitragsanalyse durchgeführt wird. Mit Hilfe dieser und Beurteilungen vor beziehungsweise nach einem Seminar kann dann in Äquivalenz zum Jahreseinkommen des Mitarbeiters ein Nutzen (oder kein Nutzen) einer Bildungsmaßnahme pro Mitarbeiter in Geldwert berechnet werden (Vgl. Wickel-Kirsch/Mummenthal 2000. S. 636 f).

Kennzahlencontrolling:

Kennzahlen sind in der betrieblichen Praxis ein altbewährtes Rezept zur Erfassung und Steuerung verschiedener Systeme. So definiert sich auch das Kennzahlenmodell im Bildungscontrolling. Die Art der Kennzahlen ist eingebettet in die Unternehmensphilosophie und leitet die Art der Kennzahlen eben daraus ab. Ist zum Beispiel ein Unternehmensziel, dass Mitarbeiter pro Jahr mindestens 20 Tage externe Weiterbildung betreiben sollten, so ist die Kennzahl, die zu kontrollieren ist: Weiterbildungstage/Mitarbeiter/Jahr. Kennzahlen sollten mit Hilfe von EDV-gestützten Systemen erfasst und ausgewertet werden. Dabei ergibt sich eine sehr kostengünstige Möglichkeit, einen vernünftigen Soll-Istvergleich durchzuführen. Die Ergebnisse dienen dann zur Steuerung und Planung weiterer Bildungsaktivitäten im Unternehmen (Vgl. Feige 1993. S. 516). Kennzahlen werden manchmal auch Äquivalenzziffern im Bildungscontrolling genannt. Das Prinzip ist das Gleiche: zur Darstellung, Kontrolle und Planung werden Daten herangezogen, die in Beziehung zu anderen Daten gesetzt werden. Ein Eindruck von den Bildungsaktivitäten wird dadurch gewonnen, dass solche Äquivalenzziffern sehr gut miteinander verglichen können, vor allem in der Dimension der Zeit.

- Trainingskosten in % vom Gesamtumsatz des Unternehmens
- Trainingskosten in % der Gesamtpersonalkosten
- Ausfallzeiten durch Trainingsmaßnahmen in % des

durchschnittlichen Krankenstandes

(Vgl. Wilkening 1986. S. 457)

- Arbeitszufriedenheit
- Fluktuation
- Produktionsmenge

(Vgl. Riedel 1992. S. 55)

Der Kennzahlen- oder Kennziffernansatz ist eher ein indirekter Evaluationsansatz. Das Problem besteht nämlich in dem monokausalen Zusammenhang zwischen Kennziffer und Weiterbildungserfolg, der nicht zu beweisen ist. Dieser Ansatz dient deshalb meistens dazu, Vergleichsmöglichkeiten zu schaffen. Anhand der Vergleichsmöglichkeiten, zum Beispiel zwischen Branchen, Themen, Zielgruppen (Feige 1993. S. 517), können Entwicklungen erkannt werden, die für die Evaluation von Weiterbildungsmaßnahmen interessant sind. In Zusammenhang mit den Kennzahlen steht das so genannte Benchmarking (Krekel, Bardeleben 2000. S. 115). „Benchmarking ist ein kennzahlengestütztes Verfahren, das mit Hilfe eines Vergleiches mit anderen, z.B. Abteilungen, Bereichen, Unternehmen, Ländern, einen Lern- und Verbesserungsprozess in Gang setzt.“ Kennzahlen sind hierfür eine wichtige Voraussetzung, weil sie Daten für den Vergleich des Benchmarkings liefert.

Durchführungscontrolling:

Die Frage, die dem Durchführungscontrolling zugrunde liegt, ist folgende: Wird der richtige Teilnehmer zur richtigen Zeit, am richtigen Ort, vom richtigen Referenten, mit der richtigen Methodik und Didaktik geschult? Bereits die Frage impliziert schon, dass dieses Controlling kein rein quantitatives Verfahren mehr sein kann. Zunächst geht es um die Bedarfsermittlung bei Mitarbeitern und Vorgesetzten gleichermaßen. Dies kann in Workshops geschehen, aber auch durch zentral durchgeführte Befragungen, meist in schriftlicher Form. Auch hier muss sichergestellt sein, dass der Mitarbeiter, der an einer Bildungsveranstaltung teilnehmen soll, über deren Sinn informiert ist und ebenso darüber, welche Folgen eine mögliche Ablehnung der Maßnahme für ihn hat (Vgl. Feige 1993. S. 518).

Aus den Ergebnissen der Bedarfsermittlung ergibt sich die Weiterbildungsplanung, bei der alle oben dargestellten Aspekte der Frage berücksichtigt werden müssen. Zunächst muss die Frage nach der Klassifizierung des Bedarfes eruiert werden. Dann müssen die Lernziele und Inhalte einzelner Bildungsmaßnahmen geklärt werden, die in der Frage nach Referenten, Zeit, Ort und Methodik der Veranstaltung münden. Schließlich ergeben sich noch Maßnahmen der organisatorischen Art, z.B.: Sind die Einladungen rechtzeitig verschickt worden? Sind alle notwendigen Lernmittel an Ort und Stelle? Wie ist der Ablauf hinsichtlich Pausen und Verpflegung? Denn gerade ungenügende Planungsgewissheit der Teilnehmer führt zu einer geringeren Motivation und damit zu einem geringeren Lernerfolg (Vgl. Feige 1993. S. 518).

Nach der Steuerung der Bildungsmaßnahmen ergibt sich die Problematik der Auswertung oder Bewertung der Maßnahmen hinsichtlich ihrer Durchführung. Dies kann bereits während der Bildungsmaßnahmen oder aber danach geschehen. Es sollten dabei alle beteiligten Personen berücksichtigt werden. Die Messung erfolgt meist mit Hilfe einer Befragung (schriftlich, mündlich oder telefonisch). Ist ein Soll-Istvergleich hergestellt, mündet er in Steuerungsmaßnahmen für zukünftige Bildungsaktivitäten. Wenn dieser Schritt nicht geschieht, hat der gesamte Aufwand außer einem Blendungseffekt, dass überhaupt etwas getan wird, keinerlei controllingrelevanten Sinn gehabt (Vgl. Feige 1993. S. 518).

[...]


[1] Gefunden wurde dieses, für diese Arbeit sehr passende, Zitat bei Beywl 1999 S. 29.

[2] Eine interessante Rück- und Vorschau auf die Weiterbildung in Deutschland und Europa liefern Jagenlauf, Schulz, Wolgast (Hrsg.) 1995.

[3] Diekmann verweist gerade auf diesen Punkt in seinem Grundlagenwerk hin, „um die Wahrscheinlichkeit einer verzerrten Evaluation zu verringern“ oder diese Verzerrung nachvollziehbar zu machen. (Diekmann 2001. S. 35.)

[4] Diese weiteren Unterscheidungen lassen sich ausführlich nachlesen bei: Wottawa/Thierau 1990. S. 28, Eichenberger 1992. S.23, Reischmann 2003. S.109 f.

[5] Ein sehr anschauliches Beispiel liefern Bortz/Döring (2002. S. 339). Auch wenn es als Cartoon dargestellt ist, zeigt es deutlich den Nutzen von Beobachtung im Feld.

[6] Diese Art der Methoden ist sehr gut nachzulesen bei Diekmann 7. Auflage 2001. Kapitel XIII.

Ende der Leseprobe aus 201 Seiten

Details

Titel
Evaluation in der Weiterbildung am Beispiel eines Trainings für Taxifahrer
Hochschule
Helmut-Schmidt-Universität - Universität der Bundeswehr Hamburg  (Professur für Methoden der empirischen Sozialforschung)
Note
1,3
Autoren
Jahr
2003
Seiten
201
Katalognummer
V18175
ISBN (eBook)
9783638225748
Dateigröße
1424 KB
Sprache
Deutsch
Anmerkungen
Diese Arbeit versucht, theoretische Konzepte der Evaluation und des Bildungscontrolling mit praktischen Umsetzungsmöglichkeiten zu verbinden. Beispielhaft wurde ein Servicetraining für Taxifahrer ausgewählt und evaluiert.
Schlagworte
Evaluation, Weiterbildung, Beispiel, Trainings, Taxifahrer
Arbeit zitieren
Martin Jank (Autor)Carsten Albrecht (Autor), 2003, Evaluation in der Weiterbildung am Beispiel eines Trainings für Taxifahrer, München, GRIN Verlag, https://www.grin.com/document/18175

Kommentare

  • Noch keine Kommentare.
Im eBook lesen
Titel: Evaluation in der Weiterbildung am Beispiel eines Trainings für Taxifahrer



Ihre Arbeit hochladen

Ihre Hausarbeit / Abschlussarbeit:

- Publikation als eBook und Buch
- Hohes Honorar auf die Verkäufe
- Für Sie komplett kostenlos – mit ISBN
- Es dauert nur 5 Minuten
- Jede Arbeit findet Leser

Kostenlos Autor werden