Evaluation in der Personalentwicklung

Inhaltsverzeichnis

Evaluation in der Personalentwicklung

1. Begriffliche Klärung
1.1 Evaluation
1.2 Personalentwicklung

2. Überlegungen zu Methoden der Evaluation
2.1 Empirisch - analytischer Ansatz der Gutachterevaluation
2.2. Handlungsorientierte Evaluationsmethode

3. Funktionen der Evaluation
3.1. Steuerungs- und Optimierungsfunktion
3.2. Bewertungs- und Beurteilungsfunktion
3.3. Entscheidungsfunktion
3.4. Kontroll- und Disziplinierungsfunktion
3.5. Legitimationsfunktion
3.6. Integrationsfunktion
3.7. Intensivierung des Lernens

4. Phasen und Ebenen der Evaluation

5. Anmerkungen zur Evaluation in der betrieblichen Praxis

6. Literaturverzeichnis

7. Abbildungsverzeichnis

8. Anhang: Gegenstände der Evaluation

Evaluation in der Personalentwicklung

1. Begriffliche Klärung

1.1. Evaluation

Der Begriff Evaluation ist lateinischen Ursprungs, aus dem Englischen übernommen und bedeutet soviel wie Bewertung, Wertbestimmung, Beurteilung oder auch nicht mehr ganz so gebräuchlich, Begutachtung und Bewährungskontrolle (vgl. Münch/ Müller, 1988, 31ff, Will/ Winteler/ Krapp, 1987, 12 ff, auch Kordes, 1996). Im allgemeinen Sprachgebrauch bezeichnet Evaluation nach Will et al. den "Vorgang bzw. das Ergebnis einer bewerteten Bestandsaufnahme." (Will et. al. 13.)

Also etwas, was von jedem Menschen, oft nicht immer sehr bewußt, ununterbrochen durchgeführt wird. Ständig werden die Erscheinungen in der Umwelt registriert und "gemessen", nach Kriterien bewertet und aus den Ergebnissen der Beurteilung Konsequenzen für weiteres Handeln gezogen. Diese sehr allgemeine Bedeutung der Evaluation ist der Hintergrund für die fast unübersehbare Vielzahl an Vorstellungen, was die in der Personalentwicklung tätigen Praktiker - und nicht nur dort - unter Evaluation verstehen.

In der Wissenschaft ist selbst der Begriff nicht eindeutig in seinen Inhalten bestimmt, auch ist nach Will et. al. eine "einheitliche organisatorische noch inhaltlich- theoretische Struktur der Evaluationsforschung" (13) nicht festzustellen.

Es gibt keine allgemein anerkannte Definition von Evaluation, genauso wenig, wie es eine allgemeine Theorie gibt, welche die vielen meist sozialwissenschaftlich orientierten Lösungsansätze, Konzepte, Modelle, Verfahrensweisen, Methoden und theoretischen Überlegungen wie (nur als Auswahl):

- Erfolgskontrolle,
- Lernerfolgskontrolle,
- Lernfortschrittskontrolle,
- Wirkungskontrolle,
- Wirkungsforschung,
- Handlungsforschung,
- Effizienzmessung,
- Programmforschung,
- Prozeßbegleitende Forschung
- Begleitforschung,
- Qualitätsprüfung in der beruflichen Bildung,
-Kosten-Nutzen-Analyse

erfassen könnte. (Vgl. Will et al. 14; auch Kordes, H., 1983; Jagenlauf, M. 391ff; Ramlow,E. et.al. 21 ff)

Gemeinsame Merkmale und methodische Verfahrensregeln (vgl. Kordes, H. 1996, 570 ff und Will et.al. 14) der unterschiedlichen Evaluationskonzepte lassen sich jedoch herausarbeiten. Will et.al. hebt im Bereich der beruflichen Aus- und Weiterbildung besonders hervor:

- "Evaluation ist ziel- und zweckorientiert."

Damit steht der Nutzen einer Evaluation im Vordergrund, sie ist kein Selbstzweck und wird nicht um ihrer selbst willen inszeniert. Eine auch mit noch so großem wissenschaftlichen Aufwand realisierte Pseudoevaluation entspricht nicht diesem Kriterium. (vgl. Will et. al. 30)

- Evaluation hat ihre Grundlagen in einer geplanten, "systematisch gewonnenen Datenbasisüber Voraussetzungen, Kontext, Prozesse und Wirkungen".

Dies bedeutet nicht nur Beobachtung und Messung auf der Grundlage von festgelegten, operationalisierten Kriterien, sondern damit wird auch deutlich herausgestellt, daß in allen Phasen einer PE-Maßnahme, von der Bedarfsanalyse, über Zielsetzungen und Lernfortschrittskontrollen bis hin zu Erfolgskontrollen des Transfers im Funktionsfeld für eine umfassende Evaluation valide Information erhoben werden.

- "Evaluation beinhaltet eine bewertende Stellungnahme".

Daten und Befunde sind begründet zu bewerten. Das beinhaltet auch die Bewertung der Angemessenheit von definierten Zielen, vermittelten Inhalten und angewendeten Methoden und die Vorbereitung von Entscheidungen. Dazu müssen zum Verständnis der

Stellungnahme die Informationen über die Wertmaßstäbe und die Regeln für die Bewertung offen sein. Nach Kordes (1996, 574) gehört zu einer Bewertung auch eine begründete Empfehlung zu Veränderungen oder zu alternativen Maßnahmen. ® "Evaluation ... ist Bestandteil der Entwicklung, Realisierung und Kontrolle planvoller Bildungsarbeit".

Dies impliziert, daß Evaluation als eine bewußt und rational geplante Maßnahme betrachtet werden muß. Hierbei wird unter Evaluation primär eine kontinuierliche Prozeßevaluation verstanden, die sich gegenüber der Produktevaluation in den Zielsetzungen und ihrer Wirkungsweise stark unterscheidet.

Will et. al. betrachten in ihren Überlegungen mit besonderer Betonung die kontinuierliche Prozeßevaluation während einer beruflichen Bildungsmaßnahme. Sie sind zwar damit den Ideen und Konzepten der auf Lewin zurückgehender Aktionsforschung oder Handlungsforschung (vgl. Gudjons, H. 1999, S.68) verpflichtet, die oben aufgeführten Kriterien sind jedoch als Indikatoren für die wissenschaftliche Behandlung des Begriffs Evaluation unter jeder Schwerpunktsetzung geeignet.

Mindestens an diesen Kriterien kann jede Evaluation gemessen werden, wenn sie denn so bezeichnet werden soll.

1.2. Personalentwicklung

Als Personalentwicklung wird "die Gesamtheit aller Maßnahmen in Leistungsorganisationen zur Förderung der berufsbezogenen Qualifikation der Beschäftigten ”. (Schuler, 1989, S. 3, zit. nach Wiendieck, 37) verstanden.

Also, weit mehr als die Aus-, Fort-, und Weiterbildung im beruflichen Bildungswesen. Staehle nennt nach den Hauptanwendungsgebieten der Personalentwicklung drei wesentliche Bereiche (vgl. Staehle, 1994, 831ff, auch Seyer, 1988, 66ff)

- Weiterbildung mit Maßnahmen wie:
- berufliche Erstausbildung
- Ergänzungs- und Anpassungsweiterbildung
- Aufstiegsweiterbildung
- berufliche Rehabilitation, Resozialisation und Reaktivierung

- Karriereplanung auf der Grundlage einer detaillierten Personalbedarfsplanung mit Instrumenten wie
- Trainings,
- Coaching,
- Outplacement bis zur
- Ruhestandsvorbereitungen

- Arbeitsstrukturierung mit dem Ziel, durch Veränderungen u.a. von
- Arbeitsinhalten,
- Arbeitszeiten,
- Arbeitsbedingungen,
- Arbeitssituationen, um sowohl die Persönlichkeitsentwicklung zu fördern als auch die

Leistungsbereitschaft und - fähigkeit der MA für das Unternehmen zu steigern.

Bei der weiteren Betrachtung der Evaluation beziehe ich mich mit erster Priorität auf den Bereich beruflicher Bildungsmaßnahmen. Dies hat seine Ursache auch in der Tatsache, daß die Evaluationsforschung ihre breiteste Ausdehnung in der Pädagogik und im schulisch - bildungspolitischem Umfeld hat. (siehe u.a. Wulf, Ch. 1972, oder IPN, 1983)

2. Überlegungen zu Methoden der Evaluation

Die von Scriven (62f) bezogen auf Curriculumevaluation getroffene Differenzierung von unterschiedlichen Rollen der Evaluation zwischen formativer und summativer Evaluation ist eine sehr griffige und in der Literatur vielfach zitierte Unterscheidung.

Die formative Rolle der Evaluation stellt er mit folgenden Merkmalen heraus:

- Evaluation während der Curriculumentwicklung,
- Ergebnisse der formativen Evaluation bleiben innerhalb der mit der Entwicklung beauf- tragten Institution
- Formative Evaluation soll evt. vorhandene Schwächen aufzeigen und beseitigen; sie dient damit der Verbesserung eines Programms

"Auf Grund formativer Evaluation kann das Curriculum oder können einige Teile revidiert werden, .."(Wulf, 20).

Unter summative Evaluation versteht Scriven (62) die Rolle der Evaluation als abschließende, umfassende Bewertung nach Beendigung der Entwicklung eines Curriculums, oft zur Vorbereitung der Entscheidung über die Einführung des Curriculums auch in anderen Bereichen. Die Ergebnisse werden besonders außerhalb der für die Entwicklung des Curriculum verantwortlichen Institution verwendet.

Die Unterscheidung zwischen formativer und summativer Evaluation, die Sciven im Rahmen der Curriculumforschung entwickelte, ist nicht scharf abgegrenzt. Die Übergänge sind fließend und eine formative Evaluation wird nicht erst beendet, bevor die summative Evaluation anfangen kann. Wenn darüber hinaus auch noch "summative Evaluation, auch Ergebnis- evaluation oder Produktevaluation genannt ..." (Wulf, 21) wird und, wie Sciven selbst feststellte (71), formative Evaluation "natürlich nur eine Ergebnisevaluation in einem Zwischenstadium der Curriculumentwicklung", ist, dann werden die fließenden Übergänge besonders deutlich. Für den Aspekt Evaluation in der Personalentwicklung sind die Begriffe Prozeßevaluation (statt formative E.) und Produktevaluation (statt summative E.) meiner Ansicht nach treffender. Unter Prozeß ist der gesamte Handlungsablauf einer PE-Maßname -von der Bedarfsermittlung bis zur Erfolgskontrolle im Funktionsbereich und zur Entscheidung über den Abschluß der Maßname - zu verstehen. Evaluiert wird hierbei mit der besonderen Zielrichtung: "Steuerung und Optimierung" der Maßnahme. "Prozeßbegleitende Evaluation dient einer auf Beratung, Mitentwicklung und kontinuierlichen Verbesserung angelegten Auswertung des Entwickelten.." (Maurus/Brater, 62) und verändert damit bewußt den Prozeß und das Forschungsfeld. Unter Produkt kann sowohl die PE-Maßnahme als Ganzes als auch Teilbereiche, die innerhalb der Maßnahme liegen ( z.B. Lehr- und Lernunterlagen, eine Trainingsveranstaltung, Lernsoftware ), verstanden werden. Evaluiert wird mit der besonderen Zielrichtung: Bewertung des Erfolges im Hinblick auf die Zielsetzung.

Aus der Curriculumforschung übertragen auf die ähnlich strukturierte Situation einer PEMaßnahme in der beruflichen Weiterbildung kann für eine Prozeßevaluation ein System von Fragen kennzeichnend sein (vgl. Wulf, 21; auch Wiendieck, 152f)

- Welche Ziele sollen durch die Maßnahme erreicht werden?
- Gibt es ein System von ausformulierten Zielkriterien?
- Sind die Ziele erreichbar?
- Entsprechen die Ziele den Normen und Werten der Beteiligten und Betroffenen?

- Wie ist der Plan zur Erreichung der Ziele?
- Verspricht das Curriculum zur Erreichung der Ziele beizutragen?
- Entsprechen die geplanten Ressourcen der Bedeutung der Ziele?
- Entsprechen die formulierten Lernziele den Zielen der PE-Maßnahme?
- Ist das Lehrmaterial verständlich und hilfreich für die Erreichung der Lernziele?
- Wird die Maßnahme von den betroffenen Mitarbeitern und Vorgesetzten verstanden und akzeptiert?

- Ist die tatsächliche Durchführung geeignet, die Ziele der Maßnamen zu verwirklichen?
- Entspricht die Realisierung der Planung?
- Sind die vorgesehenen Lehr- Methoden in der Durchführung der Zielsetzung adäquat?
- Wie kann Übereinstimmung erreicht werden?
- Welche Verhaltensänderungen sind erkennbar?
- Welche Anpassungsnotwendigkeiten ergeben sich aus der beobachteten Realität? Für die Produktevaluation können folgende Fragen bestimmend sein: ® Erreicht die PE-Maßnahme die vorgesehenen Ziele?

- Werden mit den durchgeführten Maßnahmen die erwarteten Lernfortschritte erreicht?
- Entspricht die Transferleistung der erklärten Zielsetzung?
- Welchen Erfolg kann auf Grund der PE- Maßnahme im Funktionsfeld festgestellt werden?

Es ist unumgänglich, daß auch die Evaluation selbst rational geplant wird und die Überprüfung entsprechend wissenschaftlicher Kriterien erfolgt. Damit unterliegt auch die Evaluation der Bewertung. Fragen könnten sein:

- Wie wird die Evaluation evaluiert?
- Sind alle Ziele evaluiert?
- Sind die gesammelten Informationen valide?
- Sind die Evaluierungsverfahren reliabel?
- Sind Bewertungen und Stellungnahmen aussagekräftig und nachvollziehbar?

Aus den grundsätzlichen Unterscheidungen zwischen Prozeß- und Produktevaluation, oder den unterschiedlichen Rollen der formativen und summativen Evaluation ergeben sich zwangsläufig auch unterschiedliche Schwerpunktsetzungen in den verwendeten Untersuchungsverfahren sowie den Erhebungs- und Auswertemethoden. In Anlehnung an Will et. al. gehe ich im folgenden auf einige Besonderheiten kurz ein.

2.1. Empirisch - analytischer Ansatz der Gutachterevaluation

Vorbild für den empirisch- analytischen Ansatz einer Evaluation "ist die empirisch - experimentelle Grundlagenforschung." (Will et. al. 31) .

Sie ist gekennzeichnet durch (möglichst):

- "Neutralität" des Forschers / Evaluators / Gutachters gegenüber der Maßnahme, den Betroffenen und dem Auftraggeber
- kontrollierter Ablauf der Datenerhebung und -auswertung
- detailliertes Zielsystem mit eindeutig operationalisierten Kriterien ® quantitative "Messung" von situativen und individuellen Merkmalen ® die Meßinstrumente entsprechen den Gütekriterien
- Objektivität
- Reliabilität ð Validität
- Nutzung von Kontrollgruppen

Diese Form der Gutachterevaluation ist bestrebt, mit methodisch anspruchsvollen Verfahren und Techniken (z.B. standardisierte Test / Fragebögen) eine qualifizierte und an den wissenschaftlichen Gütekriterien orientierte Aussage über den Erfolg einer Maßnahme zu er- langen.

Bei Fehlentwicklungen ist ein Eingreifen in den laufenden Prozeß nicht möglich und auch vom Untersuchungsdesign her nicht vorgesehen. Simplifizierend ausgedrückt mißt der Forscher idealerweise zu Beginn der Maßnahme, hält während der Maßnahme Störgrößen fern, verändert die unabhängigen Variablen und mißt am Ende der Maßname die Abweichungen der abhängigen Variablen, bewertet diese und erstellt ein vergleichendes Gutachten mit Handlungsvorschlag zur Entscheidungsvorbereitung. Damit ist diese Art der Evaluation vorwiegend eine Abschlußevaluation. Das skizzierte Untersuchungsdesign verdeutlicht nicht nur den streng analytischen Ansatz, der eine hohe Vergleichs- und Überprüfbarkeit mit anderen Untersuchungen ermöglicht, sondern zugleich wird auch der notwendige wissenschaftliche und oft auch organisatorische Aufwand deutlich. Dieser Aufwand kostet Zeit, Personal, Material und Geld. Außerdem gibt es in dem Bereich des sozialen Verhaltens viele Variable, die sich nur schwer oder überhaupt nicht messen lassen, oder deren Störpotential auch ein Gutachter nicht ausschließen kann. In diesem Ansatz steckt auch eine gewisse Unflexibilität. Die Messung von Zielerreichungsgraden setzt voraus, daß ein im Konsens mit allen Beteiligten erarbeitetes Zielsystem mit operationalisierten Zielkriterien entwickelt wurde. In Unternehmen verändern sich durch die Dynamik des Wirtschaftsgeschehen aber gerade die Zielsetzungen, die Prioritäten und die Wertigkeit von Zielen im Zeitablauf. Tritt dieser Fall in einer konkreten Evaluation ein, so kann der Evaluator entweder mit neuer Zielsetzung nur neu beginnen, oder er klammert die neue Zielsetzung und die daraus entstehenden Folgen in der Evaluation aus, mit der Gefahr, mit einem unangebracht hohen wissenschaftlichen Aufwand nur Teilergebnissen bewerten zu können.

Damit ergibt sich für den empirisch - analytischen Ansatz der Gutachterevaluation eine sinnvolle Anwendung nur bei sehr großen Programmen, zu denen auf übergeordneten Ebenen langfristig wirksame Entscheidungen zu treffen sind und bei denen sich der erforderliche Einsatz an Ressourcen rentiert. Anwendung findet dieser Ansatz deshalb oft nur in umfangreichen bildungspolitisch orientierten Modellversuchen.

2.2. Handlungsorientierte Evaluationsmethode

Die handlungsorientierte Evaluationsmethode geht von einem Helfer- und Beratermodell der Evaluation aus. Es entspricht eher der Rolle der formativen Evaluation oder der Prozeßevaluation. Es geht hierbei weniger um die quantitative Messung eines Endergebnisses oder eines Zielerreichungsgrades, "als vielmehr die Herausarbeitung und diskussionsfähige Darstellung von aktuellen Ergebnissen einer Maßnahme" (Will et.al. 32) Der Evaluator steht in ständigen Kontakt mit den Betroffenen, die soziale Interaktion zwischen ihnen ist ein beherrschendes Wesensmerkmal des Ansatzes. Die Kommunikation betrifft alle Aspekte einer Maßnahme, von den Zielen, über die angewendeten Methoden bis zu den offen diskutierten Bewertungskriterien. Hierbei werden auch die für den Erfolg einer Maßnahme wirksamen Nebenbedingung - wie zum Beispiel die Befindlichkeit der Betroffenen - mit erfaßt und bewertet. Zur Datenerfassung werden deshalb weniger quantitative Verfahren verwendet, es werden eher qualitative Methoden verwendet. Z.B.

"..Interviews, teilnehmende Beobachtung, einfache Fragebogen mit zum Teil offenen Antwortmöglichkeiten, Blitzlicht, Stimmungsbarometer, Wandzeitungen, Kurstagebuch, Gruppendiskussionen, Manöverkritiken" (Will et. al. 32)

Damit ist dieser Ansatz im Grundsatz subjektiv geprägt, eine Beeinflussung des Handlungsfeldes ist unvermeidlich, im Sinne der Optimierung von Abläufen, Programmen und Verhalten erwünscht und Teil dieses Ansatzes.

Daraus ergibt sich aber auch, daß jeder Fall ein Einzelfall ist: Die Ergebnisse

- gelten nur für die konkrete Maßnahme in der aktuellen Situation, sie sind
- nicht wiederholbar, sie sind mit anderen Maßnahmen
- nicht vergleichbar und sie sind
- subjektiv gefärbt.

Für komplexe, unstrukturierte, sich im Zeitablauf schnell verändernde Situationen hat sich der Handlungsforschungsansatz, als geeignet gezeigt. (Will et. al. 32ff)

Das bedeutet, daß insbesondere dann dieser Ansatz zur Anwendung kommt, wenn:

- die zu evaluierende Maßnahme noch nicht festgelegt ist oder sich noch in der Planungsphase befindet,
- die unmittelbar Betroffenen an der Entscheidung für die Maßnahme und an der Optimierung des Prozesses beteiligt werden sollen

Die Frage, wann, welcher methodische Ansatz der Praktiker in eine PE-Abteilung verwenden soll, ist nicht eindeutig zu beantworten. Wenn der Auftraggeber hohe Ansprüche an die Objektivität stellt, dann ist das Helfer- und Beratermodell eher nicht geeignet.

3. Funktionen der Evaluation

Wie unter Pkt. 1.1 schon angedeutet, wird Evaluation nicht um ihrer Selbst willen durchgeführt. Mit Evaluationen werden PE-Maßnahmen gesteuert, optimiert, bewertet, legitimiert und dokumentiert. Mit Hilfe der Evaluation kann ein Lernprozeß unterstützt und Lernerfolge kontrolliert werden. Welche funktionalen Zusammenhänge mit erster Priorität betrachtet werden hängt vom Blickpunkt des Betroffenen und vom Einzelfall in der konkreten Situation ab. Der Auftraggeber interessiert sich möglicherweise eher für die Bewertung, die PE-Abteilung eher für die Steuerung und Optimierung, der Dozent eher für die Kontroll- und Disziplinierungsfunktion und der betroffene Mitarbeiter möglicherweise für die Integrationsfunktion.

3.1. Steuerungs- und Optimierungsfunktion

Wird Evaluation im Sinne von Prozeßevaluation, in komplexen, unübersichtlichen Situationen gestaltet oder ist eine PE-Maßnahme noch in der Planungsphase und in ihren Auswirkungen noch nicht sehr detailliert erfaßt, dann kommt die Steuerungs- und Optimierungsfunktion besonders deutlich zum Tragen. (vgl. Will et. al., 20f; auch Jansen, 1995, 73f). Laufend werden Zwischenergebnisse der Maßnahme unter Einbeziehung aller Beteiligten ausgewertet und unmittelbar für die Verbesserung des Prozesses oder einzelner Aspekte der PE-Maßnahme genutzt.

3.2. Bewertungs- und Beurteilungsfunktion

Diese Funktion wird im allgemeinen durch eine Produktevaluation gewährleistet und ist verbunden mit Begriffen wie: Erfolgskontrolle, Effizienzforschung oder Nutzwertanalyse. Die Bewertungs- und Beurteilungsfunktion ist fast immer mit einer Entscheidung verbunden. (vgl. Will et.al., 21).

Eine Evaluation, die dieser Funktion und der Entscheidungssituation gerecht werden soll, vergleicht das Endergebnis eines Produkts mit den Zielen, die mit diesem Produkt erreicht werden sollte. Es werden die Ergebnisse (wenn möglich) in nachprüfbaren Meßwerten beschrieben, nach festgelegten Qualitätskriterien eingeordnet, Teilergebnisse in ihrer Wertigkeit gewichtet und im Hinblick auf das Ausmaß der Zielerreichung bewertet.

Als schwierig und problematisch hat sich zur Erfüllung dieser Funktion die Erstellung der Qualitätskriterien und der Wertmaßstäbe, nach denen die Ergebnisse bewertet werden, erwiesen. Es sollten im Grundsatz immer die vorher definierten Kriterien und erklärten Wertmaßstäbe allen Beteiligten bekannt sein, damit eine qualitativ - bewertende Stellungnahme durch Entscheidungsträger und Betroffenen nachvollzogen werden kann.

3.3. Entscheidungsfunktion

Die Entscheidungsfunktion der Evaluation hängt eng mit der Bewertungs- und Beurteilungsfunktion zusammen. Jede betrieblich Weiterbildungsmaßnahme zielt nicht nur auf die Erhöhung des reinen Fachwissens der Mitarbeiter ab, sondern es soll ja die Handlungskompetenz des Mitarbeiters gesteigert werden. Eine bessere Qualifizierung, höherwertige Fähigkeiten und Fertigkeiten des Mitarbeiters, solle dem Betrieb Nutzen und Erfolg bringen.

Solche betriebliche Entscheidungen über PE-Maßnahmen sind in Verbindung mit verfügbaren Ressourcen ( Geld, Zeit, Personal, Räume) zu betrachten. Entscheidungen sollten nicht nur "aus dem Bauch heraus" , auf der Grundlage von geäußerten Meinungen oder Ansichten getroffen werden, sondern möglichst rational, auf der Grundlage von aussagekräftigen, objektiven und bewerteten Informationen.

Evaluationen liefern hierzu einen qualifizierten Beitrag. Z.B. für

- Begründete Finanzentscheidungen für PE Maßnahmen
- Rationale Planung, Gestaltung und Optimierung von Programmen nach
- Zielsetzungen
- Inhalte
- Zeit, Dauer und Frequenz
- Ort (arbeitsplatznah oder auf den Malediven) ð Eigen- oder Fremdausbilder
- Teilnehmerkreis
- Rationale Planung, Gestaltung und Optimierung von PE-Abteilungen oder Aus- und Weiterbildungsorganisationen nach
- Personal- und
- Materialausstattung

3.4. Kontroll- und Disziplinierungsfunktion

Evaluationsergebnisse geben nicht nur Aufschluß über den Erfolg oder Mißerfolg einer Maßnahme, sondern sie erlauben dem Auftraggebern auch Rückschlüsse sowohl auf die Leistungsfähigkeit des innerbetrieblichen Bildungssystems als auch auf die Qualität einzelner Dozenten oder die Leistungssteigerung einzelner Teilnehmer. Für die Kontrolle einer möglicherweise zu aktivem Eigenleben neigende PE-Abteilung durch das Management ist dieser Funktionsbereich von besonderem Interesse. Das Bewußtsein, daß aber auch noch andere personenbezogene Erkenntnisse aus der Evaluation gezogen werden können, führt oft zu Widerstandsverhalten gegenüber einer Evaluation. (vgl. Zuschlag, 1987)

3.5. Legitimationsfunktion

In der betrieblichen Praxis ist es nicht nur üblich, sondern auch zwingend erforderlich, daß einem Aufwand (an Mitteln, Zeit, Kräften) auch ein für die Unternehmung wahrnehmbarer Nutzen gegenübersteht (vgl. Münch/Müller, 38f). Sowohl die Produkt- als auch die Prozeßevaluation kann mit ihren detaillierteren Aufnahmen und den empirischen Bewertungen der Ursachen für positive Ergebnisse und / oder negative Auswirkungen von PE-Maßnahmen einen Beitrag (schon alleine durch ihre Offenlegung) zur Legitimation leisten. Insbesondere dann, wenn als Ergebnis einer Maßname sowohl Leistungssteigerung im Funktionsfeld (mehr Umsatz, zufriedene Kunden, geringere Krankheitsrate) als auch Lernerfolge bei den Betroffenen festgestellt werden konnte, ist die Wiederholung oder Ausweitung einer Maßnahme erfolgreich zu begründen.

3.6. Integrationsfunktion

Die Integrationsfunktion der Evaluation wird besonders in dem partizipativ angelegtem Beratungsmodell deutlich. Durch das Bestreben, alle Betroffenen in die Zielsetzung, Planung, Durchführung und Auswertung mit einzubeziehen, kann die intensive Zusammenarbeit der Mitarbeiter an einem besonderen Projekt Zusammenhalt gefördert werden. Darüber hinaus kann durch die gemeinsame Erstellung von transparenten Zielkriterien eine besonders starke Identifizierung mit der Maßnahme erreicht werden.

3.7. Intensivierung des Lernens

Seminarteilnehmer, Auszubildende, Hospitanten (u.a.) in einem Betrieb, die gleichzeitig als Teilnehmer an einem ihre eigene PE-Maßnahme betreffenden formativen Evaluation beteiligt werden, sind nicht nur Objekte in einem Evaluationsprozeß, sondern handelnde Akteure und Forscher ihres eigenen Lernprozesses. (vgl. Münch/Müller, 39f; auch Wiendieck, 153f) Lern- und Transferprobleme erleben die Teilnehmer unmittelbar, sie sammeln zielgerichtet Informationen und werten sie auch für sich unmittelbar aus, sie werden zur Einschätzung der Wirksamkeit der PE- Maßnahme befragt, nehmen Stellung zu Zielsetzungen, Inhalten, Methoden der Maßnahme und leisten damit einen aktiver Beitrag zu den möglicherweise notwendigen qualitativen und quantitativen Veränderungen.

Damit sind sie auch handelnde Subjekte in einem Lehr- und Lern - Prozeß. Dies kann sich ausgesprochen positiv auf die eigene Lernmotivation und Mitwirkungsbereitschaft auswirken, nicht nur in der unmittelbar durchgeführten Evaluation, sondern auch im sonstigen Arbeitsumfeld oder im Funktionsfeld.

4. Phasen und Ebenen der Evaluation

Der Zusammenhang zwischen den Phasen einer PE-Maßnahme - in dem betrachteten Beispielsfall eine auf eine Defizitfeststellung beruhende betriebliche Weiterbildung - und die möglichen Evaluationsfelder stellt die Abb. 1 dar. (vgl. hierzu u.a. Will et. al. 19, Maurus /Brater, 1995, 62ff, Staehle, 833ff, Kordes, 1983)

Abbildung in dieser Leseprobe nicht enthalten

Abb.: 1 Phasen einer PE-Maßnahme und Evaluationsfelder

Die Einteilung der PE-Maßnahme in einen Zyklus von Handlungen

- Zielsetzung
- Planung
- Durchführung
- Kontrolle

der auch mehrfach durchlaufen werden kann, (vgl. Eckert, 1992, 60, auch: Ebener, 1992, 43ff) mit inhaltlich unterschiedlichen Abschnitten, ist in erster Linie eine analytische Trennung und in der Realität nicht immer exakt voneinander abgegrenzt zu sehen.

Zum Beispiel kann die hier im Modell erst in der Durchführung mit aufgeführte "Tranferunterstützung" im Sinne einer anwendungsbezogenen Weiterbildung auf der einen Seite nur erfolgen, wenn bereits in der Bedarfsanalyse inhaltlich die berufliche Arbeitssituation und das berufliche Umfeld mit erfaßt wurden. Auf der anderen Seite sind die Einbeziehung des Funktionsbereiches (Vorgesetzte und Mitarbeiter) in die weit vor der Durchführung liegende und möglichst partizipativ angelegten Bedarfsplanung (siehe Staehle, 834f), die "Mitsteuerung durch die Trainingsteilnehmer" (Wilkening 1992, 427f, zitiert nach Wiendieck, 155) sowie Nachbereitungstreffen (vgl. Münch / Müller, 42f; auch Bronner, 337ff) auch Teile einer notwendigen und sinnvollen Transferunterstützung. Darüber hinaus finden gerade in der Planungsphase viele Aktivitäten schon aus Zeitgründen parallel statt. Aus der Abb. : 1 geht die Trennung zwischen der Kontrolle im Lernfeld und den Bestimmungsgrößen in Funktionsfeld deutlich hervor. Die Evaluation der Lernergebnisse und der Transferergebnisse sind die primären Evaluationsgegenstände, aus denen sich Aussagen zum Erfolg einer Maßnahme ableiten lassen. (vgl. Münch/Müller, 40ff; siehe auch Anhang 1: Evaluationsgegenstände).

Das übergeordnete Ziel einer jeden Aus- und Weiterbildung sollte (konkretisiert auf den beruflichen Bereich) die Befähigung des Lernenden zur selbständigen und qualitativ höher zu bewertender Aufgabenbewältigung in dem Funktionsfeld sein. Die für die Evaluation entscheiden Fragen hierzu sind nicht nur, ob und in welchem Ausmaß die angestrebten Ziele erreicht wurden, sondern es sind auch Aussagen zu treffen, ob und in welchem Umfang die ermittelten Ergebnisse der evaluierten PE-Maßnahme zuzurechnen sind. Auf die besonderen Schwierigkeiten einer eindeutigen Ursache - Wirkung Kausalität in der Evaluation weist Wiendieck (148ff) besonders hin.

In komplexen Abläufen lassen sich die an den Mitarbeiter zu stellenden Anforderungen nicht eindeutig festlegen. Anforderungsprofile, detaillierte Stellenbeschreibungen (vgl. Höhn, 1976) oder Aufgabenkataloge können immer nur einen groben Rahmen über das zur zielgerichteten Regelung der Aufgabe notwendige Verhalten der Mitarbeiter im Funktionsfeld darstellen. Wir verfügen auch nicht "ü ber die hinreichenden Anamnesemethoden und Diagnoseinstrumente, um bei Menschen Fähigkeiten, Kenntnisse und Fertigkeiten mit entsprechender Sicherheit zu ermitteln." (Merkens, 1988, 136). Damit ergeben sich erhebliche Unsicherheiten bereits bei der Bedarfsanalyse von PE-Maßnahmen.

Das Verhalten der Mitarbeiter am Arbeitsplatz und im darüber hinausgehendem Funktionsfeld, als beobachtbare Realisierung ihrer Fähigkeiten, Kenntnisse und Fertigkeiten in konkreten Situationen, ist darüber hinaus nach von Rosenstiel (1993) aber nicht nur von dem Können des einzelnen Individuums abhängig, sondern unterliegt auch den Interdependenzen zwischen der persönlichen Motivationslage, den Möglichkeiten der Situation und der Akzeptanz durch die soziale Umwelt. (siehe Abb. 2)

Übertragen auf die Evaluation des Transfererfolges werden diese Zusammenhänge besonders deutlich, wenn Transferstörungen den Erfolg einzelner Aspekte oder sogar die ganze PE- Maßnahme in Frage stellen (vgl. u.a. Münch / Müller, 42f; Wiendieck, 154f). Solche Störungen des Transfers treten nicht nur bei "Beziehungskonflikten" der handelnden Personen auf, sondern sind besonders zu erkennen bei Dissonanzen zwischen einer meist öffentlich verkündeten, schriftlich festgelegten Unternehmensphilosophie, der im Betrieb sichtbaren, "gelebten" Unternehmenskultur und der für den in einer PE-Maßnahme agierenden Mitarbeiter erkennbaren Weiterbildungskultur. Die Erfolgsaussichten einer auf Kooperation aufbauenden, nach den Grundsätzen partizipativer Führung angelegten und durchgeführten betrieblichen Weiterbildungsmaßnahme bei Führungskräften (mittleres Management, Meisterebene) in einem mittelständischen Betrieb (ca. 500 MA) sind nur als sehr gering einzuschätzen, wenn der Unternehmer ausgesprochen autoritär führt, der Betriebsrat grundsätzlich als "der Feind" des Unternehmers angesehen wird und die Arbeitnehmer nicht "Mitarbeiter" in einem Produktionsprozeß sind, sondern sich nach Ansicht des Managements nur als unwillige, geldgierige, faule und unwissende "Kanaken" (Originalton einer "Führungskraft") erweisen.

Abbildung in dieser Leseprobe nicht enthalten

Abb. 2 : Bedingungen des Verhaltens (nach von Rosenstiel et al. 1993, S.48)

Die Evaluation einer gesamtem PE- Maßnahme beinhaltet die Prozeß - und die Produktevaluation. In der betrieblichen Weiterbildung sind bei allen PE-Maßnahme immer auch mehrere Ebenen, mit sehr unterschiedlichen Erkenntnisinteressen, angesprochen. Um diesen Interessen nachkommen zu können, sind adäquate Evaluationsmethoden auszuwählen und die Ergebnisse hinsichtlich der Qualität ihrer Aussagen zu bewerten. Die Erkenntnis, daß eine betriebliche Bildungsmaßnahme einen hohen Lernerfolg bei dem Mitarbeiter erzielte (z.B. mit einem Test evaluiert), hat im Kontext mit der gesamten PE-Maßnahme eine andere Qualität, als die Aussage, daß sich sein Verhalten im Funktionsfeld (z.B. durch Beobachtung evaluiert) nicht verändert hat. Mertens ( 1987, 90) ermittelt hinsichtlich von Trainingszielen die drei Ebenen des Erfolges, die sich in dem unmittelbaren Lernerfolg, auf der nächsten Ebene als Verhaltensänderung des Mitarbeiters und in der 3. Ebene als Veränderung der Leistung im Funktionsfeld manifestiert. Hinsichtlich der Qualitätsbeurteilung von Lernsoftware erweitert Schenkel (1998, 132f) diese drei Ebenen.

Abb. : 3 Qualitäten von Lernprogramme und Ebenen der Evaluation (aus Schenkel, 1998, S. 133)

Abbildung in dieser Leseprobe nicht enthalten

Auf seiner ersten Ebene ist das Lernprogramm angesiedelt und er fragt nach den Merkmalen des Programms. Die Zweite Ebene der Evaluation ist für ihn der Schnittpunkt zwischen Lernprogramm und dem Lernende. Die Kernfrage lautet: Wie reagieren die Lernenden auf das Lernprogramm? Wie nehmen die Lernenden das Programm an? Zur Evaluation gibt es zu diesen Fragen eine Vielzahl von zum Teil sehr detaillierten Kriterienkatalogen. (vgl. Meier, 1995).

5. Anmerkungen zur Evaluation in der betrieblichen Praxis

In der betrieblichen Weiterbildung entstanden 1992 Kosten zwischen ca. 22 Mrd. für interne und externe Weiterbildungsveranstaltungen (Vgl.Grünewald/Moraal, 1999, S. 94). Fast 60 % aller Unternehmen bieten ihren Beschäftigten neben Aus- und Weiterbildung am Arbeitsplatz Lehrgänge, Kurse und Seminare an. (vgl. Sauter, 1997)

Unabhängig von den Differenzen in den Zahlen in diesem Bereich [unterschiedliche statistische Angaben / Grundlagen der Erhebungen / verschiedene Informationsquellen (vgl. Sauter, 1997; auch: Grünewald/Moraal, 91)] kann doch festgestellt werden, daß die Betriebe eine enorme finanzielle Anstrengung unternehmen, damit die Mitarbeiter den Anforderungen an ihre Funktion gerecht werden oder damit sie flexibel den Herausforderungen zukünftigen Wandels gerecht werden können. Und woran messen die Betriebe den Nutzen oder die Erfolge für den finan- ziellen, materiellen und personellen Einsatz? "Ohne Zweifel treffen solche Fragen einen zentralen wunden Punkt der Weiterbildung: die mangelnde Evaluation der Bildungsarbeit" wie Sauter (1999, 8) feststellte. Bezeichnenderweise ist auch bei Will et. al. ein Kapitel mit "Evaluation: Im Prinzip ja, aber... " überschrieben. Nach einer Befragung des BIBB hat Evaluation als alleiniges Konzept zur Verbesserung der betrieblichen Ausbildung nur bei 7-12 % (je nach Betriebsgröße) der befragten Betriebe (n=1009) eine hohe Bedeutung (siehe Krekel/Beicht, 160). Erst in der Verbindung mit anderen Kontroll- und Steuerungsmethoden, wie Qualitätssicherung oder Bildungscontrolling ergibt sich ein besseres Bild für die Anstrengungen der Betriebe. Die Schwierigkeiten, die sich aus den komplexen Wirkungszusammenhängen von sozialem Verhalten, individuellem Lernen, Organisationsbedingungen der Unternehmen und den methodischen Problemen der empirischen Sozialforschung ergeben, begründen die geringe Durchführung von Evaluation in der betrieblichen Praxis. Evaluation bindet personelle, materielle und finanzielle Ressourcen und kostet Zeit. Daß diese Mittel oft nicht zur Verfügung stehen oder nicht gestellt werden, sollte die Verantwortlichen für PE-Maßnahmen nicht davon entbinden, den Erfolg einer Maßnahme mit Hilfe wissenschaftlicher Methoden begründet zu bewerten. Selbst wenn aus Gründen der Machbarkeit oder der aktiven Teilnahme der Betroffenen der wissenschaftliche Anspruch eines empirisch-analytischen Ansatzes nicht gegeben sein sollte, kann eine einfacher konstruierte Evaluation akzeptable Beiträge zu einer Bewertung beisteuern

Die andere Möglichkeit der Bewertung, ist aus folgender Aussage abzuleiten:

"Ich habe eines als OE-Berater erfahren: was erfolgreich ist, kann letztlich nur ich entscheiden, mit meiner eigenen Autorität und subjektiven Gewißheit" (Trebesch, 1984, S. 60; zit. nach Pütz/Wiendieck; 1993, S.226).

Diese Art der Erfolgskontrolle entspricht nicht den Kriterien für eine wissenschaftliche Evaluation.

6. Literaturverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

7. Abbildungsverzeichnis

Abb. 1: Phasen einer PE-Maßnahme und Evaluationsfelder

Abb. 2: Bedingungen des Verhaltens (nach von Rosenstiel et al. 1993, S.48)

Abb. 3: Qualitäten von Lernprogramme und Ebenen der Evaluation (aus Schenkel, 1998, S. 133)

8. Anhang: Gegenstände der Evaluation in der betrieblichen Weiterbildung (Vgl. Münch/Müller, 40ff)

Abbildung in dieser Leseprobe nicht enthalten