Weiterbildungsqualität zwischen Bildungscontrolling und Qualitätsmanagement - Effizienzsteigerung in der Personalentwicklung

Inhalt

1. Einleitung

2. Bildungscontrolling
2.1 Definition des Begriffs Bildungscontrolling
2.2. Methoden des Bildungscontrollings
2.2.1. Bildungsevaluation nach Kirkpatrick
2.2.1.1 Grundlagen des Systems nach Kirkpatrick
2.2.1.2 Stufe 1 Reaction
2.2.1.3 Stufe 2 Learning
2.2.1.4 Stufe 3 Behavior
2.2.1.5 Stufe 4 Results
2.2.2. Das Evaluationsmodell von Phillips (ROI)
2.2.2.1. Grundlagen des Modells
2.2.2.2 Evaluationsplanung
2.2.2.3 Datenerfassungsplan
2.2.2.4 Datenanalyse
2.2.2.5 Ermittlung des ROI
2.2.2.5. Ergebnisbericht
2.2.3. Ermittlung des Value of Investment (VOI)
2.2.3.1 GoalNavigator
2.2.3.2 Realitäts-Check
2.2.3.3. ValueFinder
2.2.3.4. ProjectMapping
2.2.3.5 ResultTracker

3. Qualitätsmanagementsysteme in der Weiterbildung
3.1 Definition Qualität in der Weiterbildung
3.2. Qualitätsmanagementsysteme
3.3. LQW-Qualitätsmodell
3.3.1 Gelungenes Lernen
3.3.2. Prozessmodell
3.3.3. Qualitätsbereiche
3.3.3.1 Leitbild und Definition gelungenen Lernens
3.3.3.2 Bedarfserschließung
3.3.3.3 Schlüsselprozesse
3.3.3.4. Lehr-Lern-Prozess
3.3.3.5. Evaluation der Bildungsprozesse
3.3.3.6 Infrastruktur
3.3.3.7 Führung
3.3.3.8 Personal
3.3.3.9 Controlling
3.3.3.10 Kundenkommunikation
3.3.3.11 Strategische Entwicklungsziele

4. Fazit

5. Literaturverzeichnis

Abbildungsverzeichnis

Abb. 1 Auswirkungskette der fünf Evaluationsstufen

Abb. 2 Evaluationsziele je Stufe

Abb. 3 Verknüpfung von Bedarfsanalyse, Programmzielen und Evaluation

Abb. 4 Methoden zur Datenerfassung

Abb. 5 Auswirkungskette

Abb. 6 Vergleich materieller und immaterieller Messdaten

Abb. 7 Kostenarten

Abb. 8 Kommunikationsplan

Abb. 9 Fragenkatalog QuickCheck

Abb. 10 Beispiel Nutzenkategorien Mitarbeiter

Abb. 11 Nutzenanalyse Kompetenz

Abb. 12 Projektdefinition Beispiel aus Kategorie Unternehmen

Abb. 13 Checkliste Planen

Abb. 14 Checkliste Organisieren

Abb. 15 Checkliste Durchführen

Abb. 16 Checkliste Kontrollieren

Abb. 17 Resulttracker Ergebnistabelle Unternehmen

Abb. 18 Qualitätsbereiche und Qualitätskriterien von Weiterbildung

Abb. 19 „Qualitätsringe“

Abb. 20 Qualitätsentwicklungs- und -testierungsmodell

Abb. 21 Qualitätskreislauf

Abb. 22 Kontinuierliche Qualitätsentwicklung

Abb. 23 Beschreibung Leitbild

Abb. 24 Qualitätsbereich 4 Lehr-Lern-Prozess

1. Einleitung

Die Personalentwicklung steht im neuen Jahrtausend im Kontext der Globalisierung und eines starken Wettbewerbs in vielen Unternehmen vor neuen Herausforderungen.

So wird von ihr auf der einen Seite der Beleg für den Erfolg von Personal- entwicklungsmaßnahmen gefordert. Auf der anderen Seite wird ebenso verlangt, dass diese Erfolge mit möglichst geringen Weiterbildungsbudgets und hoher Effizienz erreicht werden.

Um diesen Anforderungen gerecht zu werden, stehen verschiedene Wege zur Verfügung: So verspricht ein detailliertes Bildungscontrollingsystem einen zielgerichteten Einsatz der Bildungsressourcen, sowie eine klaren Zu- sammenhang zwischen Weiterbildungsmaßnahmen und den daraus resultierenden Ergebnissen. Auf der anderen Seite bieten standardisierte Qualitätsmanagementsysteme eine ähnliche systematische Aufarbeitungs- möglichkeit. Doch welche Lösung bietet sich hier zur Erlangung der ge- forderten Ergebnisse und zur Dokumentation des Weiterbildungserfolgs an?

Wo findet sich in diesen Konzepten die Berücksichtigung der Lehr-Lern-Si- tuation, die in der „Produktion“ von Wissen und Fertigkeiten nicht mit dem normalen Produktionsprozess von Gütern oder Dienstleistungen ver- gleichbar ist?

Eine klare Entscheidung für einen der beiden Wege fällt vielen Personal- entwicklern schwer, da ggf. neben den innerbetrieblichen Anforderungen auch externe Forderungen, z.B. von Auftraggebern und Partnern zu be- rücksichtigen sind.

Auf den ersten Blick erscheint dieses Anforderungsprofil widersprüchlich, doch bei genauerem Hinsehen ergeben sich Möglichkeiten, aus der Ver- bindung von Bildungscontrolling und Qualitätsmanagement in der Weiter- bildung eine Verbindung zu schließen.

Aus diesem Grund möchte ich in dieser Arbeit den Blick auf diese beiden Bereiche legen.

Zu Beginn werde ich einen Blick auf das aktuelle Thema „Bildungscon- trolling“ werfen. Seit den 90 er Jahren wird dieses Thema zwischen Päd- agogen und Ökonomen widersprüchlich erörtert. Den aktuellen Entwick- lungsstand und die Forschungsdiskussion dazu werde ich am Anfang meiner Arbeit darstellen. Daneben werde ich einen Blick auf die aktuellen Formen des Bildungscontrollings werfen und drei Modelle vorstellen.

Darauf folgt eine Definition von Qualität im Kontext der Weiterbildung.

Im Anschluss daran werde ich ein Qualitätsmanagementsystem speziell für den Weiterbildungsbereich vorstellen.

Schließlich werde ich eine Zusammenführung von Bildungscontrolling und einem Qualitätsmanagementsystem versuchen, die die Vorteile von beiden Bereichen aufnimmt und bremsenden „Ballast“ vermeidet.

2. Bildungscontrolling

2.1 Definition des Begriffs Bildungscontrolling

Bis zu Beginn der 90er Jahre des letzten Jahrhunderts glänzten die Perso- nalentwicklungs- und Weiterbildungsabteilungen der größeren Unter- nehmen mit umfangreichen Seminarkatalogen, deren Sinn sich einem neu- tralen Betrachter nicht immer sofort erschloss. Mit knapper werdenden Weiterbildungsbudgets wurde danach die Frage nach der Effizienz und der Effektivität der Personalentwicklungsmaßnahmen verknüpft. Mit dieser Anforderung konfrontiert, reagierten zunächst die pädagogisch orientierten Mitarbeiter der Personalentwicklung mit Unverständnis, muss- ten sich dieser Herausforderung aber stellen.

Aus der pädagogischen Perspektive erschien der Begriff Bildungscon- trolling zunächst als reine Wirtschaftlichkeitsbetrachtung einer Bildungs- maßnahme, was nicht direkt messbare Faktoren unberücksichtigt lässt.

Oft wurde an dieser Stelle zurecht die einseitig kostenorientierte Seite des Bildungscontrollings kritisiert¹. Doch diese Einengung des Bildungs- controllings beleuchtet nur eine Seite der Medaille. Eine reine Ergebnisbe- trachtung steht nicht im Zentrum des Bildungscontrollings, sondern ein umfassendes Bildungscontrolling-System versteht sich als steuerndes und regulierendes System. Genau diese Mehrschichtigkeit des Bildungscon- trollings wird von Weiß als eine große Chance angesehen, da hier neben ökonomischen Instrumenten auch pädagogisch-psychologische Werkzeuge angewandt werden.² Im folgenden umschreibt er dieses Zusammenwirken folgendermaßen:

„Evaluation ohne ökonomische Fundierung findet keine Akzeptanz; Controlling ohne pädagogische Kompetenz und personalwirtschaftliche Perspektive gerät allzu leicht zum blinden Aktionismus.“³

Bildungscontrolling umfasst in diesem Verständnis die Steuerung, Planung, Kontrolle und Durchführung von Weiterbildungsmaßnahmen.⁴

Hummel unterscheidet hier zwischen dem operativen Bildungscontrolling, das die betrieblich notwendige Bildungsarbeit möglichst wirtschaftlich durchführen soll und dem strategischen Bildungscontrolling, das die Ziele und Schwerpunkte der betrieblichen Bildungsarbeit hinterfragt.⁵ Wichtig ist aus seiner Sicht, dass diese beiden Perspektiven sich ergänzen und zu einer gemeinsamen zweidimensionalen Betrachtung - pädagogisch und ökonomisch - der Bildungsmaßnahmen führen.

Eine weitere Differenzierung in zeitlicher Hinsicht unterscheidet zwischen operativem Bildungscontrolling, das als kurzfristiger Steuerungsprozess verstanden wird und ein Jahr umfasst, und dem strategischen Bildungscon- trolling, das unter Fokussierung auf die Unternehmensziele sich über meh- rere Jahre erstreckt.⁶

In diesem Rahmen bewegt sich auch nach Weiß das Bildungscontrolling. Er unterscheidet dabei vier Bewertungsmaßstäbe:

1. Relevanz: Sind die Inhalte der Weiterbildungsmaßnahmen für das Unternehmen relevant, d.h. stehen sie mit den strategischen, taktischen und operativen Zielen des Unternehmens im Einklang.⁷
2. Effektivität: Werden die geplanten Lernziele auch erreicht? Dies kann vor allem durch die Überprüfung des Lern- und Transfererfolgs gemessen werden.⁸
3. Effizienz: Ist der Mitteleinsatz zur Zielerreichung vertretbar?
4. Performanz: Inwieweit haben Weiterbildungsmaßnahmen dazu beigetragen, die Leistungsfähigkeit oder die Wettbewerbsfähigkeit des Unternehmens zu steigern.⁹ Mit der Beantwortung dieser vier zentralen Fragen an ein Bildungscon-

Abbildung in dieser Leseprobe nicht enthalten

trollingsystem steht den Personalentwicklern ein Werkzeug zur Verfügung, mit dem sie den Nutzen ihrer Tätigkeit für das Unternehmen eindrucksvoll belegen können. Eine ähnliche Fragestellung findet sich bereits bei Kirck- patrick wieder, der Ende der 50er Jahre des letzten Jahrhunderts versuchte, eine Systematik zur Messung des Bildungserfolgs aufzustellen.

2.2. Methoden des Bildungscontrollings

2.2.1. Bildungsevaluation nach Kirkpatrick

Das lange bewährte Modell von Kirkpatrick – auf dem viele aktuelle Bil- dungscontrollingprogramme aufbauen - teilt die Beurteilung des Erfolgs einer Bildungsmaßnahme in vier Kategorien ein:

- Zufriedenheit der Teilnehmer (Reaction)
- Lernerfolg (Learning)
- Transfererfolg (Behavior)
- Unternehmenserfolg (Results).¹⁰
–

Er geht dabei von der Frage der Unternehmensleitung aus, die Aussagen über den Wert und über das Ergebnis einer Weiterbildungsmaßnahme erwarten.¹¹ Auf der Grundlage dieses Modells werden in vielen Unter- nehmen die Weiterbildungsmaßnahmen evaluiert, wobei allerdings nicht unbedingt alle Stufen betrachtet werden.

2.2.1.1 Grundlagen des Systems nach Kirkpatrick

Um ein erfolgreiches Bildungscontrolling durchführen zu können, ist zu- nächst Klarheit über die Ziele, die Rahmenbedingungen, die Teilnehmer usw. des Weiterbildungsprogramms zu schaffen.

Diesen Prozess clustert Kirkpatrick in 10 Teilschritte, die aus seiner Sicht notwendig sind:

– Bedürfnisse ermitteln: Um ein effektives Weiterbildungs- programm zu entwickeln, muss dieses an den Bedürfnissen der Zielgruppe orientiert sein. Um die Bedürfnisse zuermitteln, können neben Befragungen der Zielgruppe, der Vorgesetzten oder von Experten auch Tests zur Bestimmung der Ausgangssituation herangezogen werden.¹²
- Ziele setzen: Eine klare Zielsetzung ist verbunden mit den Resultaten, die mit der Weiterbildungsmaßnahme verbunden sind. So können damit Verbesserungen in den Bereichen Produktion, Qualität, Verkauf, Umsatz und ROI gemeint sein. Verbunden mit der Zielsetzung ist die Frage nach den Fertigkeiten, dem Wissen und den Einstellungen, die zur Zielerreichung nötig sind.¹³
- Inhalte bestimmen: Auf der Grundlage der Bedürfnisse und der Ziele kann der Weiterbildner dann die Themen des Weiterbildungsprogramms ableiten.¹⁴
- Auswahl der Teilnehmer: Die Leitfragen sind hier: Wer profitiert am meisten von der Weiterbildungsmaßnahme? Sollen ggf. mehrere Hierarchiebenen eines Unternehmens gemeinsam trainiert werden?¹⁵
- Optimalen zeitlichen Ablauf ermitteln: Je nach Thema oder Zielgruppe sollte die Dauer und Frequenz einer Weiterbildungsmaßnahme individuell angepasst werden, um den Lerninteressen der Teilnehmer entgegen zu kommen.¹⁶
- Äußere Rahmenbedingungen definieren: Der Lernerfolg eines Trainings wird mitbestimmt durch die Lernatmosphäre, die durch äußere Rahmenbedingungen wie Raum, Versorgung mit Getränken usw. beeinflusst wird.¹⁷
- Auswahl der Dozenten: Ihre Auswahl hält Kirkpatrick für einen sehr kritischen Faktor für den Erfolg der Weiterbildungsmaßnahme. Eine ausgeprägte „Lerner- orientierung“ fordert er als dominierende Eigenschaft des Dozenten.¹⁸
- Auswahl der audiovisuellen Lehrmittel: Gerade bei extern zugekauften „Standardpaketen“ hält Kirkpatrick es für wichtig, diese an den eigenen Bedarf anzupassen und so die eigenen Medien sinnvoll zu ergänzen.¹⁹
- Koordination des Programms: Wichtig ist eine strukturierte Vorplanung und dann auch Begleitung der Weiterbildungsmaßnahme, so dass mit der Organisation gleichzeitig den Teilnehmern und dem Dozenten auch die Wertschätzung der Organisation vermittelt wird.²⁰
- Evaluation des Programms: Im Zentrum der Evaluation steht die Überprüfung der Effektivität des Programms.

Dabei sieht er drei entscheidende Fragestellungen, die die Evaluation sinn- voll und notwendig machen:

„To justify the existence and budget of the training depart- ment by showing how it contributes to the organisation's objectives and goals.
To decide whether to continue or discontinue training pro- grams.
To gain information on how to improve future training pro- grams.“²¹

An dieser Stelle werden die entscheidenden Aspekte genannt, die sich durch alle Bildungscontrollingmodelle fortsetzen und sich auch in den ver- schiedenen Qualitätsmanagementsystemen wiederfinden:

1. Feststellung des Anteils der Weiterbildung am Unternehmenserfolg
2. Rückschlüsse zur Anpassung und Verbesserung zukünftiger Pro- gramme.²²

2.2.1.2 Stufe 1 Reaction

Die erste Evaluationsstufe, auf der die Reaktion, die Zufriedenheit des Teil- nehmers an der Weiterbildungsmaßnahme gemessen wird, stellt in vielen Organisationen einen Standard dar.²³ Folgende Gründe sprechen für eine Evaluation der Teilnehmerzufriedenheit:

– Es gibt eine Rückmeldung zum durchgeführten Programm selbst, sowie wertvolle Informationen zur Anpassung zukünftiger Weiterbildungsmaßnahmen
– Die Trainer erhalten von den Teilnehmern die Rückmeldung, wie effektiv ihre Arbeit war
– Die Evaluation liefert quantitative Informationen über das Weiterbildungsprogramm an die Unternehmensleitung
– Das Feedback gibt den Trainern die Möglichkeit, zukünftige Trainingsstandards an die Teilnehmererwartung anzupassen.²⁴

In der Regel werden zur Ermittlung der Zufriedenheit mit dem Seminar Fragebögen eingesetzt, in denen die Teilnehmer ihre Ansichten zu den ein- zelnen Punkten des Seminars wiedergeben können. Besonders wichtig sind dabei Kommentare und Anregungen für weitere Maßnahmen, so dass neben einer einfachen Skalierung auch Freitextfelder vorhanden sein sollen.²⁵ Über die Relevanz der Aussagen direkt nach einer Weiterbildungs- maßnahme existieren unterschiedliche Aussagen: Der Gefahr, dass unter dem unmittelbaren Eindruck und aufgrund von Gruppennormen die Ergebnisse oftmals positiv verzerrt sind, sollten sich alle Beteiligten be- wusst sein.²⁶ So sollte ggf. die Messung der Zufriedenheit einige Zeit nach der Maßnahme wiederholt werden, um die häufig kritisierten „Happiness- Sheets“ einer kritischen Überprüfung zu unterziehen. Dennoch bietet die Abfrage der Zufriedenheit der Teilnehmer einen ersten Indikator für den Erfolg einer Weiterbildungsmaßnahme, da zumindest eine negative Rück- meldung eine sofortige Reaktion hervorrufen würde.²⁷

2.2.1.3 Stufe 2 Learning

In dieser Stufe wird ermittelt, inwiefern die Teilnehmer die angestrebten Lernziele in den Bereichen Wissenserweiterung, Erweiterung von Fähigkei- ten und in der Änderung von Einstellungen erreicht haben. Dieser Ler- nerfolg bildet die Basis für alle folgenden Evaluationsstufen und darf auf keinen Fall übergangen werden, wenn auch die weiteren Stufen evaluiert werden sollen:

„It ist important to measure learning because no change in be- havior can be expected unless one or more of these learning objectives have been accomplishes.“²⁸

Die Lernerfolgsmessung kann im optimalen Fall durch den Vergleich mit einer Kontrollgruppe erfolgen, in der Regel allerdings wird der Lernerfolg durch einen Wissenstest oder eine Prüfung festgestellt. Als Zeitpunkt für diese Erhebung bietet sich der direkte Anschluss an die Weiterbildungs- maßnahme an. Kirkpatrick interessiert mit der Evaluation des Lernerfolgs vor allem die Rolle des Lehrenden, den er für die Lernerfolge der Teil- nehmer (mit)-verantwortlich hält, da

„if the learner hasn't learned, the teacher hasn't taught.“²⁹

Während die erste Stufe der Teilnehmerzufriedenheit fast in allen Unter- nehmen evaluiert wird, so erscheint die Messung der Lernerfolge bereits von größerer Schwierigkeit, so dass nur noch in 12 % aller Fälle diese durchgeführt wird.³⁰ Um eine weiterführende Evaluation sicherzustellen, ist dieser ermittelte Prozentsatz sicherlich zu gering, so dass Phillips als Eva- luationsziel auf dieser Stufe eine Erreichung von 40 – 60 % fordert.³¹

Eine Erklärung für die in der Praxis geringe Erhebungsrate wird in den Widerständen der Lehrkräfte gegen diese Praxis gegeben.³²

2.2.1.4 Stufe 3 Behavior

In der folgenden Stufe des Evaluationsmodells von Kirkpatrick steht die Frage nach dem Transfer des Wissens, der Fähigkeiten und Ansichten in den Arbeitsalltag im Mittelpunkt. Die Erhebung dieser Daten ist wesentlich schwieriger als die auf den Evaluationsstufen 1 und 2, da hier mehrere äußere Einflussfaktoren beachtet werden müssen. Doch ist nicht nur die Erhebung der Evaluationsdaten schwieriger, auch die Sicherstellung des Lerntransfers in die berufliche Praxis ist an dieser Stelle am meisten ge- fährdet. Phillips nennt die Zahl von bis zu 90% aller Weiterbildungsmaß- nahmen, die auf der Stufe des Lernens stehen bleiben. Das erlernte Wissen wird nicht in den Arbeitsalltag mitgenommen und umgesetzt.³³ Dies er- klärt auch die geringe Zahl von 15% aller Weiterbildungsmaßnahmen, die auf dieser Stufe überhaupt noch evaluiert werden.³⁴ Diese Zahl scheint realistisch, da der Aufwand zur Ermittlung des Transfererfolgs wesentlich höher ist. Folgende Vorschläge zur Ermittlung des Transfererfolgs werden von Kirkpatrick genannt:

- Nutzung einer Kontrollgruppe:

Hier ist besonders zu beachten, dass die beiden Gruppen auf einem glei- chen Niveau starten, so dass ein Transfererfolg bei der Gruppe, die die Weiterbildungsmaßnahme durchläuft, ggf. festgestellt und dem Training zugeschrieben werden kann.³⁵

- Die Teilnehmer müssen ausreichend Zeit erhalten, um das Erlernte in den Alltag zu transferieren:

Eine detaillierte Frist nennt er nicht, je nach Weiterbildungsmaßnahme scheint ein Zeitfenster von zwei bis sechs Monaten realistisch.³⁶

- Eine Evaluation sollte vor und nach dem Weiterbildungsprogramm er- folgen:

Gerade mit dieser Vergleichsmessung besteht die Möglichkeit, eine Kom- petenzerweiterung der Teilnehmer festzustellen. Kritisch ist an dieser Stelle anzumerken, dass Kirkpatrick die Möglichkeit anderer Faktoren, die zu einer Kompetenzerweiterung geführt haben, außen vor lässt.³⁷

- Feedback von unterschiedlichen Gruppen sammeln:

Neben den Teilnehmern der Weiterbildungsmaßnahme sollten deren Vorgesetzte, Untergebene und Kollegen befragt werden, ob sie eine Verhaltensänderung feststellen.³⁸ Mit diesem einfachen 360-Grad-Feedback wird ein umfassendes Bild ermittelt, das aus unterschiedlichen Blickwinkeln eine Bewertung ermöglicht. Als Werkzeuge der Befragung können an dieser Stelle ein Fragebogen oder ein Interview eingesetzt werden. In den meisten Fällen wird zur Ermittlung dieser Daten ein gut ausgearbeiteter Fragebogen ausreichen.

- Möglichst alle Teilnehmer sollten befragt werden:

Um statistische Mängel der Befragung auszuschließen, sollten alle Teil- nehmer an der Weiterbildungsmaßnahme in das Feedback einbezogen werden. Falls dies aus praktischen Gründen nicht möglich ist, so sollte eine Referenzgruppe aus allen Teilnehmern zusammengestellt werden.³⁹

- Wiederholung der Befragung:

Die Teilnehmer unterliegen sehr unterschiedlichen Einflüssen in ihrem Arbeitsalltag. So setzen einige die Verhaltensänderung sofort um, wäh- rend andere erst nach einigen Monaten das Erlernte umsetzen können. Ebenso besteht die Möglichkeit, dass Teilnehmer wieder auf ihre alten Verhaltensmuster zurückgreifen. Um in diesen Fällen ein valides Ergebnis zu erhalten, sollte die erste Befragung 2-3 Monate nach der Maßnahme, eine zweite nach weiteren 6 Monaten und eine abschließende Evaluation nach weiteren 6 Monaten erfolgen, so dass der Transfer in den Arbeitsall- tag wirklich sichergestellt ist. ⁴⁰

- Abwägung Kosten der Evaluation zum Nutzen über die Information des Transfers:

Die Kosten für die Evaluation auf der dritten Stufe werden hauptsächlich durch die Personalkosten der Befrager gestellt. Gerade wenn externe Kräf- te involviert sind, können diese Kosten den Nutzen der Befragung über- steigen. Je höher jedoch der erwartete Nutzen eines Programms ist, desto intensiver sollte auf dieser Ebene auch evaluiert werden.⁴¹

Aus dieser Übersicht wird deutlich, dass die Evaluation des Transfererfolgs eine bedeutende Rolle in der Bewertung der Weiterbildungsmaßnahme aus Sicht des Unternehmens einnimmt. Hier taucht erstmals neben dem in- dividuellen Lernerfolg des Mitarbeiters ein für das Unternehmen greifbares Resultat auf. Aus diesem Grund sollte eine Weiterbildungsevaluation sich nicht nur auf die beiden ersten Stufen beschränken, sondern auf jeden Fall den Transfer der Inhalte in die berufliche Praxis ermitteln. Mit den hier er- mittelten Daten liegen der Personalentwicklung erstmals greifbare Daten über die Qualität der Weiterbildung vor, die auch die Unternehmenslei- tung interessieren.

2.2.1.5 Stufe 4 Results

Die Messung der Resultate der Weiterbildungsmaßnahme bezeichnet Kirk- patrick als

„the most important and perhaps the most difficult part of the process“.⁴²

Die beispielhaften Fragen, die an dieser Stelle an das Ergebnis einer Wei- terbildungsmaßnahme gerichtet werden, sind u.a. folgende:

- Wie stark hat sich die Qualität verbessert und wie hat sich dieses Verbesserung auf den Profit ausgewirkt?
- Wie stark hat sich die Produktivität verbessert und wurden die Kosten gesenkt??
- Welchen Einfluss hatte die Maßnahme auf die Ausschuss- quote in einem produzierenden Betrieb?
- Hat sich die Qualität der Kommunikation im Unternehmen verändert?
- Wie sieht der Return on Investment der Maßnahme aus?⁴³

Aus der Sicht von Kirkpatrick bleiben diese Fragen häufig aus zwei Gründen unbeantwortet,

- da die Verantwortlichen nicht wissen, wie sie die Resultate messen und mit den Kosten des Programms in Relation setzen können,
- da trotz dieses Wissens auf der anderen Seite eine Zuordnung positiver Resultate zu der Weiterbildungsmaßnahme nicht bewiesen werden kann.⁴⁴ Auch andere Quellen sehen dies ähnlich, so dass als Ergebnis auf dieser Stufe kaum eine Evaluation erfolgt.⁴⁵

Die Maßnahmen zur Erhebung der Evaluationsdaten sind weitgehend identisch mit denen auf der vorherigen Stufe, aus diesem Grund werden sie hier nicht noch einmal wiederholt. Die oben formulierte Frage nach einem messbaren ROI einer Weiterbildungsmaßnahme beantwortet Kirk- patrick mit einem klaren

„I almost laugh when I hear people say that training professio- nals should be able to show benefits in terms of return on invest- ment (ROI) from a company standpoint. The same thought oc- curs to me when they expect trainers to relate training profits di- rectly to profits.“⁴⁶

Den Grund für diese Ablehnung der Messbarkeit eines ROI einer Weiterbil- dungsmaßnahme sieht Kirkpatrick in den nicht identifizierbaren Effekten, die ebenfalls auf die Teilnehmer einwirken und ggf. neben dem Training auf das Verhalten und damit auf das Resultat eingewirkt haben.⁴⁷

Eine Anwendung auf der Ebene der Resultate sieht er dagegen bei Ver- kaufsseminaren, Seminaren mit Zielsetzung der Reduzierung von Ausschuss und Arbeitsunfällen.

Bei der Vermittlung von Sozialen Themen ist allerdings die Messbarkeit be- grenzt, da hier zwar Veränderungen festgestellt werden können, die Zu- weisung der Veränderung auf die Weiterbildungsmaßnahme aber nicht schlüssig erfolgen kann. In diesen Fällen rät Kirkpatrick einfach die posi- tiven Effekte zu beschreiben, oder auf die Evaluationsstufen 1 und 2 zu- rückzugehen und mit dem positiven Feedback auf diesen Ebenen die Un- ternehmensleitung zu überzeugen.⁴⁸ Mit diesen unpräzisen Beschreibung schränkt Kirkpatrick die Nutzung seines Modells ein. Aus diesem Grund su- chen Personalentwickler in vielen Unternehmen ergänzende Methoden und Verfahren, die eine verlässlichere Auswertung und entsprechend ein besser kommunizierbares Ergebnis ermitteln.

2.2.2. Das Evaluationsmodell von Phillips (ROI)

Diese oben angesprochene Erwartungshaltung möchte Phillips mit seinem Modell bedienen. Er baut dabei auf das beschriebene Modell von Kirkpa- trick auf, ergänzt dieses aber um eine fünfte Evaluationsstufe, die Ermitt- lung des Return on Investment (ROI). Um Wiederholungen zu vermeiden, werde ich die Besonderheiten und Unterschiede des ROI Modells zu Kirkpa- trick herausarbeiten, während die identischen Schritte nur kurz erwähnt werden.

Das Modell von Phillips stützt eine Erwartungshaltung, die in vielen Un- ternehmen schon länger an die Personalentwicklung herangetragen wird: Welchen Vorteil hat das Unternehmen von einer Weiterbildungsmaß- nahme?⁴⁹

2.2.2.1. Grundlagen des Modells

Mit dem Versuch der Ermittlung des ROI verlässt Phillips den pädagogisch dominierten Bereich des Bildungscontrollings, der im Modell von Kirkpa- trick immer zu spüren war und konzentriert sich auf betriebswirtschaftlich relevante Fragestellungen. Dies wird auch durch die unterschiedliche Per- spektive deutlich, mit der er die Ausgangslage beschreibt:

„ Es zählt, was unter dem Strich rauskommt“.⁵⁰

Ein erster Unterschied zu Kirkpatrick ist bereits bei der Zieldefinition festzustellen: Das ROI-Modell verfolgt ein klares Ergebniscontrolling, und stützt sich dabei auf die Evaluation der einzelnen Prozessschritte, hat aber immer das Ziel der fünften Evaluationsebene im Blick. Die unterschiedli- chen Bedeutungen der einzelnen Stufen für die Unternehmensleitung verdeutlicht die folgende Grafik:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1 – Auswirkungskette der fünf Evaluationsstufen⁵¹

Der Nutzen wird gerade durch den hohen Informationswert für das Ma- nagement auf der fünften Ebene deutlich.

Der gesamte ROI-Prozess besteht aus 5 Abschnitten, die aufeinander ab- folgen. Dies sind

- die Evaluationsplanung,
- die Datenerfassung während und nach dem Training,
- die Datenanalyse mit Isolierung der Effekte, sowie einer finanziellen Bewertung,
- der Ermittlung des ROI,
- einem Ergebnisbericht.⁵²

Um die einzelnen Schritte zielgerichtet bearbeiten zu können, werden Grundsätze formuliert, die nötig sind, um

“die Beständigkeit und Wiederholbarkeit einer Auswirkungsstu- die zu gewährleisten.“⁵³

Mit der Festschreibung der folgenden Grundsätze scheint Phillips den Ver- such zu verfolgen, dass Kritik an seinem Modell von vorne herein erschwert wird.⁵⁴

„Grundsätze für den ROI-Prozess:

1. Werden Daten auf höheren Messtufen erfasst, müssen auch Daten auf niedrigen Messstufen erfasst werden.
2. Wird die Evaluation auf höheren Stufen geplant, müssen die vorherigen nicht so umfangreich evaluiert werden.
3. Immer nur die vertrauenswürdigsten, zuverlässigsten Da- tenquellen verwenden.
4. Bei der Datenanalyse immer nur die konservativste Alternative für die Kalkulation verwenden.
5. Zur Isolierung der Effekte muss mindestens eine Methode angewendet werden.
6. Bei fehlenden Daten unterstellen, dass keine oder nur geringe Verbesserungen eingetreten sind.
7. Müssen Daten geschätzt werden, immer die ungünstigsten Voraussetzungen annehmen.
8. Unglaubwürdige Daten bei der Berechnung nicht verwenden.
9. Den ROI eines Projekts in der Regel nur für das erste Jahr berechnen.
10. Zur ROI-Berechnung alle Kosten (Vollkosten) einbeziehen.
11. Immaterielle Werte sind Daten, die absichtlich nicht in ma- terielle Werte umgewandelt werden.
12. Ergebnisse eines ROI-Prozesses müssen an alle wichtigen Beteiligten kommuniziert werden.“⁵⁵

[...]

---

¹ Dennoch belegen neuere Forschungen, dass „betriebliche Bildungsinvestitionen mit Produktivi- tätsgewinnen einhergehen“. Vgl. Weiß, Reinhold: Bildungscontrolling: Messung des Messbaren; in : Gust, Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungscontrolling für exzellente Perso- nalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspraxis. Wien, S. 29.

² Ebenda, S. 33.

³ Ebenda, S. 34.

⁴ Vgl. Hummel, Thomas R. (1999): Erfolgreiches Bildungscontrolling. Praxis und Perspektiven. Heidelberg, S. 13.

⁵ Ebenda, S. 14.

⁶ Ebenda, S. 26.

⁷ Vgl. Weiß (2006),S. 31.

⁸ Ebenda, S. 32.

⁹ Ebenda, S. 32.

¹⁰ Ebenda, S. 37.

¹¹ Vgl. Kirkpatrick, Donald L.; Kirkpatrick, James D. (2006): Evaluating Training Programs. The four levels. 3. Auflage, San Francisco, S. 3.

¹² Ebenda, S. 4.

¹³ Ebenda, S. 9.

¹⁴ Ebenda, S. 9.

¹⁵ Ebenda, S. 10.

¹⁶ Ebenda, S. 11.

¹⁷ Ebenda, S. 12.

¹⁸ Ebenda, S. 12.

¹⁹ Ebenda, S. 13.

²⁰ Ebenda, S. 14.

²¹ Ebenda, S. 17.

²² Vgl. Hummel (1999), S. 21ff., der diese Einteilung als quantitatives und qualitatives Bildungscon- trolling darstellt.

Diese Gliederung des Bildungscontrolling in einen ökonomischen und einen pädagogischen Be- reichfindet sich auch bei Weiß wieder. Vgl. Weiß (2006), S. 33.

²³ So wird in rund 95 % aller Weiterbildungsmaßnahmen die Teilnehmerzufriedenheit erfasst. Vgl. Büser, Tobias; Gülpen, Barbara: 300.000 Euro Rendite durch ein dreitägiges Training?; in: Gust, Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungscontrolling für exzellente Personalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspraxis. Wien, S. 236.

²⁴ Vgl. Kirkpatrick (2006), S. 27.

²⁵ Ebenda, S. 34. Gerade in diesen Kommentaren finden sich wertvolle Hinweise für die Verbesse- rung eines Weiterbildungsprogramms.

²⁶ Vgl. Weiß (2006), S. 37.

²⁷ Ebenda, S. 38.

²⁸ Vgl. Kirkpatrick (2006), S. 42. Den gleichen Effekt beschreibt Phillips als „Auswirkungskette“ und empfiehlt ebenso wie Kirkpatrick die Evaluation aller Stufen, so dass ggf. auch Brüche erkennbar werden. Vgl. Phillips, Jack J.; Schirmer, Frank C. (2005): Return on Investment in der Personalen- wicklung. Der 5-Stufen-Evaluationsprozess. Berlin, Heidelberg, S. 28f.

²⁹ Ebenda, S. 49.

³⁰ Vgl. Büser; Gülpen (2006), S. 236.

³¹ Vgl. Phillips; Schirmer (2005), S. 32.

³² Vgl. Weiß (2006), S. 38.

³³ Vgl. Phillips; Schirmer (2005), S. 83.

³⁴ Vgl. Büser; Gülpen (2006), S. 236.

³⁵ Vgl. Kirkpatrick (2006), S. 53f.

³⁶ Ebenda, S. 54.

³⁷ Ebenda, S. 54f. Dies wird generell als Kritikpunkt an der Bewertung des Erfolgs von Trainingsmaßnahmen gesehen. Andere Autoren, z..B. Phillips sehen die Gefahr, dass an dieser Stelle ihr Evaluationsmodell methodisch unsauber wird und isolieren die Trainingseffekte der Maßnahme von anderen Einflussfaktoren. Vgl. Phillips; Schirmer (2005), S. 33.

³⁸ Vgl. Kirkpatrick (2006), S. 55f.

³⁹ Ebenda, S. 59.

⁴⁰ Ebenda, S. 59.

⁴¹ Ebenda, S. 60. Kirkpatrick weist an dieser Stelle auch darauf hin, dass die Verhaltensänderung die Basis für die Evaluation auf der nächsten Stufe darstellt. Falls keinerlei Verhaltensänderung feststellbar ist, so wird sich auch auf der Evaluationsstufe 4 keine Veränderung feststellen lassen.

⁴² Ebenda, S. 63. 43 Ebenda, S. 63f.

⁴⁴ Ebenda, S. 64. Genau an dieser Stelle zwischen dritter und vierter Evaluationsstufe empfiehlt Phillips die Isolierung der Trainingseffekte, so dass dadurch eine klare Zuordnung und ein Beleg des Erfolgs nachweisbar ist. Vgl. Phillips; Schirmer (2005), S. 81ff.

⁴⁵ Vgl. Büser; Gülpen (2006), S. 236.

⁴⁶ Ebenda, S. 67 Zu diesem Aspekt siehe Phillips im folgenden Kapitel.

⁴⁷ Ebenda, S. 67.

⁴⁸ Ebenda, S. 69.

⁴⁹ Vgl. Gust, Mario: Resultatsorientiertes Bildungscontrolling und Werkzeuge eines strategischen Wissensmanagement; in: Gust, Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungscon- trolling für exzellente Personalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspraxis. Wien, S. 52.

⁵⁰ Vgl. Phillips; Schirmer (2005), S. 13.

⁵¹ Ebenda, S. 29.

⁵² Ebenda, S. 24.

⁵³ Ebenda, S. 29.

⁵⁴ Gerade in der erwachsenenpädagogischen Forschung wird die Berechnung des Wertes einer Bil- dungsmaßnahme „bis auf den letzten Cent“ kritisiert, da neben der reinen Vermittlung von Wissen, Fähigkeiten und Fertigkeiten Bildungsprozesse wesentlich komplexer ablaufen und sich in ROI oder Qualitätsbeschreibungen nur unzureichend wiederfinden. Vgl. Arnold, Rolf: Qualität durch Professionalität – zur Durchmischung von Utilität und Zweckfreiheit in der Qualität be- trieblicher Weiterbildung; in: Arnold, Rolf (Hrsg.)(1997): Qualitätssicherung in der Erwachsenen- bildung. Opladen, S. 51ff.

⁵⁵ Vgl. Phillips; Schirmer (2005), S. 30.