Inhalt

1.  Einleitung.  3

2.  Bildungscontrolling  5

2.1  Definition des Begriffs Bildungscontrolling.  5

2.2.  Methoden des Bildungscontrollings.  7

2.2.1.  Bildungsevaluation nach Kirkpatrick.  7

2.2.1.1  Grundlagen des Systems nach Kirkpatrick.  7

2.2.1.2  Stufe 1 Reaction.  9

2.2.1.3  Stufe 2 Learning.  10

2.2.1.4  Stufe 3 Behavior.  11

2.2.1.5  Stufe 4 Results.  14

2.2.2.  Das Evaluationsmodell von Phillips (ROI)  16

2.2.2.1.  Grundlagen des Modells.  16

2.2.2.2  Evaluationsplanung.  19

2.2.2.3  Datenerfassungsplan.  21

2.2.2.4  Datenanalyse.  22

2.2.2.5  Ermittlung des ROI.  24

2.2.2.5.  Ergebnisbericht.  26

2.2.3.  Ermittlung des Value of Investment (VOI)  28

2.2.3.1  GoalNavigator.  29

2.2.3.2  Realitäts-Check.  31

2.2.3.3.  ValueFinder.  32

2.2.3.4.  ProjectMapping.  35

2.2.3.5  ResultTracker.  40

3.  Qualitätsmanagementsysteme in der Weiterbildung.  43

3.1  Definition Qualität in der Weiterbildung.  43

3.2.  Qualitätsmanagementsysteme.  46

3.3.  LQW-Qualitätsmodell.  47

3.3.1  Gelungenes Lernen.  48

3.3.2.  Prozessmodell.  49

3.3.3.  Qualitätsbereiche.  52

3.3.3.1  Leitbild und Definition gelungenen Lernens.  52

3.3.3.2  Bedarfserschließung.  54

3.3.3.3  Schlüsselprozesse.  55

3.3.3.4.  Lehr-Lern-Prozess.  55

3.3.3.5.  Evaluation der Bildungsprozesse.  57

3.3.3.6  Infrastruktur.  58

3.3.3.7  Führung.  59

3.3.3.8  Personal.  59

3.3.3.9  Controlling.  60

3.3.3.10  Kundenkommunikation.  61

3.3.3.11  Strategische Entwicklungsziele.  61

4.  Fazit.  63

5.  Literaturverzeichnis.  65

I

Abbildungsverzeichnis   

Abb.  1 Auswirkungskette der fünf Evaluationsstufen.  

Abb.  2 Evaluationsziele je Stufe.  

Abb.  3 Verknüpfung von Bedarfsanalyse, Programmzielen und Evaluation.  

Abb.  4 Methoden zur Datenerfassung.  

Abb.  5 Auswirkungskette.  

Abb.  6 Vergleich materieller und immaterieller Messdaten.  

Abb.  7 Kostenarten.  

Abb.  8 Kommunikationsplan.  

Abb.  9 Fragenkatalog QuickCheck.  

Abb.  10 Beispiel Nutzenkategorien Mitarbeiter.  

Abb.  11 Nutzenanalyse Kompetenz.  

Abb.  12 Projektdefinition Beispiel aus Kategorie Unternehmen.  

Abb.  13 Checkliste Planen.  

Abb.  14 Checkliste Organisieren.  

Abb.  15 Checkliste Durchführen.  

Abb.  16 Checkliste Kontrollieren.  

Abb.  17 Resulttracker Ergebnistabelle Unternehmen.  

Abb.  18 Qualitätsbereiche und Qualitätskriterien von Weiterbildung.  

Abb.  19 „Qualitätsringe“  

Abb.  20 Qualitätsentwicklungs- und -testierungsmodell.  

Abb.  21 Qualitätskreislauf.  

Abb.  22 Kontinuierliche Qualitätsentwicklung.  

Abb.  23 Beschreibung Leitbild.  

Abb.  24 Qualitätsbereich 4 Lehr-Lern-Prozess.  

II

1. Einleitung

Die Personalentwicklung steht im neuen Jahrtausend im Kontext der Globalisierung und eines starken Wettbewerbs in vielen Unternehmen vor neuen Herausforderungen.

So wird von ihr auf der einen Seite der Beleg für den Erfolg von Personalentwicklungsmaßnahmen gefordert. Auf der anderen Seite wird ebenso verlangt, dass diese Erfolge mit möglichst geringen Weiterbildungsbudgets und hoher Effizienz erreicht werden.

Um diesen Anforderungen gerecht zu werden, stehen verschiedene Wege zur Verfügung: So verspricht ein detailliertes Bildungscontrollingsystem einen zielgerichteten Einsatz der Bildungsressourcen, sowie eine klaren Zusammenhang zwischen Weiterbildungsmaßnahmen und den daraus resultierenden Ergebnissen. Auf der anderen Seite bieten standardisierte Qualitätsmanagementsysteme eine ähnliche systematische Aufarbeitungsmöglichkeit. Doch welche Lösung bietet sich hier zur Erlangung der ge-forderten Ergebnisse und zur Dokumentation des Weiterbildungserfolgs an?

Wo findet sich in diesen Konzepten die Berücksichtigung der Lehr-Lern-Situation, die in der „Produktion“ von Wissen und Fertigkeiten nicht mit dem normalen Produktionsprozess von Gütern oder Dienstleistungen vergleichbar ist?

Eine klare Entscheidung für einen der beiden Wege fällt vielen Personalentwicklern schwer, da ggf. neben den innerbetrieblichen Anforderungen auch externe Forderungen, z.B. von Auftraggebern und Partnern zu berücksichtigen sind.

Auf den ersten Blick erscheint dieses Anforderungsprofil widersprüchlich, doch bei genauerem Hinsehen ergeben sich Möglichkeiten, aus der Verbindung von Bildungscontrolling und Qualitätsmanagement in der Weiterbildung eine Verbindung zu schließen.

Aus diesem Grund möchte ich in dieser Arbeit den Blick auf diese beiden

1

Bereiche legen.

Zu Beginn werde ich einen Blick auf das aktuelle Thema „Bildungscontrolling“ werfen. Seit den 90 er Jahren wird dieses Thema zwischen Pädagogen und Ökonomen widersprüchlich erörtert. Den aktuellen Entwick-lungsstand und die Forschungsdiskussion dazu werde ich am Anfang meiner Arbeit darstellen. Daneben werde ich einen Blick auf die aktuellen Formen des Bildungscontrollings werfen und drei Modelle vorstellen.

Darauf folgt eine Definition von Qualität im Kontext der Weiterbildung.

Im Anschluss daran werde ich ein Qualitätsmanagementsystem speziell für den Weiterbildungsbereich vorstellen.

Schließlich werde ich eine Zusammenführung von Bildungscontrolling und einem Qualitätsmanagementsystem versuchen, die die Vorteile von beiden Bereichen aufnimmt und bremsenden „Ballast“ vermeidet.

2

2. Bildungscontrolling

2.1 Definition des Begriffs Bildungscontrolling

Bis zu Beginn der 90er Jahre des letzten Jahrhunderts glänzten die Personalentwicklungs- und Weiterbildungsabteilungen der größeren Unternehmen mit umfangreichen Seminarkatalogen, deren Sinn sich einem neutralen Betrachter nicht immer sofort erschloss. Mit knapper werdenden Weiterbildungsbudgets wurde danach die Frage nach der Effizienz und der Effektivität der Personalentwicklungsmaßnahmen verknüpft. Mit dieser Anforderung konfrontiert, reagierten zunächst die pädagogisch orientierten Mitarbeiter der Personalentwicklung mit Unverständnis, mussten sich dieser Herausforderung aber stellen.

Aus der pädagogischen Perspektive erschien der Begriff Bildungscontrolling zunächst als reine Wirtschaftlichkeitsbetrachtung einer Bildungsmaßnahme, was nicht direkt messbare Faktoren unberücksichtigt lässt.

Oft wurde an dieser Stelle zurecht die einseitig kostenorientierte Seite des Bildungscontrollings kritisiert ¹ . Doch diese Einengung des Bildungscontrollings beleuchtet nur eine Seite der Medaille. Eine reine Ergebnisbetrachtung steht nicht im Zentrum des Bildungscontrollings, sondern ein umfassendes Bildungscontrolling-System versteht sich als steuerndes und regulierendes System. Genau diese Mehrschichtigkeit des Bildungscontrollings wird von Weiß als eine große Chance angesehen, da hier neben ökonomischen Instrumenten auch pädagogisch-psychologische Werkzeuge angewandt werden. ² Im folgenden umschreibt er dieses Zusammenwirken folgendermaßen:

„Evaluation ohne ökonomische Fundierung findet keine Akzeptanz; Controlling ohne pädagogische Kompetenz und

1 Dennoch belegen neuere Forschungen, dass „betriebliche Bildungsinvestitionen mit Produktivi-

tätsgewinnen einhergehen“. Vgl. Weiß, Reinhold: Bildungscontrolling: Messung des Messbaren;

in : Gust, Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungscontrolling für exzellente Perso-

nalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspraxis. Wien, S. 29.

2 Ebenda, S. 33.

3

personalwirtschaftliche Perspektive gerät allzu leicht zum blinden Aktionismus.“ 3

Bildungscontrolling umfasst in diesem Verständnis die Steuerung, Planung, Kontrolle und Durchführung von Weiterbildungsmaßnahmen. 4

Hummel unterscheidet hier zwischen dem operativen Bildungscontrolling, das die betrieblich notwendige Bildungsarbeit möglichst wirtschaftlich durchführen soll und dem strategischen Bildungscontrolling, das die Ziele und Schwerpunkte der betrieblichen Bildungsarbeit hinterfragt. ⁵ Wichtig ist aus seiner Sicht, dass diese beiden Perspektiven sich ergänzen und zu einer gemeinsamen zweidimensionalen Betrachtung - pädagogisch und ökonomisch - der Bildungsmaßnahmen führen.

Eine weitere Differenzierung in zeitlicher Hinsicht unterscheidet zwischen operativem Bildungscontrolling, das als kurzfristiger Steuerungsprozess verstanden wird und ein Jahr umfasst, und dem strategischen Bildungscontrolling, das unter Fokussierung auf die Unternehmensziele sich über mehrere Jahre erstreckt. 6

In diesem Rahmen bewegt sich auch nach Weiß das Bildungscontrolling. Er unterscheidet dabei vier Bewertungsmaßstäbe:

1. Relevanz: Sind die Inhalte der Weiterbildungsmaßnahmen

2. Effektivität: Werden die geplanten Lernziele auch

3. Effizienz: Ist der Mitteleinsatz zur Zielerreichung vertretbar? 4. Performanz: Inwieweit haben Weiterbildungsmaßnahmen

Mit der Beantwortung dieser vier zentralen Fragen an ein Bildungscon-

3Ebenda, S. 34.

4 Vgl. Hummel, Thomas R. (1999): Erfolgreiches Bildungscontrolling. Praxis und Perspektiven.

Heidelberg, S. 13.

5 Ebenda, S. 14.

6 Ebenda, S. 26.

7 Vgl. Weiß (2006),S. 31.

8 Ebenda, S. 32.

9 Ebenda, S. 32.

4

trollingsystem steht den Personalentwicklern ein Werkzeug zur Verfügung, mit dem sie den Nutzen ihrer Tätigkeit für das Unternehmen eindrucksvoll belegen können. Eine ähnliche Fragestellung findet sich bereits bei Kirckpatrick wieder, der Ende der 50er Jahre des letzten Jahrhunderts versuchte, eine Systematik zur Messung des Bildungserfolgs aufzustellen.

2.2. Methoden des Bildungscontrollings

2.2.1. Bildungsevaluation nach Kirkpatrick

Das lange bewährte Modell von Kirkpatrick - auf dem viele aktuelle Bildungscontrollingprogramme aufbauen - teilt die Beurteilung des Erfolgs einer Bildungsmaßnahme in vier Kategorien ein:

- Zufriedenheit der Teilnehmer (Reaction)

- Lernerfolg (Learning) - Transfererfolg (Behavior) - Unternehmenserfolg (Results). 10

^- Ergeht dabei von der Frage der Unternehmensleitung aus, die Aussagen über den Wert und über das Ergebnis einer Weiterbildungsmaßnahme erwarten. ¹¹ Auf der Grundlage dieses Modells werden in vielen Unternehmen die Weiterbildungsmaßnahmen evaluiert, wobei allerdings nicht unbedingt alle Stufen betrachtet werden.

2.2.1.1 Grundlagen des Systems nach Kirkpatrick

Um ein erfolgreiches Bildungscontrolling durchführen zu können, ist zunächst Klarheit über die Ziele, die Rahmenbedingungen, die Teilnehmer usw. des Weiterbildungsprogramms zu schaffen.

Diesen Prozess clustert Kirkpatrick in 10 Teilschritte, die aus seiner Sicht notwendig sind:

- Bedürfnisse ermitteln: Um ein effektives Weiterbildungsprogramm zu entwickeln, muss dieses an den Bedürfnissen der Zielgruppe orientiert sein. Um die Bedürfnisse zu

10 Ebenda, S. 37.

11 Vgl. Kirkpatrick, Donald L.; Kirkpatrick, James D. (2006): Evaluating Training Programs. The four

levels. 3. Auflage, San Francisco, S. 3.

5

ermitteln, können neben Befragungen der Zielgruppe, der Vorgesetzten oder von Experten auch Tests zur Bestimmung der Ausgangssituation herangezogen werden. ¹² - Ziele setzen: Eine klare Zielsetzung ist verbunden mit den Resultaten, die mit der Weiterbildungsmaßnahme verbunden sind. So können damit Verbesserungen in den Bereichen Produktion, Qualität, Verkauf, Umsatz und ROI gemeint sein. Verbunden mit der Zielsetzung ist die Frage nach den Fertigkeiten, dem Wissen und den Einstellungen, die zur Zielerreichung nötig sind. 13

- Inhalte bestimmen: Auf der Grundlage der Bedürfnisse und der Ziele kann der Weiterbildner dann die Themen des Weiterbildungsprogramms ableiten. ¹⁴ - Auswahl der Teilnehmer: Die Leitfragen sind hier: Wer profitiert am meisten von der Weiterbildungsmaßnahme? Sollen ggf. mehrere Hierarchiebenen eines Unternehmens gemeinsam trainiert werden? 15

- Optimalen zeitlichen Ablauf ermitteln: Je nach Thema oder Zielgruppe sollte die Dauer und Frequenz einer Weiterbildungsmaßnahme individuell angepasst werden, um den Lerninteressen der Teilnehmer entgegen zu kommen. ¹⁶ - Äußere Rahmenbedingungen definieren: Der Lernerfolg eines Trainings wird mitbestimmt durch die Lernatmosphäre, die durch äußere Rahmenbedingungen wie Raum, Versorgung mit Getränken usw. beeinflusst wird. ¹⁷ - Auswahl der Dozenten: Ihre Auswahl hält Kirkpatrick für einen sehr kritischen Faktor für den Erfolg der Weiterbildungsmaßnahme. Eine ausgeprägte „Lerner-orientierung“ fordert er als dominierende Eigenschaft des Dozenten. 18

- Auswahl der audiovisuellen Lehrmittel: Gerade bei extern zugekauften „Standardpaketen“ hält Kirkpatrick es für wichtig, diese an den eigenen Bedarf anzupassen und so die eigenen Medien sinnvoll zu ergänzen. ¹⁹ - Koordination des Programms: Wichtig ist eine strukturierte Vorplanung und dann auch Begleitung der

Weiterbildungsmaßnahme, so dass mit der Organisation gleichzeitig den Teilnehmern und dem Dozenten auch die Wertschätzung der Organisation vermittelt wird. ²⁰ - Evaluation des Programms: Im Zentrum der Evaluation steht die Überprüfung der Effektivität des Programms.

12 Ebenda, S. 4.

13 Ebenda, S. 9.

14 Ebenda, S. 9.

15 Ebenda, S. 10.

16 Ebenda, S. 11.

17 Ebenda, S. 12.

18 Ebenda, S. 12.

19 Ebenda, S. 13.

20 Ebenda, S. 14.

6

Dabei sieht er drei entscheidende Fragestellungen, die die Evaluation sinnvoll und notwendig machen:

„To justify the existence and budget of the training department by showing how it contributes to the organisation's objectives and goals.

To decide whether to continue or discontinue training programs.

To gain information on how to improve future training programs.“ 21

An dieser Stelle werden die entscheidenden Aspekte genannt, die sich durch alle Bildungscontrollingmodelle fortsetzen und sich auch in den verschiedenen Qualitätsmanagementsystemen wiederfinden:

1. Feststellung des Anteils der Weiterbildung am Unternehmenserfolg

2. Rückschlüsse zur Anpassung und Verbesserung zukünftiger Programme. 22

2.2.1.2 Stufe 1 Reaction

Die erste Evaluationsstufe, auf der die Reaktion, die Zufriedenheit des Teilnehmers an der Weiterbildungsmaßnahme gemessen wird, stellt in vielen Organisationen einen Standard dar. ²³ Folgende Gründe sprechen für eine Evaluation der Teilnehmerzufriedenheit:

- Es gibt eine Rückmeldung zum durchgeführten Programm selbst, sowie wertvolle Informationen zur Anpassung zukünftiger Weiterbildungsmaßnahmen - Die Trainer erhalten von den Teilnehmern die Rückmeldung, wie effektiv ihre Arbeit war

- Die Evaluation liefert quantitative Informationen über das Weiterbildungsprogramm an die Unternehmensleitung - Das Feedback gibt den Trainern die Möglichkeit, zukünftige Trainingsstandards an die Teilnehmererwartung anzupassen. 24

21 Ebenda, S. 17.

22 Vgl. Hummel (1999), S. 21ff., der diese Einteilung als quantitatives und qualitatives Bildungscon-

trolling darstellt.

Diese Gliederung des Bildungscontrolling in einen ökonomischen und einen pädagogischen Be-

reichfindet sich auch bei Weiß wieder. Vgl. Weiß (2006), S. 33.

23 So wird in rund 95 % aller Weiterbildungsmaßnahmen die Teilnehmerzufriedenheit erfasst. Vgl.

Büser, Tobias; Gülpen, Barbara: 300.000 Euro Rendite durch ein dreitägiges Training?; in: Gust,

Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungscontrolling für exzellente Personalarbeit.

Konzepte- Methoden- Instrumente-Unternehmenspraxis. Wien, S. 236.

24 Vgl. Kirkpatrick (2006), S. 27.

7

In der Regel werden zur Ermittlung der Zufriedenheit mit dem Seminar Fragebögen eingesetzt, in denen die Teilnehmer ihre Ansichten zu den einzelnen Punkten des Seminars wiedergeben können. Besonders wichtig sind dabei Kommentare und Anregungen für weitere Maßnahmen, so dass neben einer einfachen Skalierung auch Freitextfelder vorhanden sein sollen. ²⁵ Über die Relevanz der Aussagen direkt nach einer Weiterbildungsmaßnahme existieren unterschiedliche Aussagen: Der Gefahr, dass unter dem unmittelbaren Eindruck und aufgrund von Gruppennormen die Ergebnisse oftmals positiv verzerrt sind, sollten sich alle Beteiligten bewusst sein. ²⁶ So sollte ggf. die Messung der Zufriedenheit einige Zeit nach der Maßnahme wiederholt werden, um die häufig kritisierten „Happiness-Sheets“ einer kritischen Überprüfung zu unterziehen. Dennoch bietet die Abfrage der Zufriedenheit der Teilnehmer einen ersten Indikator für den Erfolg einer Weiterbildungsmaßnahme, da zumindest eine negative Rückmeldung eine sofortige Reaktion hervorrufen würde. 27

2.2.1.3 Stufe 2 Learning

In dieser Stufe wird ermittelt, inwiefern die Teilnehmer die angestrebten Lernziele in den Bereichen Wissenserweiterung, Erweiterung von Fähigkeiten und in der Änderung von Einstellungen erreicht haben. Dieser Lernerfolg bildet die Basis für alle folgenden Evaluationsstufen und darf auf keinen Fall übergangen werden, wenn auch die weiteren Stufen evaluiert werden sollen:

„It ist important to measure learning because no change in be-havior can be expected unless one or more of these learning objectives have been accomplishes.“ 28

Die Lernerfolgsmessung kann im optimalen Fall durch den Vergleich mit einer Kontrollgruppe erfolgen, in der Regel allerdings wird der Lernerfolg

25 Ebenda, S. 34. Gerade in diesen Kommentaren finden sich wertvolle Hinweise für die Verbesse-

rung eines Weiterbildungsprogramms.

26 Vgl. Weiß (2006), S. 37.

27 Ebenda, S. 38.

28 Vgl. Kirkpatrick (2006), S. 42. Den gleichen Effekt beschreibt Phillips als „Auswirkungskette“ und

empfiehlt ebenso wie Kirkpatrick die Evaluation aller Stufen, so dass ggf. auch Brüche erkennbar

werden. Vgl. Phillips, Jack J.; Schirmer, Frank C. (2005): Return on Investment in der Personalen-

wicklung. Der 5-Stufen-Evaluationsprozess. Berlin, Heidelberg, S. 28f.

8

durch einen Wissenstest oder eine Prüfung festgestellt. Als Zeitpunkt für diese Erhebung bietet sich der direkte Anschluss an die Weiterbildungsmaßnahme an. Kirkpatrick interessiert mit der Evaluation des Lernerfolgs vor allem die Rolle des Lehrenden, den er für die Lernerfolge der Teilnehmer (mit)-verantwortlich hält, da

„if the learner hasn't learned, the teacher hasn't taught.“ 29

Während die erste Stufe der Teilnehmerzufriedenheit fast in allen Unternehmen evaluiert wird, so erscheint die Messung der Lernerfolge bereits von größerer Schwierigkeit, so dass nur noch in 12 % aller Fälle diese durchgeführt wird. ³⁰ Um eine weiterführende Evaluation sicherzustellen, ist dieser ermittelte Prozentsatz sicherlich zu gering, so dass Phillips als Evaluationsziel auf dieser Stufe eine Erreichung von 40 - 60 % fordert. 31

Eine Erklärung für die in der Praxis geringe Erhebungsrate wird in den Widerständen der Lehrkräfte gegen diese Praxis gegeben. 32

2.2.1.4 Stufe 3 Behavior

In der folgenden Stufe des Evaluationsmodells von Kirkpatrick steht die Frage nach dem Transfer des Wissens, der Fähigkeiten und Ansichten in den Arbeitsalltag im Mittelpunkt. Die Erhebung dieser Daten ist wesentlich schwieriger als die auf den Evaluationsstufen 1 und 2, da hier mehrere äußere Einflussfaktoren beachtet werden müssen. Doch ist nicht nur die Erhebung der Evaluationsdaten schwieriger, auch die Sicherstellung des Lerntransfers in die berufliche Praxis ist an dieser Stelle am meisten gefährdet. Phillips nennt die Zahl von bis zu 90% aller Weiterbildungsmaßnahmen, die auf der Stufe des Lernens stehen bleiben. Das erlernte Wissen wird nicht in den Arbeitsalltag mitgenommen und umgesetzt. ³³ Dies erklärt auch die geringe Zahl von 15% aller Weiterbildungsmaßnahmen, die auf dieser Stufe überhaupt noch evaluiert werden. ³⁴ Diese Zahl scheint

29 Ebenda, S. 49.

30 Vgl. Büser; Gülpen (2006), S. 236.

31 Vgl. Phillips; Schirmer (2005), S. 32.

32 Vgl. Weiß (2006), S. 38.

33 Vgl. Phillips; Schirmer (2005), S. 83.

34 Vgl. Büser; Gülpen (2006), S. 236.

9

realistisch, da der Aufwand zur Ermittlung des Transfererfolgs wesentlich höher ist. Folgende Vorschläge zur Ermittlung des Transfererfolgs werden von Kirkpatrick genannt:

- Nutzung einer Kontrollgruppe:

Hier ist besonders zu beachten, dass die beiden Gruppen auf einem gleichen Niveau starten, so dass ein Transfererfolg bei der Gruppe, die die Weiterbildungsmaßnahme durchläuft, ggf. festgestellt und dem Training zugeschrieben werden kann. 35

- Die Teilnehmer müssen ausreichend Zeit erhalten, um das Erlernte in den Alltag zu transferieren:

Eine detaillierte Frist nennt er nicht, je nach Weiterbildungsmaßnahme scheint ein Zeitfenster von zwei bis sechs Monaten realistisch. 36

- Eine Evaluation sollte vor und nach dem Weiterbildungsprogramm erfolgen:

Gerade mit dieser Vergleichsmessung besteht die Möglichkeit, eine Kompetenzerweiterung der Teilnehmer festzustellen. Kritisch ist an dieser Stelle anzumerken, dass Kirkpatrick die Möglichkeit anderer Faktoren, die zu einer Kompetenzerweiterung geführt haben, außen vor lässt. 37

- Feedback von unterschiedlichen Gruppen sammeln:

Neben den Teilnehmern der Weiterbildungsmaßnahme sollten deren Vorgesetzte, Untergebene und Kollegen befragt werden, ob sie eine Verhaltensänderung feststellen. ³⁸ Mit diesem einfachen 360-Grad-Feedback wird ein umfassendes Bild ermittelt, das aus unterschiedlichen Blickwinkeln eine Bewertung ermöglicht. Als Werkzeuge der Befragung können an dieser Stelle ein Fragebogen oder ein Interview eingesetzt werden. In den meisten Fällen wird zur Ermittlung dieser Daten ein gut ausgearbeiteter Fragebogen ausreichen.

35 Vgl. Kirkpatrick (2006), S. 53f.

36 Ebenda, S. 54.

37 Ebenda, S. 54f. Dies wird generell als Kritikpunkt an der Bewertung des Erfolgs von

Trainingsmaßnahmen gesehen. Andere Autoren, z..B. Phillips sehen die Gefahr, dass an dieser

Stelle ihr Evaluationsmodell methodisch unsauber wird und isolieren die Trainingseffekte der

Maßnahme von anderen Einflussfaktoren. Vgl. Phillips; Schirmer (2005), S. 33.

38 Vgl. Kirkpatrick (2006), S. 55f.

10

- Möglichst alle Teilnehmer sollten befragt werden:

Um statistische Mängel der Befragung auszuschließen, sollten alle Teilnehmer an der Weiterbildungsmaßnahme in das Feedback einbezogen werden. Falls dies aus praktischen Gründen nicht möglich ist, so sollte eine Referenzgruppe aus allen Teilnehmern zusammengestellt werden. 39

- Wiederholung der Befragung:

Die Teilnehmer unterliegen sehr unterschiedlichen Einflüssen in ihrem Arbeitsalltag. So setzen einige die Verhaltensänderung sofort um, während andere erst nach einigen Monaten das Erlernte umsetzen können. Ebenso besteht die Möglichkeit, dass Teilnehmer wieder auf ihre alten Verhaltensmuster zurückgreifen. Um in diesen Fällen ein valides Ergebnis zu erhalten, sollte die erste Befragung 2-3 Monate nach der Maßnahme, eine zweite nach weiteren 6 Monaten und eine abschließende Evaluation nach weiteren 6 Monaten erfolgen, so dass der Transfer in den Arbeitsalltag wirklich sichergestellt ist. 40

- Abwägung Kosten der Evaluation zum Nutzen über die Information des Transfers:

Die Kosten für die Evaluation auf der dritten Stufe werden hauptsächlich durch die Personalkosten der Befrager gestellt. Gerade wenn externe Kräfte involviert sind, können diese Kosten den Nutzen der Befragung übersteigen. Je höher jedoch der erwartete Nutzen eines Programms ist, desto intensiver sollte auf dieser Ebene auch evaluiert werden. 41

Aus dieser Übersicht wird deutlich, dass die Evaluation des Transfererfolgs eine bedeutende Rolle in der Bewertung der Weiterbildungsmaßnahme aus Sicht des Unternehmens einnimmt. Hier taucht erstmals neben dem individuellen Lernerfolg des Mitarbeiters ein für das Unternehmen greifbares Resultat auf. Aus diesem Grund sollte eine Weiterbildungsevaluation sich nicht nur auf die beiden ersten Stufen beschränken, sondern auf jeden Fall

39 Ebenda, S. 59.

40 Ebenda, S. 59.

41 Ebenda, S. 60. Kirkpatrick weist an dieser Stelle auch darauf hin, dass die Verhaltensänderung

die Basis für die Evaluation auf der nächsten Stufe darstellt. Falls keinerlei Verhaltensänderung

feststellbar ist, so wird sich auch auf der Evaluationsstufe 4 keine Veränderung feststellen lassen.

11

den Transfer der Inhalte in die berufliche Praxis ermitteln. Mit den hier ermittelten Daten liegen der Personalentwicklung erstmals greifbare Daten über die Qualität der Weiterbildung vor, die auch die Unternehmensleitung interessieren.

2.2.1.5 Stufe 4 Results

Die Messung der Resultate der Weiterbildungsmaßnahme bezeichnet Kirkpatrick als

„the most important and perhaps the most difficult part of the process“. 42

Die beispielhaften Fragen, die an dieser Stelle an das Ergebnis einer Weiterbildungsmaßnahme gerichtet werden, sind u.a. folgende:

- Wie stark hat sich die Qualität verbessert und wie hat sich dieses Verbesserung auf den Profit ausgewirkt? - Wie stark hat sich die Produktivität verbessert und wurden die Kosten gesenkt??

- Welchen Einfluss hatte die Maßnahme auf die Ausschussquote in einem produzierenden Betrieb? - Hat sich die Qualität der Kommunikation im Unternehmen verändert?

- Wie sieht der Return on Investment der Maßnahme aus? 43

Aus der Sicht von Kirkpatrick bleiben diese Fragen häufig aus zwei Gründen unbeantwortet,

- da die Verantwortlichen nicht wissen, wie sie die Resultate messen und mit den Kosten des Programms in Relation setzen können,

- da trotz dieses Wissens auf der anderen Seite eine Zuordnung positiver Resultate zu der Weiterbildungsmaßnahme nicht bewiesen werden kann. ⁴⁴ Auch andere Quellen sehen dies ähnlich, so dass als Ergebnis auf dieser Stufe kaum eine Evaluation erfolgt. 45

Die Maßnahmen zur Erhebung der Evaluationsdaten sind weitgehend

42 Ebenda, S. 63.

43 Ebenda, S. 63f.

44 Ebenda, S. 64. Genau an dieser Stelle zwischen dritter und vierter Evaluationsstufe empfiehlt

Phillips die Isolierung der Trainingseffekte, so dass dadurch eine klare Zuordnung und ein Beleg

des Erfolgs nachweisbar ist. Vgl. Phillips; Schirmer (2005), S. 81ff.

45 Vgl. Büser; Gülpen (2006), S. 236.

12

identisch mit denen auf der vorherigen Stufe, aus diesem Grund werden sie hier nicht noch einmal wiederholt. Die oben formulierte Frage nach einem messbaren ROI einer Weiterbildungsmaßnahme beantwortet Kirkpatrick mit einem klaren

„I almost laugh when I hear people say that training professionals should be able to show benefits in terms of return on investment (ROI) from a company standpoint. The same thought occurs to me when they expect trainers to relate training profits directly to profits.“ 46

Den Grund für diese Ablehnung der Messbarkeit eines ROI einer Weiterbildungsmaßnahme sieht Kirkpatrick in den nicht identifizierbaren Effekten, die ebenfalls auf die Teilnehmer einwirken und ggf. neben dem Training auf das Verhalten und damit auf das Resultat eingewirkt haben. 47

Eine Anwendung auf der Ebene der Resultate sieht er dagegen bei Verkaufsseminaren, Seminaren mit Zielsetzung der Reduzierung von Ausschuss und Arbeitsunfällen.

Bei der Vermittlung von Sozialen Themen ist allerdings die Messbarkeit begrenzt, da hier zwar Veränderungen festgestellt werden können, die Zuweisung der Veränderung auf die Weiterbildungsmaßnahme aber nicht schlüssig erfolgen kann. In diesen Fällen rät Kirkpatrick einfach die positiven Effekte zu beschreiben, oder auf die Evaluationsstufen 1 und 2 zurückzugehen und mit dem positiven Feedback auf diesen Ebenen die Unternehmensleitung zu überzeugen. ⁴⁸ Mit diesen unpräzisen Beschreibung schränkt Kirkpatrick die Nutzung seines Modells ein. Aus diesem Grund suchen Personalentwickler in vielen Unternehmen ergänzende Methoden und Verfahren, die eine verlässlichere Auswertung und entsprechend ein besser kommunizierbares Ergebnis ermitteln.

46 Ebenda, S. 67 Zu diesem Aspekt siehe Phillips im folgenden Kapitel.

47 Ebenda, S. 67.

48 Ebenda, S. 69.

13

2.2.2. Das Evaluationsmodell von Phillips (ROI)

Diese oben angesprochene Erwartungshaltung möchte Phillips mit seinem Modell bedienen. Er baut dabei auf das beschriebene Modell von Kirkpatrick auf, ergänzt dieses aber um eine fünfte Evaluationsstufe, die Ermittlung des Return on Investment (ROI). Um Wiederholungen zu vermeiden, werde ich die Besonderheiten und Unterschiede des ROI Modells zu Kirkpatrick herausarbeiten, während die identischen Schritte nur kurz erwähnt werden.

Das Modell von Phillips stützt eine Erwartungshaltung, die in vielen Unternehmen schon länger an die Personalentwicklung herangetragen wird: Welchen Vorteil hat das Unternehmen von einer Weiterbildungsmaßnahme? 49

2.2.2.1. Grundlagen des Modells

Mit dem Versuch der Ermittlung des ROI verlässt Phillips den pädagogisch dominierten Bereich des Bildungscontrollings, der im Modell von Kirkpatrick immer zu spüren war und konzentriert sich auf betriebswirtschaftlich relevante Fragestellungen. Dies wird auch durch die unterschiedliche Perspektive deutlich, mit der er die Ausgangslage beschreibt:

„ Es zählt, was unter dem Strich rauskommt“. 50

Ein erster Unterschied zu Kirkpatrick ist bereits bei der Zieldefinition festzustellen: Das ROI-Modell verfolgt ein klares Ergebniscontrolling, und stützt sich dabei auf die Evaluation der einzelnen Prozessschritte, hat aber immer das Ziel der fünften Evaluationsebene im Blick. Die unterschiedlichen Bedeutungen der einzelnen Stufen für die Unternehmensleitung verdeutlicht die folgende Grafik:

49 Vgl. Gust, Mario: Resultatsorientiertes Bildungscontrolling und Werkzeuge eines strategischen

Wissensmanagement; in: Gust, Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungscon-

trolling für exzellente Personalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspraxis.

Wien, S. 52.

50 Vgl. Phillips; Schirmer (2005), S. 13.

14

Der Nutzen wird gerade durch den hohen Informationswert für das Management auf der fünften Ebene deutlich.

Der gesamte ROI-Prozess besteht aus 5 Abschnitten, die aufeinander abfolgen. Dies sind

- die Evaluationsplanung,

- die Datenerfassung während und nach dem Training, - die Datenanalyse mit Isolierung der Effekte, sowie einer finanziellen Bewertung, - der Ermittlung des ROI, - einem Ergebnisbericht. 52

51 Ebenda, S. 29.

52 Ebenda, S. 24.

15

Um die einzelnen Schritte zielgerichtet bearbeiten zu können, werden Grundsätze formuliert, die nötig sind, um

“die Beständigkeit und Wiederholbarkeit einer Auswirkungsstudie zu gewährleisten.“ 53

Mit der Festschreibung der folgenden Grundsätze scheint Phillips den Versuch zu verfolgen, dass Kritik an seinem Modell von vorne herein erschwert wird. 54

„Grundsätze für den ROI-Prozess:

1. Werden Daten auf höheren Messtufen erfasst, müssen auch Daten auf niedrigen Messstufen erfasst werden.

2. Wird die Evaluation auf höheren Stufen geplant, müssen die vorherigen nicht so umfangreich evaluiert werden.

3. Immer nur die vertrauenswürdigsten, zuverlässigsten Datenquellen verwenden.

4. Bei der Datenanalyse immer nur die konservativste Alternative für die Kalkulation verwenden.

5. Zur Isolierung der Effekte muss mindestens eine Methode angewendet werden.

6. Bei fehlenden Daten unterstellen, dass keine oder nur geringe Verbesserungen eingetreten sind.

7. Müssen Daten geschätzt werden, immer die ungünstigsten Voraussetzungen annehmen.

8. Unglaubwürdige Daten bei der Berechnung nicht verwenden.

9. Den ROI eines Projekts in der Regel nur für das erste Jahr berechnen.

10. Zur ROI-Berechnung alle Kosten (Vollkosten) einbeziehen.

11. Immaterielle Werte sind Daten, die absichtlich nicht in materielle Werte umgewandelt werden.

12. Ergebnisse eines ROI-Prozesses müssen an alle wichtigen

53 Ebenda, S. 29.

54 Gerade in der erwachsenenpädagogischen Forschung wird die Berechnung des Wertes einer Bil-

dungsmaßnahme „bis auf den letzten Cent“ kritisiert, da neben der reinen Vermittlung von

Wissen, Fähigkeiten und Fertigkeiten Bildungsprozesse wesentlich komplexer ablaufen und sich

in ROI oder Qualitätsbeschreibungen nur unzureichend wiederfinden. Vgl. Arnold, Rolf: Qualität

durch Professionalität - zur Durchmischung von Utilität und Zweckfreiheit in der Qualität be-

trieblicher Weiterbildung; in: Arnold, Rolf (Hrsg.)(1997): Qualitätssicherung in der Erwachsenen-

bildung. Opladen, S. 51ff.

55 Vgl. Phillips; Schirmer (2005), S. 30.

16

2.2.2.2 Evaluationsplanung

Basis einer jeden ROI-Betrachtung ist eine genaue Bedarfsanalyse und Planung des gesamten ROI-Projekts. Dabei muss generell berücksichtigt werden, dass ein solcher Prozess sehr aufwändig, zeit- und kostenintensiv ist. Es ist damit zu rechnen, dass 4-5% des gesamten Trainingsbudgets für die ROI-Ermittlung verbraucht werden. 56

Dies erklärt auch, dass in Unternehmen nur etwa 5-10% aller Weiterbildungsmaßnahmen überhaupt einer ROI-Betrachtung unterliegen.

Grundsätzlich ist festzuhalten, dass die Programmziele aus den Unternehmenszielen abgeleitet werden. Diese werden dann kaskadenartig auf die einzelnen Evaluationsstufen heruntergebrochen, so dass auf jeder Stufe ein ganz bestimmtes Ziel erreicht sein muss, bevor eine Evaluation auf den höheren Stufen durchgeführt werden kann. Diese Verknüpfung macht die folgende Tabelle deutlich, in der die Vernetzung dargestellt wird:

56 Ebenda, S. 18.

57 Ebenda, S. 32.

17

Abbildung 3 - Verknüpfung von Bedarfsanalyse, Programmzielen und Evaluation 58

Um diesen Ablauf systematisch durchführen zu können, ist ein Evaluationsplan notwendig, der aus drei Teilen besteht, einem Datenerfassungsplan, einem ROI-Analyseplan und einem umfassenden Projektplan. Dieser Evaluationsplan erfasst sehr ausführlich alle relevanten Fragen von den Messdaten, Schwellwerten usw. bis hin zu dem Zeitpunkt der Evaluation. ⁵⁹ Auch an anderen Stellen wird die große Bedeutung der Vorbereitung des gesamten Prozesses unterstrichen. 60

58 Ebenda, S. 37. Andere Quellen gehen sogar davon aus, dass eine entsprechende Vorbereitung

und Organisation bereits Rückschlüsse auf den Trainingserfolg zulässt. Vgl. dazu Buchhester,

Stephan: Der Einfluss von individuellen und organisatorischen Faktoren auf den wahrgenom-

menen Weiterbildungserfolg; in: Gust, Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungs-

controlling für exzellente Personalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspra-xis. Wien, S. 105ff.

59 Ebenda, S. 40.

60 Vgl. Weiß, Reinhold: Bildungscontrolling: Wunderwaffe oder Damoklesschwert?; in: Schwuchow,

Karlheinz; Gutmann, Joachim (Hrsg,) (2005): Jahrbuch Personalentwicklung 2006. Ausbildung,

Weiterbildung, Management Development. Neuwied, S. 268f.

18

2.2.2.3 Datenerfassungsplan

Unter dem Begriff „Datenerfassung“ fasst Phillips die vier Evaluationsstufen von Kirkpatrick zusammen. Diese werden noch einmal unterteilt in die Datenerfassung während des Trainings ( Stufen 1 und 2) und die Datenerfassung nach dem Training (Stufen 3 und 4). 61

Die folgende Tabelle gibt einen Überblick über die gebräuchlichsten Methoden zur Datenerhebung auf den Stufen 1-4:

Diese Übersicht verdeutlicht, dass die Erfassungswerkzeuge mit steigender Evaluationsstufe immer komplizierter werden. An dieser Stelle ist die Personalentwicklung immer gefordert, den Nutzen der Evaluation mit dem Aufwand abzugleichen. Gerade in der aufwändigen Vorbereitung der

61 Vgl. Phillips; Schirmer (2005), S. 48.

62 Ebenda, S. 50. Die Einsatzmöglichkeit einiger Instrumente wurde bereits im Abschnitt 2.2.1

dargestellt.

19

Messung der Weiterbildungsqualität liegt der kritische Punkt des gesamten ROI-Modells.

2.2.2.4 Datenanalyse

Schon Kirkpatrick wies in seiner Darstellung auf die Schwierigkeit der Zuweisung der Trainingseffekte zu einem messbaren Ergebnis hin, und kam zu der Schlussfolgerung, dass nicht alles messbar sei. An dieser Stelle erweitert Phillips das Modell von Kirkpatrick und legt mit der Isolierung der Trainingseffekte die Basis zur Ermittlung des ROI. Der Einseitigkeit seines Ansatzes ist Phillips sich bewusst, da systemisch-vernetztes Denken dadurch in Frage gestellt wird, dennoch will er den Anteil des Trainings an einer Leistungssteigerung messen. ⁶³ Diese Messung soll zwischen der dritten und der vierten Evaluationsstufe erfolgen, da mit den Anwendung der neuen Fähigkeiten und des Wissens am Arbeitsplatz auf der vierten Stufe eine Veränderung der Geschäftsergebnisse festgestellt werden kann. Wenn nun vor dieser Feststellung die Wirkung des Trainings isoliert wurde, so können klare Rückschlüsse auf die Wirksamkeit der Weiterbildungsmaßnahme getroffen werden. Wichtig ist dabei ebenfalls, dass auch die unteren Evaluationsstufen beachtet wurden, da hier kausale Zusammenhänge bestehen. Wurde keinerlei Wissen aufgenommen ( Stufe 2), so kann auch keine Umsetzung in den Arbeitsalltag erfolgen. Dies unterstreicht Phillips durch die folgende Auswirkungskette:

63 Ebenda, S. 81.

64 Ebenda, S. 82.

20

Die wichtigsten Methoden zur Isolierung der Effekte sind:

- Die Verwendung einer Kontrollgruppe, um den Unterschied einer trainierten zu einer nicht-trainierten Kontrollgruppe festzustellen. ⁶⁵ - Bewertung/Einschätzung durch die Teilnehmer und

Vorgesetzte. Diese Methode ist leicht zu implementieren und ermöglicht bei aller Subjektivität der Aussagen eine gute Übersicht. 66

Die hier ermittelten Daten werden dann in einem zweiten Schritt einer finanziellen Bewertung unterzogen. Hierbei wird zwischen harten Daten (Produktivität, Kosten, Zeit, Qualität) und weichen Daten, die subjektiv und verhaltensorientiert sind, unterschieden. Dazu gehören z.B. Arbeitsgewohnheiten, Kundenzufriedenheit, Arbeitsklima usw. 67

Bevor eine Bewertung erfolgt, müssen die Daten in fünf Schritten konvertiert werden:

- Parameter zur Beschreibung auswählen (z.B. verkaufte Artikel)

- Basiswert bestimmen (z.B. verkaufte Artikel pro Monat) - Verbesserungen (bzw. Leistungsveränderung) des Parameters ermitteln (z.B. Überschreitung des Basiswerts der verkauften Artikel)

- Verbesserung auf das erste Jahr beziehen - Gesamtwert der Verbesserung berechnen. 68

An dieser Stelle kann Phillips die harten Daten gut mit einem monetären Wert belegen, vor einer Bewertung der immateriellen Werte drückt er sich aber, da er selbst befürchtet, dass diese den „Glaubwürdigkeitstest“ vor dem Top-Management nicht bestehen. Diese werden dann als zusätzlicher, immaterieller Nutzen des Programms aufgeführt. 69

65 Ebenda, S. 85f.

66 Ebenda, S. 97f. Phillips nennt auch noch weitere Instrumente, die jedoch in der Praxis seltener

angewandt werden.

67 Ebenda, S. 106f. Die harten Daten können in der Regel aus bereits vorhandenen Kennzahlen des

Unternehmens ermittelt werden.

68 Ebenda, S. 107.

69 Ebenda, S. 108, und S. 124: Gerade in den Bereichen „Persönlichkeitsentwicklung, Teamentwick-

lung, Führungstraining, Kommunikationstraining und Managemententwicklung sind immateri-

elle Nutzen wichtiger als materielle Parameter.“

21

Mit dieser Position schränkt er sein Modell des betriebswirtschaftlich orientierten Ansatzes des Bildungscontrollings ein und gibt indirekt anderen Quellen recht, die aus der pädagogischen Sicht genau diese rein betriebswirtschaftliche Betrachtungsweise kritisieren. 71

An dieser Stelle unterstreicht er damit die Position Kirkpatricks, der es als schwierig eingestuft hat, einen materiellen Nutzen in Form eines ROI abzuleiten. Mit dieser Einschränkung scheint es somit ratsam, das ROI-Modell in Weiterbildungsmaßnahmen einzusetzen, in denen in „harten“ Kennzahlen eine Veränderung sichtbar und dokumentierbar ist.

Mit den hier ermittelten finanziellen Kennzahlen kann dann im nächsten Punkt der ROI des Programms ermittelt werden.

2.2.2.5 Ermittlung des ROI

Grundlage der Ermittlung des ROI ist die Ermittlung der gesamten Programmkosten, die dann mit den in der vierten Stufe ermittelten und iso-

70Ebenda, S. 125.

71 Vgl. van Buer, Jürgen: Prozesscontrolling; in: Seeber, Susan; Krekel, Elisabeth M.; van Buer,

Jürgen (2000): Bildungscontrolling. Ansätze und kritische Diskussionen zur Effizienzsteigerung

von Bildungsarbeit. Frankfurt/Main, Bern, Brüssel, New York, Oxford, Berlin, S. 88.

22

lierten finanziellen Auswirkungen des Weiterbildungsprogramms in Relation gesetzt werden.

Zu den Vollkosten werden die Personalentwicklungsausgaben für die Organisation, die direkten und indirekten Teilnehmerausgaben sowie die externen Ausgaben für Ausrüstung und Dienstleistungen gerechnet. ⁷² Um möglichen Angriffen aus dem Weg zu gehen, berechnet Phillips die Werte nur auf das erste Jahr, obwohl ggf. die Weiterbildungsmaßnahme auch in den Folgejahren durchgeführt wird oder aber weiterhin positive Ergebnisse erzielt werden. 73

Bei der Kostenaufstellung ist zwischen anteiligen Kosten und den direkten Kosten der Weiterbildungsmaßnahme zu unterscheiden. Diese Kostenaufstellung verdeutlicht die nachfolgende Tabelle:

(Bedarfs-) Analyse ^{Ja Ja} Design, Entwicklung oder Einkauf Durchführung und ^Ja Umsetzung

Evaluation ^{Ja Ja} Overhead Training und Entwicklung

Abbildung 7 - Kostenarten 74

72 Vgl. Phillips; Schirmer (2005), S. 141.

73 Ebenda, S. 159f.

74 Ebenda, S. 143.

23

Die hier ermittelten Vollkosten können dann zusammen mit dem Programmnutzen in einen Formel eingesetzt werden, um den ROI zu errechnen: 75

Dabei wird die Frage beantwortet, die das Management am meisten interessiert: Wie ist das Verhältnis von Profit zu eingesetztem Kapital?

Diese Betrachtungsweise entspricht den allgemein bekannten Erwartungen an eine Investition. Auch der erwartete Schwellwert von einem ROI in Höhe von 15 - 20 % wird mit den anderen Investitionen im Unternehmen gleichgesetzt. ⁷⁶ Somit entspricht ein ROI von 25% einem Netto-Gewinn nach Abzug aller Kosten von 25 Cent für einen eingesetzten Euro. ⁷⁷ Mit dieser einfach zu benutzenden Formel hat die Personalentwicklung die Möglichkeit, für ausgesuchte Weiterbildungsprogramme den monetären Nutzen für das Unternehmen zu belegen. Doch fordert das komplizierte Gesamtmodell auch einen hohen organisatorischen Aufwand, der bei jeder ROI-Ermittlung mit berücksichtigt werden sollte. Dies erklärt auch die geringe Anzahl von Weiterbildungsmaßnahmen, für die die ROI-Berechnung durchgeführt werden. Aus Sicht der Personalentwicklung sollten nur die strategisch relevanten Weiterbildungsmaßnahmen dieser Prüfung unterzogen werden, da sie ansonsten nur noch mit der Evaluierung von Trainings beschäftigt ist.

2.2.2.5. Ergebnisbericht

Den Abschluss des Modells von Phillips bildet der Ergebnisbericht. Seiner Meinung nach wird diesem Bestandteil des Prozesses häufig zu wenig Auf-

75Ebenda, S. 160.

76 Ebenda, S. 163.

77 Ebenda, S. 31. Vgl. dazu auch Gessler, Michael (2005): Gestaltungsorientierte Evaluation und der

Return on Investment von Weiterbildungsprogrammen. URL: http://www.bwpat.de/aus -gabe9/gessler_bwpat9.pdf (Stand 2006-12-20), S. 7, der einem Rechenfehler unterliegt und da-

durch einen ROI unter 100 als einen negativen Wert belegt, bei dem die Investition höher ist als

der Return.

24

merksamkeit gewidmet. Gerade bei der Neueinführung des ROI-Prozesses ist es deshalb wichtig, die entsprechenden Stellen im Unternehmen über den Prozess und die erzielten Ergebnisse zu informieren. Diese Transparenz führt zu Verständnis und Akzeptanz des Modells, gerade wenn im Vorfeld Bedenken vorhanden waren. 78

Um die Ergebniskommunikation zielgruppengerecht durchzuführen, schlägt er für ein Beispielprojekt folgenden Kommunikationsplan vor:

Abbildung 8 - Kommunikationsplan 79

Mit dieser zielgruppengerechten Kommunikation wird für jeden Adressaten die optimale Versorgung mit Informationen erreicht. Ggf. können die unterschiedlichen Medien miteinander vermischt werden, so dass durch die Kombination von Fallstudie, Managementmeeting und Broschüre die „trockenen“ Informationen mit beispielhaften Darstellungen transparenter und greifbarer werden. 80

Aus dem umfangreichen Kapitel zum Thema Kommunikation der Ergeb- 78Vgl. Phillips; Schirmer (2005), S. 196.

79 Ebenda, S. 202.

80 Ebenda, S. 211.

25

nisse lässt sich die Schlussfolgerung ableiten, dass die Kommunikation des ROI-Prozesses und die Ermittlung der entsprechenden Daten innerhalb der Unternehmen noch unbekannt sind und somit besonders gut vorbereitet werden müssen. Diese Darstellung, die den Anschein erweckt, hier muss die Personalentwicklung ihre Tätigkeit nach außen rechtfertigen, unterstreicht Phillips mit vielen praktischen Beispielen. Festzuhalten bleibt an dieser Stelle, dass gerade bei neu eingeführten Projekten die Kommunikation während des Prozesses, um hier bei Fehlentwicklungen gegensteuern zu können, und zum Abschluss des Prozesses, um die Ergebnisse vorzustellen, ein wichtiger Bestandteil der Arbeit der Personalentwicklung sind. Allerdings sollte niemals der Eindruck entstehen, dass diese Informationen der Rechtfertigung von Programmen oder gar der Rechtfertigung der Existenz der Personalentwicklung dienen.

2.2.3. Ermittlung des Value of Investment (VOI)

Am Ende des Abschnitts zum Thema Bildungscontrolling möchte ich noch auf einen neuen Ansatz des Bildungscontrollings eingehen. Auf den Grundlagen von Kirkpatrick und Phillips hat Herbert. J. Kellner deren Modelle um eine weitere Kategorie, die Ermittlung des „Value of Investment“ erweitert. Am Modell von Phillips kritisiert er die „rein quantitativen Aspekte“, die durch die ROI-Methode gemessen werden, während „essentielle qualitative Faktoren“, „die oft eine höhere Bedeutung haben“, nur unzureichend gemessen werden. 81

Sein Modell legt den Schwerpunkt darauf, diese oben genannten qualitativen Faktoren zu bewerten, so dass jetzt „Weiterbildungsprozesse einer ganzheitlichen Messung unterzogen werden können.“ ⁸² Dabei gliedert er den VOI-Prozess in fünf Phasen:

- GoalNavigator (Die Unternehmensziele mit den

81 Vgl. Kellner, Herbert J.: Bildungscontrolling auf Messersschneide; in: Gust, Mario; Weiß, Reinhold

(2006a): Praxishandbuch Bildungscontrolling für exzellente Personalarbeit. Konzepte- Methoden-

Instrumente-Unternehmenspraxis. Wien, S. 88.

82 Vgl. Kellner, Herbert J.(2006b): Value of Investment. Neue Evaluierungsmethoden für Personal-

entwicklung und Bildungscontrolling. Offenbach, S. 12.

26

Entwicklungszielen synchronisieren) - QuickCheck (Die Bedingungen für den erfolgreichen Einsatz des VOI-Systems testen)

- ProjectGuide (Die Qualität des Entwicklungsprojekts durchgängig und nachhaltig absichern) - ValueFinder (Den Nutzen für alle Beteiligten identifizieren, konkretisieren und detailliert beschreiben) - ResultFinder (Den realisierten Nutzen verdeutlichen und mit einem Wert versehen). 83

Im Unterschied zur ROI-Ermittlung, die er als „Mikro-Betrachtungsweise“ darstellt, löst sich das VOI-System davon und betrachtet aus der Makro-Perspektive den gesamten Weiterbildungsprozess. Dabei kann durchaus auch ein negativer ROI vorkommen; das gesamte Konzept für das Unternehmen aber dennoch einen hohen Wert haben und sollte aus diesem Grund durchgeführt werden. ⁸⁴ Diesen gesamten Prozess bezeichnet er als qualitatives Bildungscontrolling, das mit der Kompetenzentwicklung im Unternehmen gekoppelt ist. ⁸⁵ Zur Umsetzung dieses Ansatzes, den er im Umfeld des Performance Improvements sieht, ist allerdings auch ein Umdenken in den Weiterbildungsabteilungen der Unternehmen nötig:

„Wenn Qualität durch Kompromisse eingeschränkt wird, die die Folge von wirtschaftlichen Zwängen sind, dann hat es keinen Zweck, über Value-of-Investment-Berechnungen nachzudenken. Personalverantwortliche, die nicht bereit sind, sich selbst und ihre Methoden in Frage zu stellen und einen neuen Ansatz für die Personalentwicklung zu finden, sollten besser auf die Einführung des Value of Investment verzichten.“ 86

2.2.3.1 GoalNavigator

Die Basis eines qualitativen Bildungscontrollings bildet die Bestimmung der Ziele. Kellner misst gerade der Ausgangsposition eine herausragende Bedeutung zu, da hier die Weichen für den Erfolg oder Misserfolg des gesamten Weiterbildungsprojekts gestellt werden. ⁸⁷ Auf dieser ersten Stufe

83 Vgl. Kellner (2006a), S. 90. In seinem unten angeführten Buch benennt Kellner die Phasen z.T.

anders, die inhaltliche Gestaltung bleibt aber gleich.

84 Vgl. Kellner (2006b), S. 18.

85 Ebenda, S. 24.

86 Ebenda, S. 74.

87 Ebenda, S. 68.

27

seines Modells , dem GoalNavigator überprüft Kellner in sechs Schritten mit insgesamt 30 Fragen die verständliche und richtige Formulierung der Ziele der Weiterbildungsmaßnahme:

- Bedarfsermittlung: Hier stellt sich die Frage nach einer objektiven Bedarfsermittlung, die den wirklichen Bedarf aufzeigt und nicht die Wünsche der Mitarbeiter und deren Vorgesetzten wiederspiegelt. Neben diesen personenbezogenen Informationen muss zwingend der Blick auf das Umfeld geworfen werden, da Lernprozesse von ungünstigen Rahmenbedingungen im Keim erstickt werden können. 88

- Zielbeschreibung: Um entsprechend relevante Ziele setzen zu können, werden die Unternehmensziele in Teilziele heruntergebrochen. Die zu erreichenden Lernziele müssen operationalisierbar und mit Verhaltensindikatoren versehen sein, die eine Messbarkeit erlauben. Weiterhin müssen sie verständlich und konkret formuliert sein. 89

- Zielbedingungen: Hier wird überprüft, ob zum einem die Voraussetzungen für den Transfer an den Arbeitsplatz gegeben sind, zum andern ob innerhalb der Organisation die Möglichkeit eingeräumt wird, neues Verhalten einzuüben. 90

- Kompetenzen: Es wird herausgearbeitet, welche konkreten Kompetenzen den Lernzielen zugeordnet werden können. Dies wird abgeglichen mit dem Kompetenzbedarf, der sich aus den Unternehmenszielen ergibt. 91

- Zielsicherheit: An dieser Stelle des GoalNavigators wird überprüft, ob die Ziele des Weiterbildungsprogramms im Unternehmen das notwendige Vertrauen und damit auch Unterstützung erfahren. Auch dazu ist es notwendig, dass die Ziele und die Begründung für das Weiterbildungsprogramm mit den Unternehmenszielen vereinbar sind. 92

- Zeitrahmen: Da Weiterbildungsmaßnahmen oft an engen zeitlichen Grenzen scheitern, ist ein ausreichendes Zeitpolster einzuplanen. Im Vordergrund müssen hier lernpsychologische Überlegungen stehen, nicht die häufig vorherrschenden ökonomischen Zwänge. 93

88 Ebenda, S. 65.

89 Ebenda, S. 65f.

90 Ebenda, S. 66.

91 Ebenda, S. 66f.

92 Ebenda, S. 67.

93 Ebenda, S. 67f.

28

2.2.3.2 Realitäts-Check

Auch der zweite Abschnitt ist in Form einer Checkliste aufgebaut, die vor der Realisierung des Projekts durchzuarbeiten ist. Da es um die Qualitätsaspekte der Weiterbildungsmaßnahme geht, empfiehlt Kellner an dieser Stelle alle genannten Punkte zunächst zu klären, da ansonsten der Erfolg der Maßnahme nicht sichergestellt ist. Folgende Fragen sind Bestandteil des Realitäts-Checks:

1 ^{Wurden jedem Unternehmensziel die erforderlichen Kompetenzen zugeordnet?} 2 ^{Wurden die Kompetenzniveaus entwickelt, die zur Zielerreichung notwendig sind?} 3 ^{Wurden Programme erstellt, die eine gesicherte Kompetenzsteigerung bewirken?} 4 ^{Wurden Maßnahmen eliminiert, die nichts zu den Unternehmenszielen beitragen?} 5 ^{Wurden auch zukünftige Unternehmensziele und Kompetenzen erfasst?} 6 ^{Folgen die Programme einem wissenschaftlich fundierten Konzept?} 7 ^{Sind die Programme nach lernpsychologischen Grundsätzen aufgebaut?} 8 ^{Sind die Trainingsmethoden adäquat, um die Ziele zu erreichen?} 9 ^{Wurden die Kompetenzziele mit den Unternehmenszielen synchronisiert?} 10 ^{Haben die Programme die volle Unterstützung der Geschäftsleitung?} 11 ^{Existieren objektive Mess- /Kontrollverfahren für die Programme?} 12 ^{Sind die Kontrollen trainingspädagogisch angemessen?} 13 ^{Erfüllen die Assessments testpsychologische Qualitätskritierien?} 14 ^{Ist eine vertrauliche Handhabung der Ergebnisse sichergestellt?} 15 ^{Sind die Facilitatoren testpsychologisch ausgebildet?} 16 ^{Existieren persönliche Entwicklungspläne für die Teilnehmer?} 17 ^{Wurde das Eingangsverhalten der Teilnehmer ermittelt?} 18 ^{Sind die Trainer für die Maßnahmen zertifiziert?} 19 ^{Wurde ein detaillierter Transferplan entwickelt?} 20 ^{Sind die Führungskräfte auf ihre Rolle als Co-Trainer vorbereitet?} Abbildung 9 - Fragenkatalog QuickCheck 94

Viele der oben angeführten Fragen sind heute schon Bestandteil einer ernsthaften Weiterbildungsplanung. Besonders hervorzuheben sind aus Sicht des Verfassers die Fragen 9, 16 und 20, in denen zum einen die Personalentwicklung den Auftrag erhält, sich von separaten Programmzielen zu lösen und statt dessen die Mitarbeiter zu befähigen, ihre Kompetenzen zur Erreichung der Unternehmensziele auszubauen. ⁹⁵ Zum zweiten fordert Kellner die Erstellung eines individuellen Kompetenzprofils jedes Mitarbei- 94Ebenda, S. 85f.

95 Ebenda, S. 79.

29

ters, so dass keine Weiterbildungskonzepte mit der Gießkanne über die Mitarbeiter ausgeschüttet werden. ⁹⁶ Und schließlich nimmt er die Führungskräfte als Co-Trainer und Coach in die Verantwortung, die für die Entwicklung ihrer Mitarbeiter verantwortlich sind. 97

2.2.3.3. ValueFinder

Um Begeisterung und Interesse der Teilnehmer an Weiterbildungsmaßnahmen zu erreichen, sollte diese geplante Maßnahme für jeden Teilnehmer mit persönlichem Nutzen versehen sein. Diese individuellen Nutzenerwartungen können sehr unterschiedlich sein und müssen in der Planung und Konzeption berücksichtigt werden. Kellner fordert hier eine engere Zusammenarbeit mit den Teilnehmern im Vorfeld, eine offene Kommunikation, so dass diese Wünsche und Erwartungen mit den Projektzielen in Einklang gebracht werden können. 98

Diese Nutzenorientierung darf allerdings nicht als ein allgemeines „Wunschkonzert“ verstanden werden, es dient im Gegenteil dazu, dass Weiterbildungsmaßnahmen genau an den Punkten ansetzen, an denen eine Kompetenzerweiterung auch einen Nutzen für das Unternehmen bringt.

Folgendermaßen definiert Kellner diesen Prozess:

„ValueMapping ist ein Prozess, der zum Ziel hat, sämtliche Nutzenquellen im Unternehmen zu erfassen und die Nutzenerwartungen und den Nutzenbedarf aller Stakeholder zu untersuchen, um daraus Werttreiber abzuleiten, mit deren Hilfe alle Beteiligten aktiviert werden können, um einen optimalen und messbaren Beitrag zu den Unternehmenszielen zu leisten“. 99

Zur Ermittlung des Nutzens setzt Kellner auf ein umfangreiches Fragewerk, den ValueFinder. Dieser besteht aus 16 sogenannten Nutzenkategorien, denen jeweils 5 Nutzen zugeordnet sind. ¹⁰⁰ Zu einer umfassenden Betrachtung werden diese Nutzenkategorien den wichtigsten Stakeholdern zuge-

96Ebenda, S. 81.

97 Ebenda, S. 83.

98 Ebenda, S. 94.

99 Ebenda, Datei ValueFinder.pdf auf Ergänzungs-CD.

100 Ebenda, S. 99.

30

ordnet.

Im Beispiel von Kellner sind dies

- Unternehmen

- Management - Mitarbeiter - Kunden.

Da eine komplette Auflistung den Rahmen dieser Arbeit sprengen würde, hat der Verfasser eine Kategorie exemplarisch aufgenommen:

Abbildung 10 - Beispiel Nutzenkategorien Mitarbeiter 101

Der hier exemplarisch dargestellten Nutzenkategorie „Kompetenz“ und dem Nutzen „Mehr Verantwortung“ ordnet Kellner folgende Fragen zu:

101 Ebenda, Datei ValueFinder.pdf auf Ergänzungs-CD

31

Bei der Befragung bewegt er sich vom Allgemeinen immer weiter zum Speziellen und erfragt von seinen Informanten hier auch eine Einschätzung eines Geldwertes. Folgendermaßen beschreibt er das Vorgehen:

„In der Nutzenanalyse wird durch acht Fragen geklärt, welche Vorstellungen der Einzelne von einem bestimmten Nutzen hat. Die Fragestellung ist so angelegt, dass der Personalentwickler mit dem potenziellen Teilnehmer von einem allgemein formulierten Nutzen zu einem persönlichen Nutzen durchdringt. Dieser dient dann als primärer Motivationsfaktor und Beweggrund (Werttreiber), um konstruktiv an einem Weiterbildungsprojekt mitzuwirken. Die Nutzenanalyse ist eine Methode, die zur Nutzenkonkretisierung eingesetzt wird und damit zur

102 Ebenda, Datei ValueFinder.pdf auf Ergänzungs-CD.

32

Verdeutlichung der Triebfedern dient, die für die Umsetzung jedes Projekts äußerst wichtig sind. Durch den Einsatz der Nutzenanalyse wird ein Ergebnis erzielt, das an sich schon einen Erfolg darstellt, da die Ergebnisse nicht nur als individuelle Motivatoren für Weiterbildungsmaßnahmen herangezogen werden können, sondern auch im Führungsprozess wertvolle Dinge leisten.“ 103

Allerdings erläutert Kellner in der Folge nicht die methodische Verwendung dieser Informationen für die Konzeption einer entsprechenden werthaltigen Weiterbildungsmaßnahme, sondern stellt fest, dass

„der ValueFinder ist der Kern in diesem Prozess und bildhaft gesprochen, das „Trüffelschwein“ der Personalentwicklung. Mit seiner Hilfe gelingt es, die sogenannten immateriellen Werte zu verdeutlichen und damit einen höheren Stellenwert für Weiterbildungsprojekte zu erlangen.“ 104

Um mit den aus umfangreichen Interviewreihen gewonnenen Informationen einen „Value on Investment“ extrahieren zu können, fehlen dem Verfasser weitere Prozessschritte, die Kellner nicht darlegt. Dadurch fehlt dem weiteren Prozess die entsprechende Glaubwürdigkeit und Nachvollziehbarkeit. Die versprochenen „Trüffeln“ sind so nicht auffindbar.

2.2.3.4. ProjectMapping

Um komplexe Weiterbildungsmaßnahmen organisieren und steuern zu können, ist die Erstellung eines Projektplans wie bei anderen Projekten sehr sinnvoll. Im vorgestellten Modell wird dieser spezielle Projektplan „ProjectMapping“ gennannt und soll ein Prozess sein, in

„dem Teile eines Weiterbildungsprojekts (Ziele, Kompetenzen, Einflussfaktoren, Maßnahmen, Verantwortlichkeiten, Kontrollen und Ergebnisse) in Beziehung zueinander gesetzt werden, um Wechselwirkungen und gegenseitige Abhängigkeiten zu verdeutlichen.“ 105

Ziel des ProjectMappings ist eine übersichtliche Darstellung des Prozesses

103 Ebenda, S. 100.

104 Ebenda, S. 101.

105 Ebenda, S. 103.

33

und Hilfestellung bei der Messung der quantitativen und qualitativen Ergebnisse. 106

Die ersten Schritte innerhalb des ProjectMappings sind der GoalNavigator und der ValueFinder, so dass mit dem ermittelten Gap zwischen Unternehmenszielen, ermittelten Kompetenzen und den Nutzenerwartungen nun die zweite Phase innerhalb des ProjectMappings durchgeführt werden kann.

Hier werden aus den oben beschriebenen Daten die

„Werttreiber herausanalysiert. Dies geschieht normalerweise durch Interviews und Fokusgruppen. Zunächst werden Erfahrungswerte ermittelt, aus denen die Erfolgsfaktoren isoliert werden. Wenn eine Liste der Erfolgsfaktoren vorliegt, können daraus leicht die Werttreiber abgeleitet und beschrieben werden.(...) In der dritten Phase wird schließlich eine Ergebnisprognose abgegeben. Diese Prognose muss selbstverständlich einer kritischen Überprüfung unterzogen werden. Die Kriterien für die Überprüfung schließen Kosten, Kompetenzen, Voraussetzungen, Zeit- und Trainingsaufwand, Motivationssituationen und den zu erwartenden Nutzen mit ein. Das ProjectMapping setzt immer erst dann ein, wenn die Unternehmensziele und die individuellen Trainings- und Entwicklungsziele feststehen.“ 107

Zu den nötigen Schritten stellt Kellner die entsprechenden Checklisten zur Verfügung. Zunächst erfolgt in einer Projektübersicht, der ProjectMap die Priorisierung der entsprechenden Ziele, sowie eine Übersicht mit der Angabe der davon betroffenen Bereiche.

Die eigentlichen Projektdetails werden dann jeweils in eine Übersicht eingetragen, aus der die wichtigsten Informationen auf einen Blick hervorgehen:

106 Ebenda, S. 103.

107 Ebenda S. 105.

34

Abbildung 12 - Projektdefinition Beispiel aus Kategorie Unternehmen 108 Darauf folgen Checklisten, in denen eine Abwandlung des Deming-Zyklus vollzogen wird. Mit der ersten Checkliste (Planen) wird die Ist-Situation bestimmt:

Abbildung 13 - Checkliste Planen 109

108 Ebenda, Datei ProjectMapping.pdf auf Ergänzungs-CD, S. 1.

109 Ebenda, Datei ProjectMapping.pdf auf Ergänzungs-CD, S. 2.

35

Die danach verwandte Checkliste (Organisieren) dient der Bestimmung des Aufwands:

Abbildung 14 - Checkliste Organisieren 110

Hieraus können die Aktionspunkte sowie die noch offenen Punkte ermittelt werden, die dann in der nächsten Checkliste (Durchführung) erfasst werden.

Abbildung 15 - Checkliste Durchführen 111

Nachdem die Detailplanung der Weiterbildungsmaßnahme mit den vorher

110 Ebenda, Datei ProjectMapping.pdf auf Ergänzungs-CD, S. 3

111 Ebenda, Datei ProjectMapping.pdf auf Ergänzungs-CD, S. 4

36

genannten Werkzeugen durchgeführt wurde, erfolgt zum Abschluss dieser Phase die Kontrolle der entsprechenden Teilschritte:

Abbildung 16 - Checkliste Kontrollieren 112

Mit diesem umfangreichen Checklistensystem gelingt Kellner die Sammlung vieler Detailinformationen über das Weiterbildungsprojekt.

Folgende Vorteile bringen dieses System in der praktischen Anwendung:

- Klare Ausrichtung auf die Unternehmensziele

- Bessere Nutzung firmeninterner Ressourcen - Bessere Integration der Maßnahmen in den Arbeitsablauf - Leichtere Erstellung von ROI- und VOI-Berechnungen - Verstärkte Kooperation zwischen den am Projekt Beteiligten - Eliminieren von Überschneidungen in den Interventionen - Kontinuierliche Evaluation durch integriertes Controlling - Kostengünstigere Abwicklung durch methodisches Vorgehen. ¹¹³ Wie allerdings die monetäre Messung der weichen Werte erfolgen soll, lässt er auch hier offen. Der ProjectMapper stellt ein detailliertes System

112 Ebenda, Datei ProjectMapping.pdf auf Ergänzungs-CD, S. 5.

113 Ebenda, S. 104.

37

zur Steuerung eines Weiterbildungsprojekts dar - nicht mehr.

2.2.3.5 ResultTracker

Nach der Durchführung der Weiterbildungsmaßnahme müssen zum Abschluss die Ergebnisse gesammelt, gesichtet und ausgewertet werden. Um zu einer validen Bewertung des qualitativen Erfolgs der Maßnahme zu kommen, müssen zwei Bereiche betrachtet werden: Kompetenz und Leistung.

Die Grundlage der Kompetenzmessung bildet eine Betrachtung vor und nach der Weiterbildungsmaßnahme. Um zu einem genauen Ergebnis zu kommen, schlägt Kellner vor, dies in praxisnahen Simulationen durchzuführen, da diese

„auch das Eingangs- und Endverhalten und damit die Trainingsergebnisse objektiv und genau messen.“ 114

Mit den durchgeführten Simulationen kann somit der Kompetenzaufbau des Teilnehmers durch die Weiterbildungsmaßnahme ermittelt werden. Da hier ein individuelles Ausgangsniveau festgestellt wurde, kann auch der Kompetenzzuwachs individuell ermittelt werden. Weitere Werkzeuge oder Analysetools werden von Kellner nicht genannt, da seiner Meinung nach Simulationen durch den hohen Praxisbezug in Zukunft alle anderen Trainingsformen ablösen werden.

Im zweiten Schritt wird der Kompetenzzuwachs mit der Leistung verknüpft, da sich dadurch der wirkliche Mehrwert einer Weiterbildungsmaßnahme zeigt. Um andere Einflussfaktoren zu trennen, empfiehlt Kellner die Bildung einer Kontrollgruppe, die nicht trainiert wurde. Alle anderen Methoden werden von ihm als auf Einschätzungen basierend und subjektiv beschrieben. 115

Zur Aufbereitung und nutzenorientierten Darstellung der Trainingsergeb-

114Ebenda, S. 129. Da der Aufwand für Simulationen bei größeren Weiterbildungsprojekten sehr

hoch einzustufen ist, baut Kellner hier zu optimistisch auf Trainingswerkzeuge, die in vielen Un-ternehmen nur vereinzelt anzutreffen sind und deren Implementierung einen hohen Kosten-

aufwand bedeuten.

115 Ebenda, S. 135.

38

nisse hat Kellner den ResultTracker entwickelt, der sich an die im Value Finder benutzen 16 Nutzenkategorien anlehnt.

Die Basis des ResultTrackers bildet die vierstufige Weiterbildungsevaluation von Kirkpatrick, an die sich dann eine ROI-Berechnung anschließt. Nachdem diese Werte ermittelt sind, werden für die im Vorfeld definierten Nutzenkategorien die Ergebnisse in Dateivorlagen übertragen. Eine Beschreibung der Anwendung oder eine exemplarische Darstellung, wie genau z.B. der „Anteil in %“ ermittelt wird, fehlt auch an dieser Stelle.

Die hier ermittelten Ergebnisse sollen dann in einer Gesamtübersicht aufbereitet werden, so dass auf einen Blick ihr Anteil an der Erreichung der Unternehmensziele sichtbar wird und somit der Nutzen für das Unternehmen sofort greifbar ist.

116 Ebenda, Datei ResultTracker.pdf auf Ergänzungs-CD, S. 3.

39

Der grundsätzliche Ansatz des Modells von Kellner, die Weiterbildung des Mitarbeiters an den Anforderungen des Unternehmens und ausgehend von seinem individuellen Stand zu entwickeln, ist zukunftsträchtig. Die Entwicklung wird in der Personalentwicklung standardisierte Trainingsprogramme in den Hintergrund drängen, während die individuelle Förderung der Mitarbeiter zur Erreichung spezifischer Ziele immer mehr an Bedeutung erlangen. Um dieses Ziel zu erreichen und den Wert dieser Art der Weiterbildung für das Unternehmen aufzuzeigen, ist in der vorgelegten Form das Modell von Kellner nur ansatzweise geeignet, da Hinweise für die praktische Umsetzung häufig fehlen.

40

3. Qualitätsmanagementsysteme in der

Weiterbildung

3.1 Definition Qualität in der Weiterbildung

Um eine genaue Vorstellung des im Alltag häufig verwendeten Begriffs „Qualität“ zu geben, scheint es angebracht, diesen genauer zu definieren.

So beschreibt die DIN EN ISO 9000:2000 Qualität als

„Vermögen einer Gesamtheit inhärenter Merkmale eines Produktes, Systems oder Prozesses, zur Erfüllung von Forderungen von Kunden und anderen interessierten Parteien.“ 117

Mit dieser Beschreibung ist es möglich, mess- und bewertbare Kriterien für ein Produkt oder eine Dienstleistung zu definieren.

So kann im Kontext einer industriellen Fertigung eines Produkts oder auch bei der Erbringung einer Dienstleistung das Ergebnis mit diesen Forderungen verglichen und letztendlich bewertet werden.

Doch in der Weiterbildung wird nicht einfach das Produkt „Bildung“ produziert. Hier entsteht die Qualität erst durch die Zusammenarbeit des Lehrenden und des Lernenden. Dadurch erarbeitet sich der Lernende in einem Bildungsprozess die nötigen Resultate. ¹¹⁸ An dieser Stelle greift die oben angeführte Definition zu kurz. Doch wie lässt sich dann der Begriff „Qualität“ im Kontext der betrieblichen Weiterbildung umreißen?

Aus Sicht des Auftraggebers der betrieblichen Weiterbildung ist entscheidend, ob der Mitarbeiter, der an einer Weiterbildungsmaßnahme teilgenommen hat, danach den Anforderungen am Arbeitsplatz besser gerecht wird und ob das Unternehmen dadurch seine Ziele besser erreicht.

Der Mitarbeiter wertet ggf. anders und legt möglicherweise bei der Benennung „Qualität“ Wert auf die äußeren Rahmenbedingungen (Tagungshotel usw.).

117 Vgl. Kaminske, Gerd F.; Brauer, Jörg-Peter (2003): Qualitätsmanagement von A bis Z. Erläute-

rungen moderner Begriffe des Qualitätsmanagements. 4. Auflage München, Wien, S. 167.

118 Vgl. Arnold, Rolf (1997), S. 54.

41

Auch aus Sicht des Personalentwicklers kann der Begriff „Qualität“ sehr weit gefasst werden:

Je nach Anspruch und Forderung kann schon die eine qualitativ hochwertige Weiterbildungsveranstaltung diejenige mit einer hohen Teilnehmerzufriedenheit gewesen sein. Schon diese wenigen Beispiele zeigen, dass der Qualitätsbegriff sehr individuell belegt ist.

Folgende Dimensionen des Begriffs „Qualität“ und Qualitätskriterien nennen Hartz und Meisel:

- Qualität und Qualitätskriterien haben einen Interessenbezug, da je nach Perspektive, ob der Teilnehmer, der Pädagoge oder der Auftraggeber seine Sicht der Qualität beschreibt, unterschiedliche Kriterien genannt werden. - Qualitätskriterien können sich auf unterschiedliche Ebenen beziehen. So verändern sich die Kriterien, je nachdem ob auf der Ebene der Interaktion, der Organisation oder der Gesellschaft der Blick auf die Qualität geworfen wird. - Qualitätskriterien haben einen individuellen Bezug. Da jeder Teilnehmer ein anderes Lerninteresse hat, können gleiche Merkmale unterschiedlich bewertet werden. - Qualitätskriterien haben einen historischen Bezug. So verändern sich Vorstellungen und Anforderungen, wie Erwachsene lernen, mit der Zeit.

- Qualitätskritierien haben einen gesellschaftlichen Kontext: An der Herstellung von Bildung sind die Teilnehmer aktiv beteiligt. So wird eine Weiterbildungsveranstaltung, die ein Mitarbeiter besuchen muss, anderen Kriterien unterliegen als eine freiwillig aufgesuchte.

- Qualitätskriterien orientieren sich an den unterschiedlichen Referenzsystemen wie Effektivität, Professionalität, Erfüllung von Bedürfnissen u.a. 119

Aus wieder einer anderen Perspektive betrachtet, lassen sich im gesamten Weiterbildungsprozess verschiedene Qualitätsbereiche beschreiben, die aber nur in ihrer Gesamtheit ein qualitativ hochwertiges Ergebnis ermöglichen:

119 Vgl.Hartz, Stefanie; Meisel, Klaus (2006): Qualitätsmanagement. Studientexte für Erwachsenen-

bildung. 2. Auflage Bielefeld, S. 15.f.

42

Abbildung 18 Qualitätsbereiche und Qualitätskriterien von Weiterbildung 120

Diese Abbildung macht deutlich, dass Qualität in der Weiterbildung nicht isoliert an einer Stelle des Prozesses betrachtet werden kann, sondern dass hier eine Vernetzung und Interdependenz der Bereiche besteht. Diese Vernetztheit und Vielschichtigkeit von Qualität wird auch an anderer Stelle unterstrichen und herausgehoben. 121

Schon dieser kurze Ausblick macht deutlich, dass der Begriff „Weiterbildungsqualität“ nicht generalisiert beantwortet werden kann. Als kleinste Gemeinsamkeit lässt sich festhalten, dass - unabhängig von der jeweiligen Perspektive - Erwartungen und Ziele mit einer Weiterbildungsmaßnahme verbunden sind. Die jeweilige Erreichung dieser Zielvorgabe spiegelt die Qualität der Veranstaltung wider. Um die Qualität einer Weiterbildungs-

120Vgl. Arnold, Rolf (1994): Qualitätssicherung in der Weiterbildung; in: GdWZ 5, S. 7.

121 Vgl. Wunderer, Rolf; Gerig, Valentin; Hauser, Rainer (Hrsg.) (1997): Qualitätsorientiertes

Personalmanagement. Das europäische Qualitätsmodell als unternehmerische Herausforderung.

München, Wien, S. 2f.

43

maßnahme genau beschreiben zu können, ist somit eine detaillierte Zieldefinition mit greifbaren Kriterien notwendig. Wenn diese individuellen Kriterien erfüllt sind, war die Veranstaltung qualitativ hochwertig.

3.2. Qualitätsmanagementsysteme

Neben den dargestellten Bildungscontrollingmöglichkeiten gibt es einen weiteren Ansatz zur Qualitätssicherung in Weiterbildungsmaßnahmen: Durch Implementierung eines Qualitätsmanagementsystems kann ebenfalls die Qualität der Maßnahme und damit die geplante Zielerreichung sichergestellt werden. Dies ist heute um so wichtiger, da Weiterbildungsträger, die für die Bundesanstalt für Arbeit tätig werden, einen entsprechenden Nachweis eines Qualitätssicherungssystems erbringen müssen. 122

Entsprechende Zertifizierungen wurden in der Vergangenheit z.B. durch einen Nachweis eines Qualitätsmanagementsystems nach DIN ISO 9001:2000 erbracht. Dieser Nachweis beschäftigte sich mit dem „Prozess der Produkterstellung“ ¹²³ , nicht aber mit dem Ergebnis der „Produktion“. Mit der Anpassung an den Dienstleistungsbereich im Jahr 2000 und der entsprechenden Revision der Normen wurde eine bessere Nutzbarkeit erreicht.

Alternativ hat sich auch im Bildungsbereich die Orientierung am europäischen EFQM-Modell etabliert, in dem keine externe Zertifizierung erfolgt, sondern die Qualität der Prozesse im Unternehmen durch eine Selbstevaluation vorgenommen wird. 124

Doch bei beiden Modellen wurde Kritik daran geäußert, dass hier Modelle und Strukturen, die aus dem industriellen Umfeld kommen, im Bereich der

122 Vgl. Bosche, Brigitte; Veltjens, Barbara (2006): Qualitätstestierung in der Weiterbildung. Zu-

sammenfassende Darstellung des BLK-Verbundprojekts, erste Durchführungsphase Mai 2003 bis

August 2005. URL: http://www.die-bonn.de/ esprid/dokumente/doc-2006/bosche06_01.pdf (Stand

2006-12-28), S. 4. Allerdings ist diese Forderung für die Personalentwicklung innerhalb eines Un-

ternehmens nicht entscheidend.

123 Vgl. Hartz; Meisel (2006), S. 66, sowie Zink, Klaus J. (2004): TQM als integratives Manage-

mentkonzept. Das EFQM Excellence Modell und seine Umsetzung. 2. Auflage. München, Wien, S.

55.

124 Zu Anpassungen beider Modelle an den Weiterbildungsbereich vgl. Heinold-Krug, Eva; Griep,

Monika; Klenk, Wolfgang (o.J.): EFQM. Version Erwachsenenbildung/Weiterbildung. Frankfurt,

sowie Orru, Andreas; Pfitzinger, Elmar (2005): AQW - das Qualitätsmodell für Bildungsträger.

DIN Deutsches Institut für Normung. Berlin.

44

Weiterbildung angewendet werden ¹²⁵ . Zwar kann es für die Personalentwicklung eines Unternehmens sinnvoll und zwingend notwendig sein, sich in das Qualitätssicherungssystem, das in den anderen Bereichen des Unternehmens angewendet wird, zu integrieren, doch werden durch ein solches System Lehr-Lernprozesse und deren Ergebnisse nur mangelhaft abgebildet: Somit werden die bestehenden Modelle dem Kern der Arbeit der Personalentwicklung, der Arbeit mit den Menschen in einem Unternehmen und deren Kompetenzentwicklung, nicht gerecht.

Aus diesem Grund wird in dieser Arbeit nur auf das LQW-Modell eingegangen, welches speziell für den Weiterbildungsbereich entwickelt wurde.

3.3. LQW-Qualitätsmodell

Der Ursprung dieses Modells liegt in einem Forschungsprojekt aus dem Bereich der Volkshochschulen, für die ein spezielles Qualitätsmanagementsystem entwickelt wurde. Der Anspruch war die

„vorhandenen Entwürfe und Strategien zu einem einheitlichen und transparenten System zu bündeln, zu verdichten und weiterzuentwickeln“. 126

Ziel war dabei, dass die Besonderheit des Bildungsprozesses, die entscheidend durch den Lerner bestimmt wird, in dieses System integriert wurde. Das LQW-Modell erhebt für sich den Anspruch, sowohl der organisationsbezogenen als auch der professionsbezogenen Qualitätsentwicklung gerecht zu werden. 127

Ziel ist dabei, dass sich die Weiterbildungsorganisation durch die Einführung eines kontinuierlichen Qualitätskreislaufs und die Orientierung an strategischen Entwicklungszielen zu einer lernenden Organisation entwickelt. 128

125 Vgl. generell zu den beiden Systemen: Fürstenberg, Conrad von (2004): Qualitätsmanagement

in der Weiterbildung. DIN EN ISO 9001:200. LQW, Gütesiegel-Modelle und TQM mit einem

EFQM-Praxisbeispiel. Heidelberg. (hiba Weiterbildung Bd. 20).

126 Vgl. Hartz, Stefanie; Meisel, Klaus (2006), S. 79.

127 Vgl. Zech, Rainer (2006a): Handbuch Lernerorientierte Qualitätstestierung in der Weiterbildung

(LQW). Grundlegung - Anwendung - Wirkung. Bielefeld, S. 19.

128 Zech, Rainer (2006b): Lernerorientierte Qualitätstestierung in der Weiterbildung. Leitfaden für

45

Folgende Lernerfolge sind u.a mit der Einführung von LQW verbunden:

- „Die Leitbildentwicklung stärkt die Identität der Organisation und die Identifikation der Beschäftigten - Die Auseinandersetzung mit der Definition gelungenen Lernens bewirkt eine Zunahme der pädagogischen Professionalität

- Die Bildungsarbeit orientiert sich stärker an den Bedürfnissen der Lernenden

- Die Evaluation führt zum Erkennen von Entwickungspotenzialen und neuen Chancen

- Die genaue Definition von Prozessen und Arbeitsabläufen strafft und systematisiert die Ablauforganisation - Durch eindeutige Ziele kann die Organisation sicher gesteuert werden. Teilschritte der Zielerreichung können kontrolliert und Erfolge können bewertet werden

- Die gesamte Organisation richtet ihre Arbeit strukturell an den Interessen ihrer Kunden aus.“ 129

Mit der Einführung von LQW wird ein kontinuierlicher Prozess angestoßen, der nicht mit der Erfüllung der Qualitätskriterien endet, die im Rahmen einer externen Zertifizierung regelmäßig überprüft werden, sondern mit jeder Zertifizierung sind neue Entwicklungsschritte verbunden. Dies weist auf eine enge Verknüpfung an TQM-Prinzipien hin, die auch im EFQM-Modell sichtbar sind.

3.3.1 Gelungenes Lernen

Die Basis der Betrachtung, an der sich das ganze Modell orientiert, ist die Definition von gelungenem Lernen. Grundlegende Aspekte sind dabei

- „intellektuell-rationale Aspekte, wie Klarheit der Lehr- und Lernziele und Zugewinn an Wissen, - soziale Aspekte, wie Unterstützung durch andere und Verbesserung des eigenen Kommunikationsverhaltens, - emotional-motivationale Aspekte, wie Weckung neuer Lernbedürfnisse und Selbstdisziplin bei „Durststrecken“ im Lernprozess,

- organisatorisch-technische Aspekte, wie Planungskompeten-

diePraxis. Modellversion 3. Hannover, S. 11.

129 Ebenda, S. 12f.

46

zen zur Strukturierung des Lernprozesses und Verfügbarkeit von Lerntechniken.“ 130

Da Organisationen sehr unterschiedlich arbeiten, unterschiedliche Strukturen und Zielsetzungen aufweisen, kann die genaue Definition von gelungenem Lernen nur von jeder Organisations selbst getroffen werden. Diese bildet die Basis für die Weiterentwicklung des Qualitätsmanagementsystems.

3.3.2. Prozessmodell

Das LQW-System lässt sich als ein kreisförmiges Modell darstellen, in dessen Zentrum die oben erwähnte Qualität des Lernens steht. Davon ausgehend sind die weiteren Faktoren angeordnet, die einen Einfluss auf die Ermöglichung des Lernens haben: Zunächst die Qualität des Lehrens, dann die Qualität der Infrastruktur und die Qualität der organisationalen Prozesse.

Aus dieser Grundstruktur heraus wurden 11 Qualitätskriterien entwickelt, die diese unterschiedlichen „Qualitätsringe“ abdecken und im Rahmen einer Zertifizierung zu bearbeiten sind. Die Reihenfolge der Qualitätsbereiche folgt der Logik der Auseinandersetzung der Organisation mit dem Qualitätsmodell: Basis ist neben der oben erwähnten eigenen Definition des gelungenen Lernens die Entwicklung eines Leitbildes. Darauf schließen sich die „praktischen“ Bereiche an, die vom Lehr-Lernprozess über die

130 Vgl. Ebenda, S. 33.

131 Vgl. Zech (2006a), S. 39.

47

Fragen zur Infrastruktur und zur Organisation den Selbstreport abschließen. In einer Übersicht ordnen sich die einzelnen Qualitätsbereiche folgendermaßen an:

Bemerkenswert ist an dem vorliegenden Modell, dass es sowohl eine Eigenevaluation enthält (wie das EFQM-Modell), als auch die Möglichkeit einer externen Zertifizierung bietet. Durch diese Verknüpfung mehrer Perspektiven gewinnt der Weiterbildungsanbieter wertvolle Informationen und Ansichten über die Wirkung seines Unternehmens zur Außenwelt und kann daraus weitere Veränderungsschritte einleiten. Die Ergebnisse der einzelnen Schritte werden in einem Selbstreport erfasst und dem externen Zertifizierer zur Begutachtung vorgelegt.

132 Ebenda, S. 42.

48

Mit der erfolgreichen Testierung des Unternehmens ist der Prozess aber nicht abgeschlossen. Um dem Anspruch einer permanenten Anpassung des Unternehmens an die Anforderungen der Kunden, der Auftraggeber und des Markes sicherzustellen, erfolgen die in Abbildung 21 aufgeführten Schritte in regelmäßiger Abfolge. Eine erneute Testierung ist nach vier Jahren wieder nötig, um die Zertifizierung zu erhalten. Für diese Zeitspanne setzt sich das Weiterbildungsunternehmen im Qualitätsbereich 11 Entwicklungsziele, die in der dann stattfindenden Testierung überprüft werden. Dadurch bildet der Abschlussworkshop keinen wirklichen Abschluss, sondern ist gleichzeitig der Startblock für die nächste Entwicklungsphase. 134

133 Ebenda, S. 75.

134 Vgl. Zech (2006b), S. 42f.

135 Vgl Zech (2006a); S. 111.

49

In den folgenden Kapiteln werden die oben aufgeführten Qualitätskriterien einzeln vorgestellt. Die Darstellung der einzelnen Qualitätsbereiche gliedert sich in eine Definition des Qualitätsbereichs als Hilfestellung für den Ausführenden in der Weiterbildungsorganisation, die entsprechenden Spezifikationen, sowie die Anforderungen, die an die Spezifikationen gestellt werden und die Nachweismöglichkeiten der Umsetzung. 136

3.3.3. Qualitätsbereiche

Zu einem tieferen Verständnis des LQW-Modells ist die Kenntnis der einzelnen Qualitätsbereiche sehr wichtig. Aus diesem Grund werden sie im folgenden dargestellt, kommentiert und auf ihre Anwendung im Umfeld der Personalentwicklung in einem Wirtschaftsunternehmen hinterfragt.

3.3.3.1 Leitbild und Definition gelungenen Lernens

Die Basis der Entwicklung eines Qualitätsmanagementmodells für eine Weiterbildungsorganisation ist die Erarbeitung eines Leitbildes, das Aussagen zur Identität, zu den Werten, den Zielen usw. enthält. Die folgende Übersichtstabelle stellt exemplarisch diesen roten Orientierungsfaden dar. Eine solche Übersicht steht im Modell zu allen Qualitätsbereichen zur Verfügung. Die Übersichten sind folgendermaßen gegliedert: Eine Definition des Begriffs im Kopf der Tabelle dient dem Verständnis des Qualitätsbereichs, so dass für die Benutzung im Alltag ein gemeinsames Verständnis vorliegt. Verbunden mit der Definition sind die Spezifikationen in der ersten Spalte, die diese verdeutlichen und konkretisieren. Sie sind Verständnishilfen und Operationalisierungsangeben zu den Definitionen und nur im Qualitätsbereich 1 auch Prüfgrundlagen im Rahmen der Zertifizierung. In allen anderen Qualitätsbereichen sind sie nicht prüfungsrelevant. Wichtig ist weiterhin, dass die im Leitfaden zusammengestellten Punkte keine vollständige Liste darstellen. Die Organisation ist im Gegenteil gefordert, diese ihren Anforderungen entsprechend zu ergänzen. ¹³⁷ Von Relevanz im Rahmen der Zertifizierung sind alle in der

136 Vgl. Zech (2006b), S. 60.

137 Ebenda, S. 56.

50

Spalte Anforderungen aufgelisteten Punkte. Diese stellen Mindestan-forderungen dar und müssen erfüllt sein. ¹³⁸ In der letzten Spalte sind Beispiele für die Dokumentation der entsprechenden Anforderungen. Diese Nachweise werden in den Selbstreport aufgenommen und stehen bei der Zertifizierung zur Verfügung. 139

Zum besseren Verständnis der aufgelisteten Punkte enthält der Leitfaden Erläuterungen zu den Spezifikationen und Anforderungen, die eine Bearbeitung erleichtern. 141

138 Ebenda, S. 57.

139 Ebenda, S. 57.

140 Ebenda, S. 60.

141 Ebenda, S. 61. Exemplarisch seien hier einige Fragen zur Spezifikation „Definition gelungenen

Lernens“ genannt: „Wann hat nach unserer Auffassung, mit unserem spezifischen Auftrag und

51

Alle in den folgenden Qualitätsbereichen 2-11 erfassten Ausführungen müssen sich auf das hier umrissene Leitbild und die Definition des gelungenen Lernens beziehen, so dass mit der hier gelegten Basis die folgenden Qualitätsbereiche erarbeitet werden können. 142

Die hier für freie Weiterbildungsträger entwickelten Fragestellungen können auch in der betrieblichen Weiterbildung auf fruchtbaren Boden fallen, da auch die interne Personalentwicklung sich über diese grundlegenden Punkte verständigen muss, falls sie erfolgreich für das Unternehmen tätig werden möchte.

3.3.3.2 Bedarfserschließung

In diesem Bereich geht es um die Frage, wie das Weiterbildungsunternehmen den Bedarf ermittelt, auf dessen Grundlage dann Maßnahmen plant und schließlich durchführt. Berücksichtigt werden dabei Informationen sowohl über die personalen Bedürfnisse der potenziellen Teilnehmer an Weiterbildungsmaßnahmen, als auch von den Auftraggebern wie Unternehmen, Verwaltungen usw. ¹⁴³ Die zentrale Anforderung ist hier eine Beschreibung der „Gegenstände, des Verfahrens, des Rhythmus und des Umfangs der Bedarfserschließung“ sowie eine Bezugsetzung dieser Punkte auf das Leitbild der Organisation und die Definition gelungenen Lernens. ¹⁴⁴ Damit wird erreicht, dass die Organisation für ihre individuelle Situation eine Bedarfsermittlung entwickelt, die den Bedürfnissen entspricht , so dass eine tragfähige Grundlage für die Entwicklung von Weiterbildungsprogrammen vorhanden ist.

Mit diesem Punkt erfüllt das Programm eine wichtige Anforderung, die auch innerhalb der Personalentwicklung eines Unternehmens an ein Qualitätsmanagementsystem gestellt wird. Durch den zeitlich, methodisch und inhaltlich definierten Rahmen wird eine hohe Planungssicherheit hergestellt, so dass die grundlegende Konzeption durch die Personalentwicklung

bei unserer besonderen Zielgruppe gelungenes Lernen stattgefunden?“ oder „Was ist das Lern-

ergebnis im besten Fall?“

142 Ebenda, S. 55.

143 Ebenda, S. 63.

144 Ebenda, S. 62.

52

den Bedarf des Unternehmens widerspiegelt.

3.3.3.3 Schlüsselprozesse

Zur Durchführung der Kernaufgaben der Weiterbildungseinrichtung sind fest definierte Prozesse nötig. Diese betreffen die Bereiche Erstellung und Durchführung der Weiterbildungsmaßnahmen. Dabei ist zu beachten, dass die Prozessverantwortung definiert ist, Schnittstellen zu anderen Bereichen beschrieben und alle diese Details schriftlich hinterlegt sind. Ziel ist es hierbei, das kooperative Handeln innerhalb der Organisation zu erfassen und ggf. zu verbessern. Weiterhin muss auch eine Begründung dieser Schlüsselprozesse in Bezug auf das Leitbild und die Definition gelungenen Lernens enthalten sein. 145

3.3.3.4. Lehr-Lern-Prozess

Dieser Qualitätsbereich steht im Zentrum des LQW-Modells. Durch die gesonderte Betrachtung des Lehr-Lern-Prozesses selbst unterscheidet sich das LQW-Modell von allen anderen Qualitätsmanagementsystemen. Der Aufbau entspricht den anderen Bereichen, nur sind hier die An-forderungen wesentlich ausführlicher ausgearbeitet:

145 Ebenda, S. 64f. und Zech (2006a), S. 40.

53

Im Rahmen des Lehr-Lern-Prozesses werden auf der einen Seite die „fachlichen, didaktisch-methodischen, sozialen, personalen und beraterischen Kompetenzen des pädagogischen Personals“ erfasst, auf der anderen Seite stehen die „Inhalte, Ziele und Formen des Lernens“ unter Beobachtung. 147

Ein sehr wichtiger Aspekt wird hier mit der Untersuchung der sozialen und personalen Kompetenzen betrachtet, der häufig zu wenig Beachtung findet: Wie kompetent sind die Lehrenden wirklich, mit den vielfältigen

146 Ebenda, S. 66.

147 Vgl. Zech (2006a), S. 40.

54

Anforderungen und auch Ungewissheiten eines Lernprozesses umzugehen und diesen flexibel zu gestalten? ¹⁴⁸ Dieser sehr entscheidende Aspekt, der Blick auf der „verantwortliche“ Personal fehlt in anderen Qualitätsmanagementmodellen. Es zeichnet LQW aus, dass hier bereits an der Basis des Lernens sehr genau auf die handelnden Personen geschaut wird.

Von ebensolcher Bedeutung ist der Blick auf die Methodik des Lernprozesses. Leitfragen sind hier: Wie wird der Lernende mit einbezogen? Wie flexibel wird auf die unterschiedlichen Ansprüche und Kenntnissstände der Lernenden reagiert?

Für den Abgleich mit dem Leitbild und der Definition gelungenen Lernens ist hier besonders wichtig, dass an dieser Stelle Indikatoren und beobachtbare Merkmale für den gelungenen Lernprozess genannt werden. Diese können dann in einer Evaluation neben anderen Details berücksichtigt werden.

Die hier angeführten Punkte machen deutlich, dass diese proaktive Betrachtung der Lehrenden und der gesamten methodischen Basis der Weiterbildungsmaßnahmen für eine betriebliche Personalentwicklung von großer Bedeutung sind. Gerade bei der Zusammenarbeit mit externen Weiterbildnern und Trainern erfolgt diese genaue Untersuchung häufig nicht, so dass Trainer, Methoden und Inhalte nicht zur speziellen Kultur des Unternehmens passen und der gewünschte Erfolg der Weiterbildungsmaßnahme nicht eintritt.

3.3.3.5. Evaluation der Bildungsprozesse

In diesem Qualitätsbereich wird untersucht, ob das Weiterbildungsunternehmen regelmäßig die durchgeführten Weiterbildungsmaßnahmen mit geeigneten Instrumenten überprüft.

Dabei sollen neben der Zufriedenheit der Teilnehmer, die sehr häufig erfasst wird, auch der Lernerfolg und die Zufriedenheit des Auftraggebers erfasst werden. 149

148 Vgl. Zech (2006b), S. 67.

149 Ebenda, S. 68. Über die geringe Aussagekraft der reinen Zufriedenheitsabfrage wurde in dieser

55

Eine Erfassung weiterer Details, wie z.B. des Transfererfolgs fehlt im Vorschlag von Zech. Dies sollte aus Sicht des Verfassers aber erfolgen, da gerade aus diesen zeitlich versetzten Feedbacks wertvolle Informationen über den praktischen Nutzen des Lernerfolgs gesammelt werden können. Genau an dieser Stelle bietet sich die Erweiterung des LQW-Modells mit mehrstufigen Evaluationsprozessen an, die in vielen Unternehmen bereits durchgeführt werden und die auch im Kontext der außerbetrieblichen Weiterbildung wertvolle Informationen zurückspielen. Als einfaches Werkzeug kann hier z.B. drei Monate nach der Maßnahme ein Fragebogen an die Teilnehmer verschickt werden, in dem die Einschätzung der Teilnehmer über die Anschlussfähigkeit des Erlernten abgefragt wird.

3.3.3.6 Infrastruktur

Ein angenehmes Lernumfeld ist schon seit langer Zeit als wichtiger Begleit-faktor für die Förderung von Lernprozessen bekannt. Aus diesem Grund wird dem Lernumfeld ein eigener Qualitätsbereich gewidmet. Zunächst wird von der Organisation verlangt, dass sie eigenen Kritierien für die Qualität der Lernorte und der Ausstattung aufstellt. Anhand dieser Kriterien kann dann der Weiterbildungsträger seine eigene Ausstattung prüfen und ggf. verbessern. ¹⁵⁰ Neben der Betrachtung der Qualität der Lernorte und der Materialien wird hier auch Wert auf die Untersuchung der Arbeitsbedingungen der Beschäftigten gelegt, denn es wirkt sich auf die Gesamtqualität der Weiterbildung aus, wenn zwar die Seminarräume in einem hervorragenden Zustand sind, die Vorbereitungs- und Büroräume der Dozenten diesem Anspruch nicht entsprechen und zu entsprechendem Frustrationen sorgen.

Dieser Aspekt der Infrastruktur ist auch gerade für den betrieblichen Bereich von großer Bedeutung, da der Transfererfolg der Weiterbildungsteilnehmer nicht gewährleistet ist, wenn sie an ihren Arbeitsplätzen nicht die Bedingungen und die Ausstattung vorfinden, mit denen sie im firmeneigenen Trainingszentrum oder in einem externen Seminarort ge-

Arbeitbereits an anderer Stelle gesprochen.

150 Ebenda, S. 71.

56

lernt haben. Aus diesem Grund sollte die Personalentwicklung in die Betrachtung des Gesamtprozesses zwingend diese Faktoren einbeziehen.

3.3.3.7 Führung

Die Hauptverantwortung für die Steuerung und Leitung einer Weiterbil-dungsorganisation liegt in der Hand einer starken Führung. Diese umfasst dabei

“alle Steuerungen von Prozessen und ist eine Funktion zur Koordination von Arbeitshandeln.(...) Sie verantwortet die Einführung und Weiterentwicklung eines Managementsystems einschließlich der Qualitätsentwicklung.“ 151

Somit wird in diesem Qualitätsbereich untersucht, wie die Führung die Kooperation innerhalb des Unternehmens fördert und zur Erbringung der Unternehmensleistung beiträgt. Dabei wird die Führungsleistung auf unterschiedlichen Ebenen betrachtet. Die Anforderungen beziehen sich u.a. auf die schriftliche Fixierung von Führungsgrundsätzen, ein Organisations-handbuch, Instrumente und Verfahren der internen Kommunikation, Zielvereinbarungssysteme und die Zuständigkeit für die Qualitätsentwicklung. 152

Falls in einem größeren Unternehmen oder einem Verbund übergreifende Grundsätze definiert sind, so muss hier nachgewiesen werden, wie diese Grundsätze im Weiterbildungsbereich umgesetzt werden. 153

Bei der Implementierung des LQW-Modells in einen Industriebetrieb wird dieser Punkt von der Personalentwicklung zu beachten sein, da die vorher genannten Punkte in der Gesamtstruktur der Organisation schon vor-handen sind.

3.3.3.8 Personal

Weiterbildungsleistungen von hoher Qualität können dauerhaft nur von motivierten und gut ausgebildeten Mitarbeitern erbracht werden.

151 Ebenda, S. 72.

152 Ebenda, S. 72.

153 Ebenda, S. 73.

57

Aus diesem Grund erfolgt in diesem Qualitätsbereich die Betrachtung der Personalplanung, des Personaleinsatzes und der Personalentwicklung. Als Werkzeuge werden Kompetenzprofile, der Umgang mit neuen Kompe-tenzanforderungen, eine systematische Fortbildungsplanung u.a. herangezogen. ¹⁵⁴ Auf dieser Grundlage belegt das Unternehmen die zielgerichtete Planung und den optimalen Einsatz der Mitarbeiter. Gerade im Hinblick auf zukünftige Anforderungen ist es wichtig, dass die Entwicklung der Mitarbeiterkompetenzen sich an den Unternehmenszielen orientieren. Die hier genannten Punkte sind im Sinne einer zielorientierten Kompetenzförderung der Mitarbeiter auch in einem Weiterbildungsbereich eines Wirtschaftsunternehmens zu beachten und anzuwenden.

3.3.3.9 Controlling

Eine strategisch geplante und zielgerichtet gesteuerte Weiterbildungspolitik bedarf einer Planung und der Feststellung des aktuellen Stands.

Aus diesem Grund erfolgt hier die Betrachtung der strukturierten Steuerung des Weiterbildungsunternehmens. Auf der Grundlage eines dokumentierten Berichtswesens werden Kennzahlen, Kennziffern und qualitative Erfolgsindikatoren regelmäßig erhoben, die einen Rückschluss auf die inhaltliche und die wirtschaftliche Zielerreichung zulassen. ¹⁵⁵ Wichtig ist in der Dokumentation die Darstellung der möglichen Korrekturen. Sinn eines Controllings ist nicht nur die Bestimmung des Ist-Zustands, sondern die direkte Ableitung von Korrekturen zur Erreichung des gesetzten Ziels. An dieser Stelle verzahnen sich wieder das LQW-Modell und die traditionell aus der Betriebswirtschaft entwickelten Bildungscontrollinginstrumente, so dass auch an dieser Stelle Methoden und Werkzeuge aus dem einen Bereich für die Entwicklung des anderen Bereichs von Vorteil sind.

154 Ebenda, S. 74.

155 Ebenda, S. 76.

58

3.3.3.10 Kundenkommunikation

Die Weiterbildungsorganisation bestimmt durch ihr Auftreten in der Öffentlichkeit das Bild, das ein potenzieller Kunde von ihr hat. Aus diesem Grund ist es wichtig, die Kommunikation und Gestaltung der Leistungsangebote zielgruppengerecht zu planen und umzusetzen. ¹⁵⁶ Diese Planung der Kundengewinnung, -beratung und -pflege hat nach vorher definierten Schritte zu erfolgen. Wichtig ist in diesem Zusammenhang der Umgang mit Anregungen und Beschwerden der Kunden. Falls ein ausgearbeitetes Beschwerdemanagement existiert, so ist der Beschwerdeprozess zu dokumentieren.

Im öffentlichen Umfeld ist es neben den oben genannten Punkten wichtig, die rechtlichen Rahmenbedingungen wie Anmeldeverfahren, Kosten, Rücktrittsmodalitäten u.a. zu kommunizieren, so dass der potenzielle Kunde schon frühzeitig die Seriösität des Anbieters bewerten kann. 157

Ähnliche Aufbereitungen des Weiterbildungsangebots hat auch die Personalentwicklung innerhalb eines Unternehmens zu erbringen. So dienen diese Informationen zum einen den Führungskräften im Unternehmen als Orientierung, zum andern findet der Teilnehmer dadurch frühzeitig die nötigen Informationen vor und kann sich auf die Weiterbildungsmaßnahme vorbereiten. Innerhalb eines Unternehmens bietet sich die Kommunikation über das Intranet an, in dem alle nötigen Bereiche veröffentlicht und dokumentiert werden. Ebenso können hier die administrativen Tätigkeiten (Anmeldung, Feedback usw.) kostengünstig und effizient integriert werden.

3.3.3.11 Strategische Entwicklungsziele

Im letzten Qualitätsbereich wird auf die Zukunftsfähigkeit des Weiterbildungsunternehmens geschaut. Um einen kontinuierlichen Veränderungs-und Verbesserungsprozess zu gestalten, sind erreichbare Ziele für die Organisation nötig. Aus diesem Grund werden hier die strategischen

156 Vgl. Zech (2006a), S. 41.

157 Vgl. Zech (2006b), S. 78.

59

Entwicklungsziele erfasst und die Schritte dorthin dokumentiert. Diese Ziele sind längerfristig und umfassend und betreffen die gesamte Organisation. ¹⁵⁸ Da LQW einen Zeitraum von 4 Jahren bis zu einer erneuten Testierung vorsieht, sollten die strategischen Ziele auch für diesen Zeitraum gewählt werden, da im Rahmen der dann folgenden Testierung diese Ziele auf Erreichung überprüft werden können. Diese Ziele sollten auf der internen und externen Evaluation beruhen, also auf dem Selbstgutachten, welches mit Hilfe der Qualitätsbereiche erstellt wird, sowie auf dem Gutachten des externen Auditors. 159

Mit der strategischen Zielbestimmung, die in regelmäßigen Abständen überprüft und angepasst wird, befindet sich das Weiterbildungsunternehmen schon auf dem Weg zu einem TQM-Konzept, in dem eine permanente Anpassung an den Kunden und an die externen An-forderungen erfolgt. Für die interne Personalentwicklung ist in vielen Unternehmen die Konzentration auf neue strategische Ziele bereits heute schon Bestandteil der Arbeit und bildet neben kurzfristigen, projektabhängigen Zielen den Rahmen der täglichen Arbeit.

Im Überblick über die dargestellten Details des LQW-Modells lässt sich festhalten, dass mit dem Startpunkt Lehr-Lern-Prozess hier ein Qualitätsmanagementsystem entwickelt wurde, das den Anforderungen an die speziellen Bedingungen eines Bildungsprozesses gerecht wird.

158 Ebenda, S. 81.

159 Zech (2006a), S. 41.

60

4. Fazit

Die Ausgangsfragestellung dieser Arbeit lautete: Lassen sich die unterschiedlichen Interessen zwischen effektiver, für das Unternehmen nutzenbringender Weiterbildung und deren Evaluation und der teilnehmerzentrierten Erwachsenenbildung, die die Entwicklung des Individuums fördern und ausbauen möchte, in Einklang bringen?

Bei der Darstellung der aus dem betriebswirtschaftlichen Bereich erwachsenen Bildungscontrollingmethoden fällt auf, dass sie auf einer Basis ruhen, die auch für die Erwachsenenpädagogen von Bedeutung ist, nämlich der Zufriedenheit des Teilnehmers und sein Lernerfolg. Auf der anderen Seite sind ökonomische Betrachtungsweisen von Weiterbildungsmaßnahmen im erwachsenenpädagogischen Umfeld inzwischen Standard geworden.

Aus diesen Gründen ist ein auf beiden Wurzeln ruhendes Controlling von Aus- und Weiterbildungsmaßnahmen ein sehr wichtiger Bestandteil der alltäglichen Arbeit in der Personalentwicklung. Dabei kann mit dem LQW-Modell ein Qualitätsmanagementsystem implementiert werden, das auch den prozessualen und organisatorischen Ansprüchen einer zahlen-orientierten Unternehmensleitung entspricht. Dieses Modell bietet durch seinen offenen Rahmen, in den eigene Kriterien eingebaut werden können und im optimalen Fall sogar sollen, die Möglichkeit, die Messpunkte und Kriterien zu integrieren, die dem jeweiligen Unternehmen wichtig sind. Kritisch ist an dieser Stelle der Blick auf den Trend der Errechnung von ROI-Zahlen bei Weiterbildungsmaßnahmen zu werfen. Die Untersuchung des Modells ergab deutlich, dass es einen sehr hohen Aufwand erfordert, den monetären Nutzen einer Weiterbildungsmaßnahme zu ermitteln.

Dieser Aufwand steht dann häufig in keiner Relation zum erwirtschafteten Nutzen. Ebenso wenig praktikabel erscheint momentan das Modell zur Ermittlung des VOI einer Weiterbildungsmaßnahme. Die Darstellung von Kellner verliert sich stark in der Bearbeitung von Fragebögen und Checklisten, die konkreten Anwendungsbereiche bleiben unklar.

61

Aus diesen Gründen scheint die Ergänzung der Lernerorientierten Qualitätstestierung in der Weiterbildung (LQW) mit dem vierstufigen Bildungscontrolling-Modell von Kirkpatrick momentan die optimale Kombination der Ermittlung des Weiterbildungserfolges darzustellen. Wenn die Personalentwicklung eines Unternehmens eine kontinuierliche Kontrolle der Weiterbildungsqualität, eine handhabbare Kostenkontrolle und gleichzeitig eine kontinuierliche Weiterentwicklung der eigenen Organisation anstrebt, so sollte sie die Kombination dieser beiden Modelle wagen.

62

5. Literaturverzeichnis

Arnold, Rolf (1994): Qualitätssicherung in der Weiterbildung; in: GdWZ 5, S. 6-10.

Arnold, Rolf: Qualität durch Professionalität - zur Durchmischung von Utilität und Zweckfreiheit in der Qualität betrieblicher Weiterbildung; in: Arnold, Rolf (Hrsg.)(1997): Qualitätssicherung in der Erwachsenenbildung. Opladen, S. 51 - 61.

Bosche, Brigitte; Veltjens, Barbara (2006): Qualitätstestierung in der Weiterbildung. Zusammenfassende Darstellung des BLK-Verbundprojekts, erste Durchführungsphase Mai 2003 bis August 2005. URL: http://www.diebonn.de/ esprid/dokumente/doc-2006/bosche06_01.pdf (Stand 2006-12-28).

Buchhester, Stephan: Der Einfluss von individuellen und organisatorischen Faktoren auf den wahrgenommenen Weiterbildungserfolg; in: Gust, Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungscontrolling für exzellente Personalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspraxis. Wien, S. 105 - 119.

Büser, Tobias; Gülpen, Barbara: 300.000 Euro Rendite durch ein dreitägiges Training?; in: Gust, Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungscontrolling für exzellente Personalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspraxis. Wien, S. 235 - 244.

Fürstenberg, Conrad von (2004): Qualitätsmanagement in der Weiterbildung. DIN EN ISO 9001:2000. LQW, Gütesiegel-Modelle und TQM mit einem EFQM-Praxisbeispiel. Heidelberg. (hiba Weiterbildung Bd. 20).

Gessler, Michael (2005): Gestaltungsorientierte Evaluation und der Return on Investment von Weiterbildungsprogrammen. URL: http://www.b -wpat.de/ausgabe9/gessler_bwpat9.pdf (Stand 2006-12-20).

Gust, Mario: Resultatsorientiertes Bildungscontrolling und Werkzeuge eines strategischen Wissensmanagement; in: Gust, Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungscontrolling für exzellente Personalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspraxis. Wien, S. 51 - 69.

Hartz, Stefanie; Meisel, Klaus (2006): Qualitätsmanagement. Studientexte für Erwachsenenbildung. 2. Auflage, Bielefeld.

Heinold-Krug, Eva; Griep, Monika; Klenk, Wolfgang (o.J.): EFQM. Version Erwachsenenbildung/Weiterbildung. Frankfurt.

Hummel, Thomas R. (1999): Erfolgreiches Bildungscontrolling. Praxis und

63

Perspektiven. Heidelberg.

Kaminske, Gerd F.; Brauer, Jörg-Peter (2003): Qualitätsmanagement von A bis Z. Erläuterungen moderner Begriffe des Qualitätsmanagements. 4. Auflage, München, Wien.

Kellner, Herbert J.: Bildungscontrolling auf Messersschneide; in: Gust, Mario; Weiß, Reinhold (2006a): Praxishandbuch Bildungscontrolling für exzellente Personalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspraxis. Wien, S. 85 - 92.

Kellner, Herbert J.(2006b): Value of Investment. Neue Evaluierungsmethoden für Personalentwicklung und Bildungscontrolling. Offenbach.

Kirkpatrick, Donald L.; Kirkpatrick, James D. (2006): Evaluating Training Programs. The four levels. 3. Auflage, San Francisco.

Orru, Andreas; Pfitzinger, Elmar (2005): AQW - das Qualitätsmodell für Bildungsträger. DIN Deutsches Institut für Normung. Berlin.

Phillips, Jack J.; Schirmer, Frank C. (2005): Return on Investment in der Personalenwicklung. Der 5-Stufen-Evaluationsprozess. Berlin, Heidelberg.

van Buer, Jürgen: Prozesscontrolling; in: Seeber, Susan; Krekel, Elisabeth M.; van Buer, Jürgen (Hrsg.) (2000): Bildungscontrolling. Ansätze und kritische Diskussionen zur Effizienzsteigerung von Bildungsarbeit. Frankfurt/Main, Bern, Brüssel, New York, Oxford, Berlin, S. 87 - 116.

Weiß, Reinhold: Bildungscontrolling: Wunderwaffe oder Damoklesschwert?; in: Schwuchow, Karlheinz; Gutmann, Joachim (Hrsg.) (2005): Jahrbuch Personalentwicklung 2006. Ausbildung, Weiterbildung, Management Development. Neuwied, S. 267 - 276.

Weiß, Reinhold: Bildungscontrolling: Messung des Messbaren; in : Gust, Mario; Weiß, Reinhold (2006): Praxishandbuch Bildungscontrolling für exzellente Personalarbeit. Konzepte- Methoden- Instrumente-Unternehmenspraxis. Wien; S. 29-49.

Wunderer, Rolf; Gerig, Valentin; Hauser, Rainer (Hrsg.) (1997): Qualitäts-orientiertes Personalmanagement. Das europäische Qualitätsmodell als unternehmerische Herausforderung. München, Wien.

Zech, Rainer (2006a): Handbuch Lernerorientierte Qualitätstestierung in der Weiterbildung (LQW). Grundlegung - Anwendung - Wirkung. Bielefeld.

Zech, Rainer (2006b): Lernerorientierte Qualitätstestierung in der Weiterbildung. Leitfaden für die Praxis. Modellversion 3. Hannover.

64

Zink, Klaus J. (2004): TQM als integratives Managementkonzept. Das EFQM Excellence Modell und seine Umsetzung. 2. Auflage, München, Wien.

65

Datum Unterschrift