Evaluationskonzept für das Führungskräfte-Entwicklungsprogramm "Gesunde Führung" und Return on Investment (ROI)


Hausarbeit, 2021

33 Seiten, Note: 1.7


Leseprobe

Inhaltsverzeichnis

Abkürzungsverzeichnis

Abbildungsverzeichnis

Tabellenverzeichnis

1 Einleitung

2 Theoretische Grundlagen der Evaluation
2.1 Definition der Evaluationsforschung
2.2 Sozialwissenschaftliche Programmevaluation
2.3 Gegenstände der Evaluation
2.4 Evaluationskriterien
2.5 Ergebnisorientierte Evaluation
2.5.1 Wirksamkeitsorientierte Evaluation
2.5.2 Effizienzorientierte Evaluation
2.6 Stakeholder-Perspektive
2.7 Evaluationsstrategien
2.8 Evaluationsmodell
2.8.1 Kirkpatricks Evaluationsmodell
2.8.2 Weiterentwicklung des Kirkpatrick-Modells

3 Evaluationskonzept «Gesunde Führung»
3.1 Ausgangslage
3.1.1 Kurzbeschreibung
3.1.2 Wirkungsmodell
3.1.3 Evaluationsmodell
3.1.4 Evaluationszweck
3.2 Fokus der Evaluation
3.2.1 Evaluationsgegenstand
3.2.2 Evaluationsfrage
3.3 Planung und Methodik
3.3.1 Stichprobenplan der Evaluation
3.3.2 Evaluationsform
3.3.3 Untersuchungsdesign
3.4 Datenerhebungsmethode und Messinstrument
3.5 Wirksamkeitsorientierte Datenauswertung

4 Effizienzorientierte Evaluation “Gesunde Führung”

5 Zusammenfassung

Literaturverzeichnis

Abkürzungsverzeichnis

MEI Massnahmen-Erfolgs-Inventar

ROI Return on Investment

TPB Theory of Planned Behavior

Abbildungsverzeichnis

Abbildung 1: Gegenstände von Evaluation (eigene Darstellung in Anlehnung an Stufflebeam et al., 1971; Windham, 1988)

Abbildung 2: Theorie des geplanten Verhaltens nach Ajzen (eigene Darstellung nach Ajzen, 1971, 2005, 2012; Mayerl, 2008)

Abbildung 3: Untersuchungsplan (eigene Aufstellung)

Tabellenverzeichnis

Tabelle 1: Die fünf Evaluationsstufen (eigene Darstellung in Anlehnung an Kauffeld, 2016; Kirkpatrick, 1959; Kirkpatrick & Kirkpatrick, 2006; Phillips & Schirmer, 2008)

Tabelle 2: Evaluationsstufen zwei, drei und fünf (eigene Darstellung in Anlehnung an Kauffeld, 2016; Kirkpatrick, 1959; Kirkpatrick & Kirkpatrick, 2006; Phillips & Schirmer, 2008)

1 Einleitung

In vielen Unternehmen hat lebenslanges Lernen einen hohen Stellenwert und Weiter­bildungsmassnahmen gehören seit langem zum Standard, weil Weiterbildung mit Wett­bewerbsfähigkeit, Innovation und Wachstum in Zusammenhang gebracht wird (Kauffeld, 2016). Im Jahr 2016 wurden laut der neunten IW-Weiterbildungserhebung des Institutes der deutschen Wirtschaft Köln in deutschen Unternehmen 33.5 Milliarden Euro in Weiterbildung investiert (Seyda & Placke, 2017). Gleichzeitig stellen sich aber auch Fragen über Effekte von Weiterbildung (Nerdinger et al., 2019): Wie wirksam ist das Weiterbildungsprogramm (Wirkungsanalyse)? Wie rechtfertigt der tatsächliche Nutzen die aufgewendeten Investitionen (Kosten-Nutzen-Analyse)?

In der vorliegenden Arbeit soll für das Führungskräfteprogramm «Gesunde Führung» ein Evaluationskonzept entwickelt werden. Gesunde Führung ist ein wichtiger Bestandteil des betrieblichen Gesundheitsmanagements (Häfner et al., 2019). Dabei wird gesunde Führung in Verbindung gebracht mit Haltungen bzw. Einstellungen und Verhalten, d.h., dass Führungsverhalten sich aus den dahinterliegenden Einstellungen ergibt. Welche Einstellungen haben Führungskräfte beispielsweise zu Fairness oder Partizipation? Wie geht ein Vorgesetzter an seine Mitarbeitenden heran? Kann er als Vorbild im Sinne des Erhalts der eigenen Gesundheit handeln? Das heisst also, dass gesunde Führung mit gesunder Selbstfürsorge beginnt.

Beim Evaluationskonzept wird das Augenmerk auf einen validen Nachweis zur Effektivität und Effizienz des Programms gelegt. Die Programmevaluation stützt sich auf das erweiterte Vier-Ebenen-Modell von Kirkpatrick (1959) und die Theorie des geplanten Verhaltens nach Ajzen (1971, 2005, 2012).

Die Arbeit ist zunächst in drei Hauptabschnitte unterteilt: Im Abschnitt 2 geht es um die Darstellung der zentralen theoretischen Grundlagen der Evaluationsforschung bzw. Programmevaluation, in dem auf Besonderheiten dieses Forschungsfeldes eingegang­en wird sowie Evaluationsstrategien und Methoden der ergebnisorientieren Evaluation für die Wirksamkeits- und Effizienzprüfung erläutert werden. Im konzeptionellen Teil der Arbeit (Abschnitt 3) wird das Evaluationskonzept vorgestellt, in dem Überlegungen zum Wirkungsmodell, einem adäquaten Evaluationsdesign, zur Datenerhebungsmethode, zum Messinstrument sowie zur Datenauswertung der Wirksamkeit vorgenommen wird. Die effizienzorientierte Analyse des Programms wird im Abschnitt 4 mit dem Return on Investment (ROI-Koeffizienten) vorgenommen. Der ROI stellt eine betriebswirtschaft­liche Kennzahl dar, die Aufschluss über die Rentabilität der (Programm-)Investition geben soll. Schliesslich wird im Abschnitt 5 eine Zusammenfassung der Arbeit vorgenommen.

2 Theoretische Grundlagen der Evaluation

2.1 Definition der Evaluationsforschung

Da es zahlreiche Definitionen zur Evaluationsforschung gibt, wird hier auf den Vorschlag von Döring und Bortz (2016) Bezug genommen, weil ihre Definition wichtige Elemente der Evaluation nennt:

Die Evaluationsforschung bzw. wissenschaftliche Evaluation nutzt sozialwissenschaftli­che Methoden, um einen Evaluationsgegenstand (Intervention oder Programm wie z.B. ein Führungskräfteprogramm) unter Berücksichtigung aller relevanten Anspruchs­gruppen bzw. Stakeholdern (z.B. Kursteilnehmer, Auftraggeber der Evaluation) anhand bestimmter Evaluationskriterien (z.B. Akzeptanz, Wirksamkeit, Effizienz, Nachhaltigkeit) zu bewerten. Die durch den Evaluationsprozess erlangte Bewertung soll in der Praxis verschiedene Evaluationsfunktionen bzw. Evaluationszwecke erfüllen (z.B. Optimie­rungs- oder Lernfunktion). Die Evaluationsergebnisse sollen in der Praxis genutzt werden (Evaluationsnutzung), d.h., die Ergebnisse sollten zu sachgerechten Entschei­dungen (z.B. Weiterführen einer Massnahme oder nicht) und sinnvollen Veränderungen (z.B. Verbesserung einer Massnahme) führen. Evaluationsforschung unterliegt den übli­chen Prinzipien der Wissenschaftlichkeit sowie der Wissenschafts- und Forschungs­ethik. Gute Evaluationsstudien müssen zusätzlich den Evaluationsstandards als Güte­standards (Nützlichkeit, Durchführbarkeit, Fairness, Genauigkeit) genügen. In der Evalu­ationsforschung werden über Sach- und Methodenkompetenzen hinaus besondere An­forderungen an die Qualifikation der Evaluierenden gestellt wie z.B. soziale und persona­le Kompetenzen.

2.2 Sozialwissenschaftliche Programmevaluation

Da die Evaluation von Massnahmen, Interventionen bzw. Programmen in der Praxis sehr wesentlich ist, wird in der sozialwissenschaftlichen Evaluationsforschung auch von Programmevaluation gesprochen (Wolf, 2017). Programmevaluation umfasst die Bewer­tung eines Bündels von Massnahmen (Programmen), das auf bestimmten Bedingungen basierend und einem Konzept folgend aus einer Abfolge von Interventionen besteht, welche i.d.R. auf eine bestimmte Zielgruppe gerichtet sind (Döring & Bortz, 2016). Kriterien für die Erfolgsbeurteilung sind Effektivität (Grad der Zielerreichung), Effizienz (ressourcenschonender Einsatz von Mitteln) sowie Akzeptanz bei den Stakeholdern, d.h. der mittelbaren und unmittelbaren Programmbeteiligten (Wolf, 2017).

Zusammenfassend kann also festgehalten werden, dass es sich bei Evaluationsfor­schung um eine explizite Anwendung wissenschaftlicher Methoden handelt, die den möglichst kausalen Nachweis der Wirksamkeit und Effizienz einer Intervention ein­bringen soll (Wittmann et al., 2002). Programmevaluationen sind angewandte For­schungsarbeiten, die Kosten-Effektivitäts- und Kosten-Nutzen-Analysen von Interven­tionen bzw. Programmen zum Ziel haben (Wittmann et al., 2002).

Vor allem in der angloamerikanischen Fachliteratur werden die Begriffe Evaluation und Programmevaluation zum Teil mehr oder weniger synonym verwendet (von Werthern, 2020). Analog dazu soll in dieser Hausarbeit verfahren werden.

2.3 Gegenstände der Evaluation

Bei der Frage nach den wesentlichen Gegenständen von Evaluation hat sich ein allgemeiner Konsens bezüglich der Einteilung von Stufflebeam et al. (1971) gebildet, die von Windham (1988) weiter ausdifferenziert wurde (siehe Abbildung 1):

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Gegenstände von Evaluation (eigene Darstellung in Anlehnung an Stufflebeam et al., 1971; Windham, 1988)

Bei der Beschreibung der folgenden Komponenten wird an Döring und Bortz (2016) angelehnt: Zum Kontext eines Programms zählen beispielsweise kulturelle, soziale und ökonomische Rahmenbedingungen, das politische Klima oder die Kultur einer Institution. Der Input beinhaltet z.B. materielle oder finanzielle Ressourcen, Eingangsqualifikationen der Programmteilnehmer, Kompetenzen der Lehrkräfte etc. Zum Prozess eines Prog­ramms werden didaktische Medien, Methoden oder Arbeitsformen, Kommunikations­strukturen etc. gezählt. Als Output (bzw. Leistungsergebnis) gelten i.d.R. «zählbare», d.h. in Zahlen quantifizierte Dienstleistungen oder Produkte, die durch das evaluierte Programm hervorgebracht wurden (z.B. Anzahl von Reklamationsbearbeitungen). Der Outcome hingegen umfasst sämtliche Wirkungen (meist bei der Zielgruppe wie z.B. der Programmteilnehmer), die durch den Output ausgelöst werden.

2.4 Evaluationskriterien

Das Ziel der Evaluation ist die wissenschaftlich fundierte Bewertung des Evaluationsge­genstandes, wozu klare und messbare Bewertungskriterien definiert, entsprechende Daten erhoben und interpretiert werden (Döring & Bortz, 2016).

Nachdem das betreffende Programm durchgeführt wurde, sollen dann im Rahmen einer Ergebnisevaluation ihre unmittelbaren Leistungen/Ergebnisse (Output) sowie ihre kurz­fristigen (Outcome) und langfristigen (Impact) Wirkungen bewertet werden (Döring & Bortz, 2016).

Die Kriterien zur Bewertung der Ergebnisse eines Programms sind Effektivität (Wirksam­keit), Effizienz (Kosten-Nutzen-Relation), Zufriedenheit, Akzeptanz, Sicherheit, Nützlich­keit, Nachhaltigkeit etc. (Döring & Bortz, 2016).

Bei der ergebnisorientierten Evaluation wird sehr häufig die Wirksamkeit bzw. Effektivität betrachtet und gilt als Kriterium dafür, ob und in welchem Ausmass das zu evaluierende Programm in der Lage ist, den gewünschten Effekt in der Praxis kausal zu verursachen wie z.B. Lernfortschritt oder Umsatzsteigerung (Döring & Bortz, 2016). Mit dem Kriterium Effizienz wird ergänzend betrachtet, in welcher Relation Kosten und Nutzen des Pro­gramms stehen (Döring & Bortz, 2016).

Sowohl Wirksamkeit als auch Effizienz eines Schulungsprogramms lassen sich im Hin­blick auf Output (z.B. zählbare Dienstleistungen oder Produkte, die vom Programm her­vorgebracht wurde) sowie Outcome (sämtliche Wirkungen, die durch den Output ausge­löst werden) untersuchen (Döring & Bortz, 2016). Definitionsgemäss ist der Output i.d.R. viel besser/einfacher messbar als der Outcome (Döring & Bortz, 2016).

2.5 Ergebnisorientierte Evaluation

Der ergebnisorientierte Evaluationsansatz hat i.d.R. zwei Merkmale des zu evaluieren­den Programms im Fokus, (Döring & Bortz, 2016): ihre Wirksamkeit (Effektivität; z.B. «Erreicht das Programm ihr Ziel?») sowie Kosten-Nutzen-Abwägungen (Effizienz; z.B. «Wird das Ziel zu möglichst niedrigen Kosten erreicht?»). Diese beiden kriteriumsbezo­genen Ansätze sollen im Folgenden kurz erläutert werden.

2.5.1 Wirksamkeitsorientierte Evaluation

Mit der Wirksamkeit bzw. Effektivität ist gemeint, ob und in welchem Ausmass ein Pro­gramm Ergebnisse (Output) und damit die angestrebten Ziele bzw. Wirkungen (Outcome) erreicht (Döring & Bortz, 2016).

Gemäss Gollwitzer und Jäger (2014) wird bei der wirksamkeitsorientieren Evaluation die praktische Wirksamkeit/Effektivität als Kriterium dafür betrachtet, ob und in welchem Ausmass die evaluierte Intervention in der Lage ist, den gewünschten Effekt unter Realbedingungen im Feld kausal zu verursachen (z.B. Lernfortschritt, Wohlbefinden, Umsatzsteigerung). Die Massnahme (unabhängige Variable) und die Erfassung ihrer Wirkung bzw. Evaluationskriterien (abhängige Variable) sollen also genügend aufein­ander abgestimmt werden (Döring & Bortz, 2016).

Mit der Wirksamkeitsprüfung von (Schulungs-)Programmen werden folgende Hauptziele verfolgt (Gollwitzer & Jäger, 2014):

- Die erlernten Fähigkeiten der Programmteilnehmer sollen auch nach Abschluss der Massnahme noch verfügbar bleiben (Persistenz).
- Die im Programm erworbenen Fähigkeiten sollen sich im Verhalten auch in Kontexten ausserhalb der Massnahmen und in anderen Situationen auswirken (Transfer).

2.5.2 Effizienzorientierte Evaluation

Wenn sich die Wirksamkeit eines Programms kausal nachweisen lässt, ist oft noch ergänzend die Frage nach der Effizienz relevant (Döring & Bortz, 2016). Wenn z.B. eine neue Schulungstechnik die Deutschleistungen durchschnittlich um eine Note verbessert, ist dies ein Beleg hoher Effektivität (Wirksamkeit) dieser Massnahme. Aber ist diese Massnahme auch effizient, d.h. steht der Aufwand in tragbarem Verhältnis zum Ergebnis? Bei der effizienzorientierten Evaluation werden also ökonomische Aspekte wie Kosten und Nutzen der Massnahme in Beziehung gesetzt (Kosten-Nutzen-Analyse; z.B. Return on Investment/ROI). Um die Frage der Effizienz beantworten zu können, muss man den materiellen sowie ideellen Wert eines Effekts beziffern können, d.h., wie viel der Unterschied um eine Einheit der Schulnotenskala wert ist (Döring & Bortz, 2016).

2.6 Stakeholder-Perspektive

Da die Evaluation oft als Entscheidungsgrundlage dient und weitreichende praktische Konsequenzen haben kann, ist es wichtig, die unterschiedlichen Sichtweisen der Stake­holder (bzw. Anspruchsgruppen) zu berücksichtigen (Döring & Bortz, 2016). Im Rahmen der Evaluationsstandards (Nützlichkeit, Durchführbarkeit, Fairness, Genauigkeit) sollen, je nach Evaluationsfrage, die relevanten Stakeholder identifiziert und ihre Anliegen an­gemessen in den Evaluationsprozess miteinbezogen werden (Döring & Bortz, 2016). Forschungsethisch ist auch zu beachten, dass Anspruchsgruppen durch die Evaluation nicht beeinträchtigt oder geschädigt werden (Döring & Bortz, 2016). Als besonders wichtige Stakeholder (bzw. Anspruchsgruppen) gelten nach Döring und Bortz (2016) die Auftraggebenden der Evaluation, alle an der Entwicklung, Umsetzung und Optimierung des Evaluationsgegenstandes Beteiligten (z.B. Programmentwickler, Massnahmenver­antwortliche und -durchführende etc.) sowie alle direkt und indirekt Betroffenen (bzw. die Zielgruppe wie z.B. Teilnehmer und deren Angehörige) eines Programms.

2.7 Evaluationsstrategien

Die bekannteste Unterscheidung von Evaluationsstrategien, die auch für die Programmevaluation Relevanz besitzt, ist die der formativen und summativen Evaluation (Kromrey et al., 2016; Scriven, 1967):

Im Rahmen einer formativen Evaluation wird eine Massnahme begleitend zur Durchfüh­rung bewertet. Damit fliessen Intervention und Evaluation gewissermassen zusammen und es ist erlaubt, durch Rückkoppelungsschleifen Anpassungen im laufenden Prozess vorzunehmen. Die formative Evaluation erfüllt v.a. eine Optimierungsfunktion, d.h., dass es darum geht, die Massnahme zu verbessern (Döring & Bortz, 2016). Damit die Opti­mierungsfunktion erfüllt werden kann, muss das Evaluationsteam konkrete und umsetz­bare Verbesserungsvorschläge erarbeiten und diese fortlaufend oder am Ende zusam­mengefasst an die Massnahmenverantwortlichen rückmelden (Döring & Bortz, 2016). Im Kontext der formativen Evaluation spielen qualitative Methoden eine wichtige Rolle (Döring & Bortz, 2016): Beispielsweise werden leitfadengestützte (vorab strukturierte und zugleich offene) Interviews angewandt, in denen einzelne Programmteilnehmer Vor- und Nachteile der Massnahme detailliert beschreiben und konkrete Änderungswünsche formulieren können.

In der summativen bzw. bilanzierenden Evaluation werden hingegen keine Eingriffe in laufende Prozesse vorgenommen (Gollwitzer & Jäger, 2014): Die Wirksamkeit und der Erfolg einer Massnahme werden ausschliesslich im Anschluss an die Durch­führungsphase bewertet. Die summative Evaluation hat v.a. eine Kontroll- und Legiti­mationsfunktion (Döring & Bortz, 2016): Sowohl die Durchführung als auch die Er­gebnisse der Evaluation sollen dazu beitragen, das Programm zu kontrollieren und zu legitimieren. Die Ergebnisse sollen auch als Entscheidungsgrundlage dienen und Aussagen zur Eignung der Massnahme ermöglichen sowie Ansatzpunkte zur Weiter­entwicklung (Optimierungsfunktion) liefern (Gollwitzer & Jäger, 2014). Im Kontext der summativen Evaluation spielen quantitative Methoden eine wichtige Rolle (Döring & Bortz, 2016): Beispielsweise soll eine möglichst repräsentative Stichprobe der Programmteilnehmer ihre Zufriedenheit mit der Massnahme auf einer Notenskala angeben.

[...]

Ende der Leseprobe aus 33 Seiten

Details

Titel
Evaluationskonzept für das Führungskräfte-Entwicklungsprogramm "Gesunde Führung" und Return on Investment (ROI)
Hochschule
SRH Fernhochschule
Note
1.7
Autor
Jahr
2021
Seiten
33
Katalognummer
V1289891
ISBN (Buch)
9783346750013
Sprache
Deutsch
Schlagworte
Evaluationskonzept, Führungskräfte-Entwicklungsprogramm, Gesunde Führung, Evaluationsforschung, Programmevaluation, Evaluationskriterien, Wirksamkeitsorientiere Evaluation, Effizienzorientierte Evaluation, Evaluationsstrategien, Evaluation und Stakeholder, Evaluationsmodell, Kirkpatricks Evaluationsmodell, Wirkungsmodell der Evaluation, Evaluationszweck, Evaluationsgegenstand, Evaluationsfrage, Stichprobenplan der Evaluation, Evaluationsform, Untersuchugnsdesign, Wirksamkeitsorientierte Datenauswertung, Return on Investment (ROI), ROI-Koeffizient, Rentabilität von Schulungsprogrammen, Betriebswirtschaftliche Betrachtung von Schulungsprogrammen
Arbeit zitieren
Sadiye Raabe (Autor:in), 2021, Evaluationskonzept für das Führungskräfte-Entwicklungsprogramm "Gesunde Führung" und Return on Investment (ROI), München, GRIN Verlag, https://www.grin.com/document/1289891

Kommentare

  • Noch keine Kommentare.
Im eBook lesen
Titel: Evaluationskonzept für das Führungskräfte-Entwicklungsprogramm "Gesunde Führung" und Return on Investment (ROI)



Ihre Arbeit hochladen

Ihre Hausarbeit / Abschlussarbeit:

- Publikation als eBook und Buch
- Hohes Honorar auf die Verkäufe
- Für Sie komplett kostenlos – mit ISBN
- Es dauert nur 5 Minuten
- Jede Arbeit findet Leser

Kostenlos Autor werden