Leseprobe
Inhaltsverzeichnis
Abkürzungsverzeichnis
Abbildungsverzeichnis
Tabellenverzeichnis
1 Einleitung
2 Theoretische Grundlagen der Evaluation
2.1 Definition der Evaluationsforschung
2.2 Sozialwissenschaftliche Programmevaluation
2.3 Gegenstände der Evaluation
2.4 Evaluationskriterien
2.5 Ergebnisorientierte Evaluation
2.5.1 Wirksamkeitsorientierte Evaluation
2.5.2 Effizienzorientierte Evaluation
2.6 Stakeholder-Perspektive
2.7 Evaluationsstrategien
2.8 Evaluationsmodell
2.8.1 Kirkpatricks Evaluationsmodell
2.8.2 Weiterentwicklung des Kirkpatrick-Modells
3 Evaluationskonzept «Gesunde Führung»
3.1 Ausgangslage
3.1.1 Kurzbeschreibung
3.1.2 Wirkungsmodell
3.1.3 Evaluationsmodell
3.1.4 Evaluationszweck
3.2 Fokus der Evaluation
3.2.1 Evaluationsgegenstand
3.2.2 Evaluationsfrage
3.3 Planung und Methodik
3.3.1 Stichprobenplan der Evaluation
3.3.2 Evaluationsform
3.3.3 Untersuchungsdesign
3.4 Datenerhebungsmethode und Messinstrument
3.5 Wirksamkeitsorientierte Datenauswertung
4 Effizienzorientierte Evaluation “Gesunde Führung”
5 Zusammenfassung
Literaturverzeichnis
Abkürzungsverzeichnis
MEI Massnahmen-Erfolgs-Inventar
ROI Return on Investment
TPB Theory of Planned Behavior
Abbildungsverzeichnis
Abbildung 1: Gegenstände von Evaluation (eigene Darstellung in Anlehnung an Stufflebeam et al., 1971; Windham, 1988)
Abbildung 2: Theorie des geplanten Verhaltens nach Ajzen (eigene Darstellung nach Ajzen, 1971, 2005, 2012; Mayerl, 2008)
Abbildung 3: Untersuchungsplan (eigene Aufstellung)
Tabellenverzeichnis
Tabelle 1: Die fünf Evaluationsstufen (eigene Darstellung in Anlehnung an Kauffeld, 2016; Kirkpatrick, 1959; Kirkpatrick & Kirkpatrick, 2006; Phillips & Schirmer, 2008)
Tabelle 2: Evaluationsstufen zwei, drei und fünf (eigene Darstellung in Anlehnung an Kauffeld, 2016; Kirkpatrick, 1959; Kirkpatrick & Kirkpatrick, 2006; Phillips & Schirmer, 2008)
1 Einleitung
In vielen Unternehmen hat lebenslanges Lernen einen hohen Stellenwert und Weiterbildungsmassnahmen gehören seit langem zum Standard, weil Weiterbildung mit Wettbewerbsfähigkeit, Innovation und Wachstum in Zusammenhang gebracht wird (Kauffeld, 2016). Im Jahr 2016 wurden laut der neunten IW-Weiterbildungserhebung des Institutes der deutschen Wirtschaft Köln in deutschen Unternehmen 33.5 Milliarden Euro in Weiterbildung investiert (Seyda & Placke, 2017). Gleichzeitig stellen sich aber auch Fragen über Effekte von Weiterbildung (Nerdinger et al., 2019): Wie wirksam ist das Weiterbildungsprogramm (Wirkungsanalyse)? Wie rechtfertigt der tatsächliche Nutzen die aufgewendeten Investitionen (Kosten-Nutzen-Analyse)?
In der vorliegenden Arbeit soll für das Führungskräfteprogramm «Gesunde Führung» ein Evaluationskonzept entwickelt werden. Gesunde Führung ist ein wichtiger Bestandteil des betrieblichen Gesundheitsmanagements (Häfner et al., 2019). Dabei wird gesunde Führung in Verbindung gebracht mit Haltungen bzw. Einstellungen und Verhalten, d.h., dass Führungsverhalten sich aus den dahinterliegenden Einstellungen ergibt. Welche Einstellungen haben Führungskräfte beispielsweise zu Fairness oder Partizipation? Wie geht ein Vorgesetzter an seine Mitarbeitenden heran? Kann er als Vorbild im Sinne des Erhalts der eigenen Gesundheit handeln? Das heisst also, dass gesunde Führung mit gesunder Selbstfürsorge beginnt.
Beim Evaluationskonzept wird das Augenmerk auf einen validen Nachweis zur Effektivität und Effizienz des Programms gelegt. Die Programmevaluation stützt sich auf das erweiterte Vier-Ebenen-Modell von Kirkpatrick (1959) und die Theorie des geplanten Verhaltens nach Ajzen (1971, 2005, 2012).
Die Arbeit ist zunächst in drei Hauptabschnitte unterteilt: Im Abschnitt 2 geht es um die Darstellung der zentralen theoretischen Grundlagen der Evaluationsforschung bzw. Programmevaluation, in dem auf Besonderheiten dieses Forschungsfeldes eingegangen wird sowie Evaluationsstrategien und Methoden der ergebnisorientieren Evaluation für die Wirksamkeits- und Effizienzprüfung erläutert werden. Im konzeptionellen Teil der Arbeit (Abschnitt 3) wird das Evaluationskonzept vorgestellt, in dem Überlegungen zum Wirkungsmodell, einem adäquaten Evaluationsdesign, zur Datenerhebungsmethode, zum Messinstrument sowie zur Datenauswertung der Wirksamkeit vorgenommen wird. Die effizienzorientierte Analyse des Programms wird im Abschnitt 4 mit dem Return on Investment (ROI-Koeffizienten) vorgenommen. Der ROI stellt eine betriebswirtschaftliche Kennzahl dar, die Aufschluss über die Rentabilität der (Programm-)Investition geben soll. Schliesslich wird im Abschnitt 5 eine Zusammenfassung der Arbeit vorgenommen.
2 Theoretische Grundlagen der Evaluation
2.1 Definition der Evaluationsforschung
Da es zahlreiche Definitionen zur Evaluationsforschung gibt, wird hier auf den Vorschlag von Döring und Bortz (2016) Bezug genommen, weil ihre Definition wichtige Elemente der Evaluation nennt:
Die Evaluationsforschung bzw. wissenschaftliche Evaluation nutzt sozialwissenschaftliche Methoden, um einen Evaluationsgegenstand (Intervention oder Programm wie z.B. ein Führungskräfteprogramm) unter Berücksichtigung aller relevanten Anspruchsgruppen bzw. Stakeholdern (z.B. Kursteilnehmer, Auftraggeber der Evaluation) anhand bestimmter Evaluationskriterien (z.B. Akzeptanz, Wirksamkeit, Effizienz, Nachhaltigkeit) zu bewerten. Die durch den Evaluationsprozess erlangte Bewertung soll in der Praxis verschiedene Evaluationsfunktionen bzw. Evaluationszwecke erfüllen (z.B. Optimierungs- oder Lernfunktion). Die Evaluationsergebnisse sollen in der Praxis genutzt werden (Evaluationsnutzung), d.h., die Ergebnisse sollten zu sachgerechten Entscheidungen (z.B. Weiterführen einer Massnahme oder nicht) und sinnvollen Veränderungen (z.B. Verbesserung einer Massnahme) führen. Evaluationsforschung unterliegt den üblichen Prinzipien der Wissenschaftlichkeit sowie der Wissenschafts- und Forschungsethik. Gute Evaluationsstudien müssen zusätzlich den Evaluationsstandards als Gütestandards (Nützlichkeit, Durchführbarkeit, Fairness, Genauigkeit) genügen. In der Evaluationsforschung werden über Sach- und Methodenkompetenzen hinaus besondere Anforderungen an die Qualifikation der Evaluierenden gestellt wie z.B. soziale und personale Kompetenzen.
2.2 Sozialwissenschaftliche Programmevaluation
Da die Evaluation von Massnahmen, Interventionen bzw. Programmen in der Praxis sehr wesentlich ist, wird in der sozialwissenschaftlichen Evaluationsforschung auch von Programmevaluation gesprochen (Wolf, 2017). Programmevaluation umfasst die Bewertung eines Bündels von Massnahmen (Programmen), das auf bestimmten Bedingungen basierend und einem Konzept folgend aus einer Abfolge von Interventionen besteht, welche i.d.R. auf eine bestimmte Zielgruppe gerichtet sind (Döring & Bortz, 2016). Kriterien für die Erfolgsbeurteilung sind Effektivität (Grad der Zielerreichung), Effizienz (ressourcenschonender Einsatz von Mitteln) sowie Akzeptanz bei den Stakeholdern, d.h. der mittelbaren und unmittelbaren Programmbeteiligten (Wolf, 2017).
Zusammenfassend kann also festgehalten werden, dass es sich bei Evaluationsforschung um eine explizite Anwendung wissenschaftlicher Methoden handelt, die den möglichst kausalen Nachweis der Wirksamkeit und Effizienz einer Intervention einbringen soll (Wittmann et al., 2002). Programmevaluationen sind angewandte Forschungsarbeiten, die Kosten-Effektivitäts- und Kosten-Nutzen-Analysen von Interventionen bzw. Programmen zum Ziel haben (Wittmann et al., 2002).
Vor allem in der angloamerikanischen Fachliteratur werden die Begriffe Evaluation und Programmevaluation zum Teil mehr oder weniger synonym verwendet (von Werthern, 2020). Analog dazu soll in dieser Hausarbeit verfahren werden.
2.3 Gegenstände der Evaluation
Bei der Frage nach den wesentlichen Gegenständen von Evaluation hat sich ein allgemeiner Konsens bezüglich der Einteilung von Stufflebeam et al. (1971) gebildet, die von Windham (1988) weiter ausdifferenziert wurde (siehe Abbildung 1):
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 1: Gegenstände von Evaluation (eigene Darstellung in Anlehnung an Stufflebeam et al., 1971; Windham, 1988)
Bei der Beschreibung der folgenden Komponenten wird an Döring und Bortz (2016) angelehnt: Zum Kontext eines Programms zählen beispielsweise kulturelle, soziale und ökonomische Rahmenbedingungen, das politische Klima oder die Kultur einer Institution. Der Input beinhaltet z.B. materielle oder finanzielle Ressourcen, Eingangsqualifikationen der Programmteilnehmer, Kompetenzen der Lehrkräfte etc. Zum Prozess eines Programms werden didaktische Medien, Methoden oder Arbeitsformen, Kommunikationsstrukturen etc. gezählt. Als Output (bzw. Leistungsergebnis) gelten i.d.R. «zählbare», d.h. in Zahlen quantifizierte Dienstleistungen oder Produkte, die durch das evaluierte Programm hervorgebracht wurden (z.B. Anzahl von Reklamationsbearbeitungen). Der Outcome hingegen umfasst sämtliche Wirkungen (meist bei der Zielgruppe wie z.B. der Programmteilnehmer), die durch den Output ausgelöst werden.
2.4 Evaluationskriterien
Das Ziel der Evaluation ist die wissenschaftlich fundierte Bewertung des Evaluationsgegenstandes, wozu klare und messbare Bewertungskriterien definiert, entsprechende Daten erhoben und interpretiert werden (Döring & Bortz, 2016).
Nachdem das betreffende Programm durchgeführt wurde, sollen dann im Rahmen einer Ergebnisevaluation ihre unmittelbaren Leistungen/Ergebnisse (Output) sowie ihre kurzfristigen (Outcome) und langfristigen (Impact) Wirkungen bewertet werden (Döring & Bortz, 2016).
Die Kriterien zur Bewertung der Ergebnisse eines Programms sind Effektivität (Wirksamkeit), Effizienz (Kosten-Nutzen-Relation), Zufriedenheit, Akzeptanz, Sicherheit, Nützlichkeit, Nachhaltigkeit etc. (Döring & Bortz, 2016).
Bei der ergebnisorientierten Evaluation wird sehr häufig die Wirksamkeit bzw. Effektivität betrachtet und gilt als Kriterium dafür, ob und in welchem Ausmass das zu evaluierende Programm in der Lage ist, den gewünschten Effekt in der Praxis kausal zu verursachen wie z.B. Lernfortschritt oder Umsatzsteigerung (Döring & Bortz, 2016). Mit dem Kriterium Effizienz wird ergänzend betrachtet, in welcher Relation Kosten und Nutzen des Programms stehen (Döring & Bortz, 2016).
Sowohl Wirksamkeit als auch Effizienz eines Schulungsprogramms lassen sich im Hinblick auf Output (z.B. zählbare Dienstleistungen oder Produkte, die vom Programm hervorgebracht wurde) sowie Outcome (sämtliche Wirkungen, die durch den Output ausgelöst werden) untersuchen (Döring & Bortz, 2016). Definitionsgemäss ist der Output i.d.R. viel besser/einfacher messbar als der Outcome (Döring & Bortz, 2016).
2.5 Ergebnisorientierte Evaluation
Der ergebnisorientierte Evaluationsansatz hat i.d.R. zwei Merkmale des zu evaluierenden Programms im Fokus, (Döring & Bortz, 2016): ihre Wirksamkeit (Effektivität; z.B. «Erreicht das Programm ihr Ziel?») sowie Kosten-Nutzen-Abwägungen (Effizienz; z.B. «Wird das Ziel zu möglichst niedrigen Kosten erreicht?»). Diese beiden kriteriumsbezogenen Ansätze sollen im Folgenden kurz erläutert werden.
2.5.1 Wirksamkeitsorientierte Evaluation
Mit der Wirksamkeit bzw. Effektivität ist gemeint, ob und in welchem Ausmass ein Programm Ergebnisse (Output) und damit die angestrebten Ziele bzw. Wirkungen (Outcome) erreicht (Döring & Bortz, 2016).
Gemäss Gollwitzer und Jäger (2014) wird bei der wirksamkeitsorientieren Evaluation die praktische Wirksamkeit/Effektivität als Kriterium dafür betrachtet, ob und in welchem Ausmass die evaluierte Intervention in der Lage ist, den gewünschten Effekt unter Realbedingungen im Feld kausal zu verursachen (z.B. Lernfortschritt, Wohlbefinden, Umsatzsteigerung). Die Massnahme (unabhängige Variable) und die Erfassung ihrer Wirkung bzw. Evaluationskriterien (abhängige Variable) sollen also genügend aufeinander abgestimmt werden (Döring & Bortz, 2016).
Mit der Wirksamkeitsprüfung von (Schulungs-)Programmen werden folgende Hauptziele verfolgt (Gollwitzer & Jäger, 2014):
- Die erlernten Fähigkeiten der Programmteilnehmer sollen auch nach Abschluss der Massnahme noch verfügbar bleiben (Persistenz).
- Die im Programm erworbenen Fähigkeiten sollen sich im Verhalten auch in Kontexten ausserhalb der Massnahmen und in anderen Situationen auswirken (Transfer).
2.5.2 Effizienzorientierte Evaluation
Wenn sich die Wirksamkeit eines Programms kausal nachweisen lässt, ist oft noch ergänzend die Frage nach der Effizienz relevant (Döring & Bortz, 2016). Wenn z.B. eine neue Schulungstechnik die Deutschleistungen durchschnittlich um eine Note verbessert, ist dies ein Beleg hoher Effektivität (Wirksamkeit) dieser Massnahme. Aber ist diese Massnahme auch effizient, d.h. steht der Aufwand in tragbarem Verhältnis zum Ergebnis? Bei der effizienzorientierten Evaluation werden also ökonomische Aspekte wie Kosten und Nutzen der Massnahme in Beziehung gesetzt (Kosten-Nutzen-Analyse; z.B. Return on Investment/ROI). Um die Frage der Effizienz beantworten zu können, muss man den materiellen sowie ideellen Wert eines Effekts beziffern können, d.h., wie viel der Unterschied um eine Einheit der Schulnotenskala wert ist (Döring & Bortz, 2016).
2.6 Stakeholder-Perspektive
Da die Evaluation oft als Entscheidungsgrundlage dient und weitreichende praktische Konsequenzen haben kann, ist es wichtig, die unterschiedlichen Sichtweisen der Stakeholder (bzw. Anspruchsgruppen) zu berücksichtigen (Döring & Bortz, 2016). Im Rahmen der Evaluationsstandards (Nützlichkeit, Durchführbarkeit, Fairness, Genauigkeit) sollen, je nach Evaluationsfrage, die relevanten Stakeholder identifiziert und ihre Anliegen angemessen in den Evaluationsprozess miteinbezogen werden (Döring & Bortz, 2016). Forschungsethisch ist auch zu beachten, dass Anspruchsgruppen durch die Evaluation nicht beeinträchtigt oder geschädigt werden (Döring & Bortz, 2016). Als besonders wichtige Stakeholder (bzw. Anspruchsgruppen) gelten nach Döring und Bortz (2016) die Auftraggebenden der Evaluation, alle an der Entwicklung, Umsetzung und Optimierung des Evaluationsgegenstandes Beteiligten (z.B. Programmentwickler, Massnahmenverantwortliche und -durchführende etc.) sowie alle direkt und indirekt Betroffenen (bzw. die Zielgruppe wie z.B. Teilnehmer und deren Angehörige) eines Programms.
2.7 Evaluationsstrategien
Die bekannteste Unterscheidung von Evaluationsstrategien, die auch für die Programmevaluation Relevanz besitzt, ist die der formativen und summativen Evaluation (Kromrey et al., 2016; Scriven, 1967):
Im Rahmen einer formativen Evaluation wird eine Massnahme begleitend zur Durchführung bewertet. Damit fliessen Intervention und Evaluation gewissermassen zusammen und es ist erlaubt, durch Rückkoppelungsschleifen Anpassungen im laufenden Prozess vorzunehmen. Die formative Evaluation erfüllt v.a. eine Optimierungsfunktion, d.h., dass es darum geht, die Massnahme zu verbessern (Döring & Bortz, 2016). Damit die Optimierungsfunktion erfüllt werden kann, muss das Evaluationsteam konkrete und umsetzbare Verbesserungsvorschläge erarbeiten und diese fortlaufend oder am Ende zusammengefasst an die Massnahmenverantwortlichen rückmelden (Döring & Bortz, 2016). Im Kontext der formativen Evaluation spielen qualitative Methoden eine wichtige Rolle (Döring & Bortz, 2016): Beispielsweise werden leitfadengestützte (vorab strukturierte und zugleich offene) Interviews angewandt, in denen einzelne Programmteilnehmer Vor- und Nachteile der Massnahme detailliert beschreiben und konkrete Änderungswünsche formulieren können.
In der summativen bzw. bilanzierenden Evaluation werden hingegen keine Eingriffe in laufende Prozesse vorgenommen (Gollwitzer & Jäger, 2014): Die Wirksamkeit und der Erfolg einer Massnahme werden ausschliesslich im Anschluss an die Durchführungsphase bewertet. Die summative Evaluation hat v.a. eine Kontroll- und Legitimationsfunktion (Döring & Bortz, 2016): Sowohl die Durchführung als auch die Ergebnisse der Evaluation sollen dazu beitragen, das Programm zu kontrollieren und zu legitimieren. Die Ergebnisse sollen auch als Entscheidungsgrundlage dienen und Aussagen zur Eignung der Massnahme ermöglichen sowie Ansatzpunkte zur Weiterentwicklung (Optimierungsfunktion) liefern (Gollwitzer & Jäger, 2014). Im Kontext der summativen Evaluation spielen quantitative Methoden eine wichtige Rolle (Döring & Bortz, 2016): Beispielsweise soll eine möglichst repräsentative Stichprobe der Programmteilnehmer ihre Zufriedenheit mit der Massnahme auf einer Notenskala angeben.
[...]