Methoden der Evaluation und Effekte von Maßnahmen aktiver Arbeitsmarktpolitik in Deutschland

I Gliederung

1. Einleitung

2. Evaluation aktiver Arbeitsmarktpolitik in Deutschland
2.1. Rechtliche Grundlagen für die Evaluation nach dem SGB III
2.2. Die aktuellen Maßnahmen AAMP in Deutschland
2.3. Methoden der Evaluation arbeitsmarktpolitischer Maßnahmen (AMPM)
2.4. Effizienz und Effektivität im Kontext der Evaluation
2.5. Probleme bei der Evaluation AAMP
2.5.1. Grundlegende Evaluationsprobleme
2.5.2. Kriterien für die Erfolgsbeurteilung
2.5.3. Feststellung kausaler Zusammenhänge
2.5.4. Das Problem der Kontrafaktizität
2.5.5. Selektionsprobleme bei der Bildung von Kontroll- und Vergleichsgruppen
2.5.6 Substitution-Bias im Rahmen sozialer Experimente
2.5.7 Das Endogenitätsproblem bei Makroevaluationen
2.5.8 Geringe Datenbasis
2.6 Ansätze zur Lösung von Evaluationsproblemen
2.6.5 Lösung der Kausalitätsproblematik
2.6.6 Matching-Methoden zur Bildung von Vergleichsgruppen
2.6.7 Mikroökonimische Evaluation und Selektionsverzerrung
2.6.8 Makroökonomische Verfahren

3 Effekte aktiver Arbeitsmarktpolitik in Deutschland
3.5 Direkte Effekte auf die Maßnahmenteilnehmer
3.5.5 Effekte auf den Matching-Prozess
3.5.6 Effekte auf die Produktivität der Teilnehmer
3.5.7 Effekte auf den Lohnfindungsprozess im Arbeitsmarkt
3.5.8 Effekte auf das Arbeitsangebot
3.6 Indirekte Effekte aktiver Arbeitsmarktpolitik
3.6.5 Der Mitnahmeeffekte auf Angebotsseite
3.6.6 Der Substitutionseffekt
3.6.7 Verdrängungseffekte durch Wettbewerbsvorteile

4 Zusammenfassung und Fazit

Methoden der Evaluation und Effekte von Maßnahmen aktiver Arbeitsmarktpolitik in Deutschland

1. Einleitung

Die in Anbetracht immer noch steigender Arbeitslosenzahlen entworfenen und implementierten Maßnahmen aktiver Arbeitsmarktpolitik sollen im Rahmen dieser Arbeit auf die wissenschaftliche Evidenz ihrer Evaluation untersucht werden. Aktuelle Methoden der Evaluation werden vorgestellt und hinsichtlich ihrer methodischen Unterschiede in der Behandlung auftretender Hindernisse untersucht. Im weiteren Verlauf werden die Maßnahmen aktiver Arbeitsmarktpolitik hinsichtlich ihrer Nah- bzw. Fernwirkungen, die sich in bestimmten Effekten manifestieren, betrachtet. Es wird bewusst auf die Einbeziehung aktueller Veröffentlichungen von Studienergebnissen verzichtet. Vielmehr geht es darum, grundsätzliche Zusammenhänge zwischen Evaluationen und den Effekten von Maßnahmen aktiver Arbeitsmarktpolitik zu erörtern und zu diskutieren.

2. Evaluation aktiver Arbeitsmarktpolitik in Deutschland

2.1. Rechtliche Grundlagen für die Evaluation nach dem SGB III

Neben den Förderleistungen finden sich im SGB III die Vorschriften und Anforderungen an eine Evaluation der Förderprogramme. So ist nach § 11 SGB III jede Agentur für Arbeit zur Erstellung einer Eingliederungsbilanz über die jeweiligen Ermessensleistungen der aktiven Arbeitsförderung zum Ende eines Haushaltsjahres verpflichtet.^[1] Dabei müssen die Eingliederungsbilanzen vergleichbar sein und sollen „...Aufschluss über den Mitteleinsatz, die geförderten Personengruppen und die Wirksamkeit der Förderung geben.“

Weitergehende Anforderungen sind aus den §§ 280 und 282 SGB III ersichtlich. So muss die Bundesagentur für Arbeit nach § 280 „Arbeitsmarkt- und Berufsforschung“ betreiben. Die „Untersuchung der Wirkungen der Arbeitsförderung...“ ist nach § 282 Abs. 2 ein „Schwerpunkt der Arbeitsmarktforschung. Sie soll zeitnah erfolgen und ist ständige Aufgabe des Instituts für Arbeitsmarkt- und Berufsforschung.“ Nach § 282 Abs. 3 soll die Wirkungsforschung insbesondere umfassen, „...in welchem Ausmaß die Teilnahme an einer Maßnahme die Vermittlungsaussichten der Teilnehmer verbessert und ihre Beschäftigungsfähigkeit erhöht...“,

„...die vergleichende Ermittlung der Kosten von Maßnahmen in Relation zu ihrem Nutzen...“ einbezieht, und „die Messung von volkswirtschaftlichen Nettoeffekten beim Einsatz arbeitsmarktpolitischer Instrumente“ berücksichtig. Nach § 282 Abs.4 sollen zusätzlich „...die Wirkungen der Arbeitsförderung auf regionaler Ebene...“ untersucht werden.

Die Gesetzesformulierung macht deutlich, dass an die Berichterstattung wesentlich dezidiertere Anforderungen gestellt als dies bisher der Fall war. Galt in früheren Zeiten oft schon der bloße Mittelabfluss als ein Indikator für die Wirkung einer Intervention, so rücken heute – weit über Teilnehmerzahlen und Zielgruppenerreichung hinaus - zunehmend auch Fragen nach Wirkungsketten und -ursachen ins Blickfeld des Interesses.^[2]

2.2. Die aktuellen Maßnahmen AAMP in Deutschland

Im Rahmen der AAMP (aktive Arbeitsmarktpolitik) wird generell zwischen Maßnahmen, die auf den Arbeitsmarktausgleich gerichtet sind von Maßnahmen, die auf das Arbeitsplatz- und Arbeitskräfteangebot abzielen sowie Maßnahmen, die sich auf die Gestaltung der Arbeitsbedingungen beziehen, unterschieden.^[3] Zu den wichtigsten Maßnahmen, mit dem Ziel einer Wiedereingliederung von Arbeitslosen in reguläre Beschäftigung zu erreichen, gehören aktuell die Subventionierung von Beschäftigung durch Zuschüsse zu Lohnkosten (an Arbeitgeber und/oder Arbeitnehmer), die Unterstützung von Existenzgründungen, die Förderung von beruflicher Qualifizierung und die Beratung und Vermittlung von Stellensuchenden im Rahmen des Aktivierungsprinzips.3

2.3. Methoden der Evaluation arbeitsmarktpolitischer Maßnahmen (AMPM)

Man unterscheidet Evaluationen arbeitsmarktpolitischer Maßnahmen grundsätzlich in Mikroevaluationen auf Individualbasis und Wirkungsanalysen auf Makroebene, sogenannte Makroevaluationen. Während erstere die Wirkung von Maßnahmen auf die hiervon direkt Betroffenen (kausale Bruttoeffekte) abzuschätzen versuchen, untersuchen makroökonomische Studien die kausalen Nettoeffekte einer Maßnahme auf verschiedene Makroindikatoren wie Arbeitslosen- oder Beschäftigungsquote.^[4] Mikroökonomische Studien sind deshalb partialanalytisch und untersuchen nur die direkten Effekte auf die Teilnehmer, während Makroökonomische Studien sich den indirekten Effekten z.B. auf Nicht-Teilnehmer einer Maßnahme oder die gesamte Volkswirtschaft widmen.4

In der einschlägigen Literatur wird weiterhin zwischen der Entwicklung eines Programms, seiner Umsetzung und der Ergebnisfeststellung unterschieden. Jeder dieser drei Phasen wird ein spezifischer Ansatz wissenschaftlicher Evaluation mit dem ihm eigenen inhaltlichen und methodischen Schwerpunkten zugeordnet.^[5] Die Ex-ante-Evaluation findet demnach noch vor dem Start eines Programms statt wobei im Zentrum ihrer Aufgabe in der Regel die Frage steht, wie das zugrunde liegende politische Problem mit Aussicht auf Erfolg und möglichst geringen Kosten in der vorgesehenen Zeit bearbeitet werden kann. Es geht um eine Wirkungsschätzung geplanter Maßnahmen und potenzieller Alternativen in Hinblick auf die mit dem Programm verbundenen politischen Ziele.^[6]

Die darauf folgende Begleitforschung widmet sich der Analyse der Implementationstrukturen und -prozesse im Hinblick auf die Effektivität der Programmsteuerung, eventuellen Friktionen im Programmverlauf und Möglichkeiten ihrer Korrektur.6 Begleitforschung ist deshalb in diesem Kontext als Implementationsanalyse zu betrachten und unterstützt das Monitoring zum Programm. Die Evaluation von gewünschten bzw. ungewünschten Wirkungen als Ex-post-Evaluation dient der Ermittlung der dem Programm vermeintlich zurechenbaren Nettoeffekte und der Bewertung im Hinblick auf Zielidentität. Sie ist als Kosten-Nutzen-(Effizienz-)-Analyse anzusehen.^[7] Zusätzlich besteht noch ein weiteres Unterscheidungskriterium in der Art und Weise, wie eine Vergleichs- bzw. Kontrollgruppe gefunden wird. Dies kann auf experimentelle Weise geschehen oder im Rahmen von statistischen Methoden.^[8]

2.4. Effizienz und Effektivität im Kontext der Evaluation

Effizienz und Effektivität sind im Zusammenhang mit der Evaluation weit verbreitete Begriffe, die jedoch unterschiedlich verwendet werden. Der Begriff der Effizienz bezieht sich dabei regelmäßig auf ein Verhältnis zwischen dem Input und dem Output einer Maßnahme im Sinne einer Kosten-Nutzen-Beziehung. Vorraussetzung dafür ist das Vorhandensein eines ausreichend entwickelten Satzes von Indikatoren, die es ermöglichen, Ressourceninputs mit spezifischen organisatorischen Outputs und Ergebnissen in Beziehung zu setzen.^[9]

Warum jedoch sollte man um Begriffe, die im deutschen Sprachgebrauch und der einschlägigen Literatur^[10] noch nicht einmal unterschiedlich definiert werden, so ein Aufheben machen? Effizienz wird in der Regel als Produktivitätsmaß definiert. Rosen bemerkt, dass eine Gleichsetzung von Produktivität (Effektivität) und Effizienz nur unter Vernachlässigung des Qualitätsaspektes zulässig ist.^[11] Zusätzlich kommt es bei einer Effektivitäts-Rankliste unter Hinzunahme von Effizienzaspekten (Kosten-Nutzen) vielfach zu einer Umkehrung, da die Effektivsten Maßnahmen häufig auch die teuersten sind.^[12]

Mosley et. al. leiten den Begriff der Effektivität vom Effizienzbegriff ab indem sie die Begriffe Aktivitäts-Effizienz und Wirkungs-Effizienz benutzen. „Aktivitäts-Effizienz bezieht sich dabei auf das Verhältnis von Inputs wie Personal, Ausgaben oder Sachmittel zu den unmittelbaren Dienstleistungen (Output)...“ Wirkungs-Effizienz oder Effektivität, bezieht sich dagegen nach Mosley et al. auf das Verhältnis von Aktivitäten oder produzierten Outputs zu den organisatorischen Zielen. Im Kontext der Evaluation AAMP würden demnach die Kosten einer Maßnahme wie z.B. einer Weiterbildungsmaßnahme ins Verhältnis zu ihrem Nutzen (Steigerung der Qualifikation der Teilnehmer) gesetzt um die Effizienz zu auszuweisen. Anschließend setzt man diese Ergebnisse ins Verhältnis zu den Zielen AAMP, z.B. der Erhöhung der Wiedereingliederungschancen, um die Effektivität der Maßnahme festzustellen. Dieser Ansatz birgt jedoch noch einige weitere Fragestellungen und Probleme in sich, die im Folgenden beschrieben werden sollen.

2.5. Probleme bei der Evaluation AAMP

Wie aus dem vorherigen Kapitel ersichtlich, geht der Evaluationsbegriff über eine reine Effizienzbetrachtung von Maßnahmen AAMP hinaus. Die dabei entstehenden Probleme sind typisch für komplexe Handlungssituationen und geprägt durch Komplexität, Dynamik, Intransparenz und Polytelie (Vielzieligkeit).^[13]

2.5.1. Grundlegende Evaluationsprobleme

Die Komplexität des Systems AAMP spiegelt sich unter anderem im hohen Faktor der „ nicht beeinflussbaren Rahmenbedingungen“ wider.^[14] Es ist leicht zu erkennen, dass mindestens regionale, globale, saisonale, politische, wirtschaftliche und persönliche Faktoren auf den Erfolg AAMP Maßnahmen Einfluss nehmen. Alle diese Faktoren sind miteinander verknüpft und beeinflussen sich wechselseitig. Diesen Zustand eines Systems nennt man auch Vernetztheit.13 Selbstverständlich unterliegt das System einer Dynamik, durch die das Verhalten der Akteure zusätzlich beeinflusst wird. Intransparenz ist in soweit vorhanden, als dass die endgültigen nah- und Fernwirkungen von Maßnahmen AAMP, im Speziellen von neu entwickelten Maßnahmen, im Vorhinein kaum abschätzbar sind. Im Umgang mit den Zielen AAMP Maßnahmen liegen weitere Stolpersteine. Das Globalziel europäischer und deutscher Beschäftigungspolitik wird in der „Reduzierung der Arbeitslosigkeit durch die Erhöhung der individuellen Beschäftigungschancen“^[15] gesehen. Schon an dieser Formulierung des negativen Zieles „Reduzierung der Arbeitslosigkeit“ erkennt man die Hilflosigkeit der politischen Entscheidungsträger. Eine Konkretisierung und Spezifizierung dieses Zieles, auf z.B. einen zu erwartenden Erfolgswert/Hundert findet nicht statt, da überhaupt nicht absehbar ist, in welcher Weise die Maßnahme bzw. das Maßnahmenportfolio dazu geeignet ist, das Maßnahmenziel „Erhöhung der individuellen Beschäftigungschancen“ zu erreichen.

2.5.2. Kriterien für die Erfolgsbeurteilung

Im Rahmen der AAMP ist man deshalb zu einer zielgruppenorientierten Förderung übergegangen. Dieser Methodik folgt die Evaluation der Maßnahmen. Aus dem Beispiel der Lohnkostenzuschüsse ist ersichtlich, wie versucht wird Ziele genauer zu spezifizieren und Kriterien für den Erfolg von Maßnahmen genauer festzulegen. Positive Wirkungen von Lohnkostenzuschüssen auf die individuellen Erwerbschancen sind demnach dann zu erwarten, wenn die geförderten Personen schneller in Beschäftigung gelangen oder schneller die Arbeitslosigkeit verlassen, als es ohne Förderung der Fall wäre.^[16] Leider weist auch diese Formulierung auf neue Problematiken hin, nämlich der Konstruktion und Behandlung eben dieser kontrafaktischen Situation, in der die Maßnahme nicht stattgefunden hätte.

2.5.3. Feststellung kausaler Zusammenhänge

Die Feststellung kausaler Zusammenhänge und Wirkungen stellt eine weitere Schwierigkeit bei der Evaluation dar. Um die Effizienz oder die Effektivität einer Maßnahme abschätzen zu können, gilt es, die kausale Wirkung eben dieser Maßnahme auf das Ergebnis nachzuweisen. Da stets nicht nur eine Maßnahme durchgeführt wird, sondern ein Portfolio von zielgruppenorientierten Maßnahmen, ist die direkte Zurechenbarkeit des Erfolgs aufgrund der Vernetztheit erschwert. „ We always estimate something. The hard part is to find out what it means.” ist eine treffende Aussage die dem Nobelpreisträgers des Jahres 2000, James Heckman, zu dieser Problematik zugeschrieben wird. Im Rahmen der Evaluationsforschung wird leider viel zu selten die Frage gestellt, unter welchen Annahmen man den auf Schätzern^[17] begründeten Evaluationsergebnissen eine kausale Interpretation geben kann.^[18]

[...]

^[1] Vgl.: Sozialgesetzbuch Drittes Buch (2003)

^[2] Vgl.: Brinkmann,C., Wießner, F. (2002), S.376

^[3] Vgl.: Konle-Seidl, R. (2005), S.6

^[4] Vgl.: Konle-Seidl, R. (2005), S.13

^[5] Vgl.: Deeke, A., Kruppe, T. (2002), S.400, stammt von: Stockmann (2000)

^[6] Vgl.: Deeke, A., Kruppe, T. (2002), S.399

^[7] Vgl.: Konle-Seidl, R.(2005)

^[8] Anmerkung des Verfassers: wird in Kapitel 2.4 näher erörtert

^[9] Vgl.: Mosley, H. et. al. (2003)

^[10] Vgl.: Duden (2001), Anmerkung des Verfassers: Die Begriffe Effektivität und Effizienz werden dort beide mit „Wirksamkeit“ beschrieben

^[11] Vgl: Mosley, H. et. al. (2003), S.25, stammt von: Rosen (1983), S.80-83

^[12] Sianesi, B. (2002), S.126

^[13] Vgl.: Dörner, D. (2001)

^[14] Vgl.: Mosley, H. et. al. (2003): Mosley et. al. nehmen einen Faktor von 50% nicht beeinflussbarer Faktoren an

^[15] Konle-Seidl, R. (2005), S.21

^[16] Vgl.: Jaenichen, U. (2002a), S.328

^[17] Anmerkung des Verfassers: wird in Kapitel 2.3.4 näher erörtert

^[18] Vgl.: Lechner, M. (2002), S.5