I

Inhaltsverzeichnis

1.  Einleitung -1-  

2.  Potentielle Probleme bei der Durchführung experimenteller Studien -2-  

2.1  Störungen der internen Validität -2-  

2.2  Störungen der externen Validität -4-  

3.  Experimentelle Studien in der Praxis - Das Projekt STAR -6-  

3.1  Aufbau und Durchführung der Studie -6-  

3.2  Kritische Bewertung der Ergebnisse -7-  

4.  Schlussbetrachtung -10-  

Literaturverzeichnis………………………………………………………………...-11-

1

1. Einleitung

Im Rahmen der volkswirtschaftlichen Kausalanalyse werden experimentelle Studien unter anderem ¹ dazu verwendet, um die Auswirkungen von wirtschafts- und gesellschaftspolitischen Maßnahmen auf bestimmte Gruppen von Individuen zu evaluieren ² und die kausalen Effekte solcher Maßnahmen zu isolieren. ³ Hierbei dreht es sich hauptsächlich um arbeitsmarkt- und bildungspolitische Maßnahmen, wie z.B. der Teilnahme von Geringqualifizierten bzw. Arbeitslosen an Weiterbildungsmaßnahmen zur Verbesserung der Arbeitsmarktchancen oder der Mitwirkung von sich in schulischer bzw. universitärer Ausbildung befindlicher Personen an Studien, die verschiedene Maßnahmen zur Verbesserung der Lernsituation oder der Leistungsfähigkeit dieser Individuen überprüfen. Die vollständige zufallsgesteuerte Auswahl von Maßnahmenteilnehmern und Nichtteilnehmern, d.h. der Kontrollgruppe, bildet dabei das Hauptmerkmal jeder experimentellen Studie. ⁴ Durch dieses Merkmal wird das Evaluierungsproblem, das jeder Studie mit Individuen zugrunde liegt, gelöst. Das Evaluierungsproblem äußert sich einerseits darin, dass es nicht möglich ist, ein und dieselbe Person gleichzeitig in zwei oder mehreren Zuständen zu beobachten. ⁵ Dieses Problem wird im Rahmen einer experimentellen Studie mittels einer Aufteilung der ausgewählten Personen in eine Teilnehmergruppe, welche die Maßnahme erhält, und eine Kontrollgruppe, welche nicht an der Maßnahme teilnimmt, gelöst. Am Ende jedes Experiments werden sodann die Erfolgsgrößen, wie z.B. das Einkommen oder die Wahrscheinlichkeit einer Wiederbeschäftigung nach der Förderung, der beiden Gruppen miteinander verglichen, um die Wirksamkeit der Maßnahme zu bewerten. ⁶ Die Erfolgsgrößen werden dabei häufig als Durchschnitte dargestellt. ⁷ Dabei liegt der Vorteil einer experimentellen Studie darin, dass die Differenz aus den beiden durchschnittlichen Erfolgsgrößen einen konsistenten Schätzer des wahren durchschnittlichen Maßnahmeneffektes darstellt, womit das Problem zwischen unterschiedlichen Schätzern wählen zu müssen vermieden wird. ⁸ Ein weiteres Merkmal des Evaluierungsproblems drückt sich im sogenannten selection bias aus, der insbesondere bei der Auswahl von Teilnehmern an der Studie auftritt und sich auf unbeobachtbare Eigenschaften der Individuen bezieht. Der selection bias tritt z.B. dann auf, wenn die Personen, die im Rahmen eines sozialen Experiments in die re- ¹ InAbgrenzung zur experimentellen Wirtschaftsforschung, deren Anliegen darin besteht, ökonomische Verhaltensannahmen mittels spieltheoretischer Ansätze im Labor zu überprüfen.

² Bauer, Fertig, Schmidt (2009), S. 149

³ Ebenda, S. 139

⁴ Ebenda, S. 148

⁵ Heckman, Smith (1996), S. 40

⁶ Björklund, Regnér (1996), S. 90

⁷ Heckman, Smith (1995), S. 87

⁸ Björklund, Regnér (1996), S. 90 - 91

2

präsentative Stichprobe gelangt sind, selber entscheiden, ob sie an der Maßnahme teilnehmen, oder wenn diese Entscheidung von den Verantwortlichen getroffen wird. Dieses Problem wird innerhalb einer perfekten experimentellen Studie durch die vollständige zufallsgesteuerte Zuteilung der Individuen auf die Teilnehmer- und Kontrollgruppe gelöst. ⁹ Bei hinreichender Stichprobengröße sorgt die Zufallsauswahl zudem für einen Ausgleich aller Charakteristika der Teilnehmer- und Kontrollgruppenmitglieder, womit die reine Durchschnittsbildung ausreichend ist, um den durchschnittlichen Effekt einer Maßnahme zu schätzen. Mit anderen Worten bedeutet dies, dass keine bedingten Durchschnitte gebildet werden müssen. ¹⁰ Im Mittelpunkt jeder experimentellen Studie steht damit die Frage, inwiefern sich die Situation der Maßnahmenteilnehmer gegenüber den Nichtteilnehmenden verändert hat. In der folgenden Darstellung soll dabei unter Gliederungspunkt zwei zunächst auf die potentiellen Probleme bei der Durchführung experimenteller Studien eingegangen werden. Unter Gliederungspunkt drei wird darauf aufbauend das Projekt STAR (Student-Teacher Achievement Ratio) als Beispiel für eine in der Praxis durchgeführte experimentelle Studie dargestellt und einer kritischen Bewertung unterzogen.

2. Potentielle Probleme bei der Durchführung experimenteller Studien

Störungen der internen und der externen Validität können bei der praktischen Durchführung experimenteller Studien auftreten. Dadurch entsteht potentiell das Problem, dass die im Rahmen einer experimentellen Studie aufgedeckten Effekte einer Maßnahme an einer Gruppe von Individuen nicht mit den wirklichen kausalen Effekten einer solchen Maßnahme übereinstimmen. ¹¹ Damit können Störungen der internen und der externen Validität letztendlich zu einer Einschränkung der Aussagekraft experimenteller Studien führen. 12

2.1 Störungen der internen Validität

Die Ergebnisse einer experimentellen Studie sind dann intern valide, wenn diese auch für die Population gelten, aus der die Teilnehmer an der experimentellen Studie gezogen wurden. ¹³ Störungen der internen Validität treten insbesondere bei einer fehlerhaften Randomisierung, bei einer fehlerhaften Maßnahmendurchführung, beim sogenannten Hawthorne-Effekt und bei zu kleinen Stichproben auf. 14

⁹ Björklund, Regnér (1996), S. 90

¹⁰ Bauer, Fertig, Schmidt (2009), S. 149

¹¹ Ebenda, S. 151

¹² Ebenda, S. 156

¹³ Ebenda, S. 151

¹⁴ Stock, Watson (2007), S. 472