Eine metaanalytische Betrachtung von Erfolgsfaktoren der Planungsphase im Einzel- und Multi-Projekt-Umfeld

Inhaltsverzeichnis

Abkürzungsverzeichnis

Abbildungsverzeichnis

Tabellenverzeichnis

1 Einführung

2 Aufbau der Arbeit

3 Die Metaanalyse
3.1 Grundgedanke und Zielsetzung
3.2 Die Abgrenzung zum Review
3.3 Die wesentlichen Vorteile einer Metaanalyse
3.4 Die wesentlichen Nachteile der Metaanalyse
3.4.1 Das „Garbage in - Garbage out“-Problem
3.4.2 Das „Äpfel-und-Birnen“-Problem
3.4.3 Das Problem abhängiger Untersuchungsergebnisse
3.4.4 Das File-Drawer-Problem
3.5 Beeinflussung einer Metaanalyse durch den Bias
3.5.1 Der Selection Bias
3.5.2 Der Performance Bias
3.5.3 Der Detection Bias
3.5.4 Der Attrition Bias
3.5.5 Der Publication Bias
3.5.6 Der Reader Bias
3.6 Übersicht der verschiedenen Probleme sowie des Bias
3.7 Steigerung der Qualität einer Metaanalyse durch Einhaltung des QUOROM-Statements
3.8 Vorgehen bei der Metaanalyse
3.8.1 Die Planung der Metaanalyse und Explikation der Fragestellung
3.8.2 Das Suchen von Primärstudien
3.8.3 Die Kodierung, Auswahl und Beurteilung der Studien
3.8.4 Der Vergleich und die Integration der Kennwerte
3.8.5 Die Präsentation der Ergebnisse
3.9 Statistische Methoden der Metaanalyse
3.9.1 Deskriptive Verfahren
3.9.1.1 Die klassische Effektstärkenberechnung
3.9.1.2 Das Vote-Counting-Verfahren
3.9.2 Inferenzstatistische Verfahren
3.9.2.1 Die Methode von kombinierten Wahrscheinlichkeiten
3.9.2.2 Annäherungsweises Pooling der Daten und Korrektur des Stichprobenfehlers
3.9.2.3 Weitere statistische Ansätze zur Metaanalyse
3.10 Überprüfung vorliegender Verzerrungen
3.10.1 Das „Fail-Safe-N“-Verfahren
3.10.2 Die grafische Darstellung durch den Funnel-Plot

4 Das Einzel- und Multiprojekt
4.1 Das Projekt
4.2 Das Projektmanagement
4.3 Das Multiprojekt
4.4 Das Programm- und Portfoliomanagement
4.4.1 Das Programmmanagement
4.4.2 Das Projektportfoliomanagement

5 Die Planung
5.1 Grundlagen der (Projekt-)Planung
5.2 Die Projektplanung als Teil des Projektzyklus
5.3 Die Projektplanungsphasen
5.4 Die Planung im Multiprojektmanagement
5.4.1 Die Programmplanung
5.4.2 Die Projektportfolioplanung

6 Erfolg und Erfolgsfaktoren im Projektmanagement
6.1 Erfolgsfaktoren
6.2 Darstellung von Erfolg und Erfolgsfaktoren im Projekt
6.3 Darstellung von Erfolg und Erfolgsfaktoren beim Multiprojekt
6.4 Zusammenfassende Darstellung der Einfluss- und Erfolgsfaktoren

7 Metaanalyse von Erfolgsfaktoren in der Projektplanung
7.1 Explikation der Fragestellung
7.2 Erfassung von Studien
7.3 Präsentation der Ergebnisse
7.3.1 Die Planung als Erfolgsfaktor im Einzelprojekt
7.3.2 Die Planung als Erfolgsfaktor im Multiprojekt

8 Kritische Bewertung der Ergebnisse

9 Literaturverzeichnis

10 Anhang
10.1 Das QUOROM-Statement
10.2 Formeln und Tabellen
10.2.1 Umrechnung von t in ES
10.2.2 ES und Korrelation - Umrechnung von der „d-Familie“ in die „r-Familie“
10.2.3 Berechnung von Q für einen Homogenitätstest
10.2.4 Verteilungsfunktion der Standardnormalverteilung
10.3 Studien zum Planungserfolg

11 Stichwortverzeichnis

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

Abbildungsverzeichnis

Abbildung 2.1 Aufbau der Arbeit

Abbildung 3.1 Mittlere Anzahl an Metaanalysen pro Jahr

Abbildung 3.2 Die Metaanalyse als Integrationsmethode

Abbildung 3.3 Vorgehen bei der Metaanalyse

Abbildung 3.4 Vorgehen bei der Metaanalyse: Die Problemformulierung

Abbildung 3.5 Vorgehen bei der Metaanalyse: Kodierung der Studien

Abbildung 3.6 Vorgehen bei der Metaanalyse: Ablauf der statistischen Auswertung

Abbildung 3.7 Darstellung von kleinen und großen Effekten der Metaanalyse

Abbildung 3.8 Hypothetische Funnel-Plots

Abbildung 4.1 Das Multiprojekt in Beziehung zur Unternehmensumwelt

Abbildung 4.2 Modell zur Unterscheidung von Portfolio- und Programmmanagement

Abbildung 4.3 Lebenszyklus des Programmmanagements

Abbildung 4.4 Lebenszyklus des Projektportfoliomanagements

Abbildung 5.1 Planungsvorgehen - von der Strategie zu Maßnahmen

Abbildung 5.2 Dauer des Planungsprozesses in Kalenderwochen

Abbildung 5.3 Projekt mit Planung, Steuerung und Kontrolle

Abbildung 5.4 Projektplanungsphasen

Abbildung 5.5 Phasen des Portfoliomanagements

Abbildung 5.6 operative Aufgaben der Portfolioplanung

Abbildung 6.1 Einflüsse auf den Projekterfolg - Kriterien und Stakeholder

Abbildung 6.2 Vier Stufen des Projekterfolgs

Abbildung 6.3 Erfolgsfaktoren im Multiprojektmanagement

Abbildung 6.4 Mehrdimensionale Zuordnung des Erfolgs

Abbildung 10.1 Flussdiagramm des QUOROM-Statements

Tabellenverzeichnis

Tabelle 3.1 Übersicht der Probleme und Verzerrungen bei der Metaanalyse

Tabelle 3.2 Mittlere Effektstärken im Vergleich zur Berechnungsmethode

Tabelle 3.3 weitere inferenzstatistische Verfahren im Überblick

Tabelle 3.4 Five Methods of Meta-Analysis

Tabelle 5.1 Zeithorizont und Reichweite der Planung

Tabelle 5.2 Phasen eines Projektes

Tabelle 5.3 Übersicht der Vorgaben und Vorgehensweisen innerhalb der Programmplanung

Tabelle 6.1 Erfolgswirkungen einzelner Instanzen im Programmmanagement

Tabelle 6.2 Wer kann wie/womit den Erfolg innerhalb der Planung beeinflussen?

Tabelle 7.1 Schlagwörter zur Metaanalyse

Tabelle 7.2 Übersicht verschiedener Studien zum Multiprojektmanagement

Tabelle 10.1 Checkliste des QUOROM-Statements

Tabelle 10.2 Beurteilung von einer systematischen Übersichtsarbeit oder Metaanalyse

Tabelle 10.3 Verteilungsfunktion Φ(z) der Standard-Normalverteilung N(0,1)

Tabelle 10.4 Studien zum Planungserfolg

Formelverzeichnis

Formel 3.1 Varianzhomogenität als Annahme zur GLASS´schen Effektstärke

Formel 3.2 Grundformel der Effektstärke nach GLASS und Berechnung vonAbbildung in dieser Leseprobe nicht enthalten

Formel 3.3 Berechnung von COHENs d und Umrechnung nach r

Formel 3.4 Berechnung von HEDGES´ g

Formel 3.5 Umrechnung von Standardabweichungen

Formel 3.6 Synopse der Effektstärkenberechnungen nach GLASS, COHEN und HEDGES

Formel 3.7 ES nach McGAW & GLASS (1980)

Formel 3.8 ES nach HARTMANN, HERZOG und DRINKMANN (1992)

Formel 3.9 ES nach GRAWE (1992)

Formel 3.10 durchschnittlicher Korrelationskoeffizient

Formel 3.11 Addition der z-Werte nach STOUFFER

Formel 3.12 abgewandelte Stouffer-Formel für das „Fail-Safe-N“-Verfahren

Formel 3.13 „Fail-Safe-N“ / Anzahl der gesuchten, nichtsignifikanten Studien

Formel 10.1 Umrechnung von t in ES

Formel 10.2 Umrechnung der Effektstärke aus der „d“-Familie in die Produkt-Momenten-Korrelation „r“

Formel 10.3 Berechnung der Prüfgröße Q für einen Homogenitätstest

1 Einführung

„So eine Arbeit wird eigentlich nie fertig,
man muß sie für fertig erklären,
wenn man nach Zeit und Umständen
das möglichste getan hat.“

Johann Wolfgang von Goethe^[1]

Zusammenhänge zwischen dem Innovationserfolg und dem Unternehmenserfolg konnten in der Vergangenheit bereits empirisch nachgewiesen werden.^[2] Auch wurde bereits untersucht, inwiefern sich die Planung innerhalb des Projektmanagements als Teil des Innovationsmanagements^[3] als Erfolgsfaktor darstellt: Im Ergebnis mehrerer Untersuchungen konnte ein positiver Zusammenhang zwischen der Planung und dem Erfolg festgestellt werden.^[4]

Dennoch hat sich zum Beispiel am Fall von Toll Collect auch in jüngster Zeit gezeigt, dass durch die Nichteinhaltung von Planvorgaben im Umkehrschluss Misserfolge entstehen können.

In der vorliegenden Arbeit soll daher die Planungsphase sowohl im Einzelprojekt als auch im Multiprojekt detaillierter untersucht werden.

Die spezifische Zielsetzung dieser Arbeit leitet sich dabei aus der Problematik nachstehender Fragestellungen ab:

- Was versteht man unter einer erfolgreichen Projektplanung?
- Wie kann der Erfolg gemessen und ausgewertet werden?
- Was sind die wesentlichen Determinanten innerhalb der Planungsphase, die letztendlich den Erfolg bestimmen?
- Lassen sich die bisherigen Untersuchungen zu den Erfolgsfaktoren sinnvoll zusammenfassen und ergibt sich hieraus ein Konzept zu einer erfolgreichen Planung?
- Treffen die Erfolgsfaktoren gleichermaßen für Einzel- und Multiprojekte zu?

Um die einzelnen Faktoren und die Ergebnisse verschiedener Studien zu diesem Thema zu untersuchen, soll dabei die Methode der Metaanalyse angewendet werden. Während der letzten 10 Jahre hat die Anzahl der veröffentlichten Metaanalysen bedeutend zugenommen. „Meta-Analysen haben inzwischen den klassischen medizinischen Übersichtsartikel nahezu verdrängt und werden von vielen ihrer Befürworter mit der höchsten Stufe des Erkenntnisgewinns gleichgesetzt.“^[5]

Diese Methode soll dabei auf ein betriebswirtschaftliches Thema übertragen werden, um hiermit, anstelle der derzeit am häufigsten verwendeten Methode des Reviews, statistisch untermauerte Erkenntnisse zu gewinnen.

Zusammenfassend soll diese Arbeit dem Leser die genannten Fragestellungen beantworten, wobei ausführlich die verwendeten Instrumente und Grundlagen zu diesem Thema besprochen werden. Daraus ergibt sich auch die Vorangehensweise in dieser Arbeit, welche im nächsten Kapitel dargestellt wird.

2 Aufbau der Arbeit

Die Bearbeitung der Aufgabenstellung erfordert eine systematische Vorgehensweise, wobei diese Arbeit eine aufbauende modulare Struktur verfolgt.

Die Abhandlung lässt sich in insgesamt sechs inhaltliche Kapitel und in drei große Bereiche unterteilen, wobei die ersten beiden im Wesentlichen die theoretischen Aspekte betrachten und diese anschließend im dritten Part empirisch untersucht werden.

Der erste Block ist die formale Auseinandersetzung mit der Metaanalyse, deren Vor- und Nachteilen sowie den geläufigsten Anwendungsmethoden in Kapitel 3.

Der zweite große Bereich ist die Betrachtung und Definition von Projekten (Kapitel 4) sowie deren Planung (Kapitel 5). Eingeordnet in den Projektzyklus wird die Projektplanungsphase auf Projekt- und Multiprojektebene beschrieben. Die Tätigkeiten werden dabei in Hinblick auf die Erfolgsfaktoren der Projektplanung beleuchtet (Kapitel 6).

Im dritten Abschnitt, den Kapiteln 7 und 8, werden dann die vorangehenden Vorüberlegungen verbunden, indem mit Primär- und Sekundärstudien zu den Erfolgsfaktoren eine metaanalytische Betrachtung erstellt wird. Abschließend werden die Aussagen inhaltlich zusammengefasst und kritisch reflektiert.

Die zentralen Definitionen und Erkenntnisse werden innerhalb dieser Arbeit zusätzlich farblich hervorgehoben und erleichtern so ein schnelles Zurückgreifen auf die wesentlichen Inhalte der jeweiligen Abschnitte.

Einen Überblick über den Aufbau und die inhaltliche Verbindung zwischen den einzelnen Kapiteln stellt die nachfolgende Grafik dar.

Abbildung in dieser Leseprobe nicht enthalten

Es sei kurz bemerkt, dass diese Arbeit aufgrund ihres begrenzten Umfangs lediglich einen Überblick über diese umfangreiche Thematik bieten kann; daher können nicht alle Aspekte detailliert betrachtet werden. Zusätzliche Literaturangaben sollen dem interessierten Leser hier die Möglichkeit geben, weitere Informationen zu dem jeweiligen Bezugsgegenstand zu erhalten.

Abbildung 2.1 Aufbau der Arbeit^[6]

3 Die Metaanalyse

Abbildung in dieser Leseprobe nicht enthalten

Das Instrument „Metaanalyse“ hat sich in den letzten Jahren zunehmend verbreitet^[7], sodass man, wie aus der Abbildung 3.1 ersichtlich, regelrecht von einem „Metaanalyse-Boom“ sprechen kann^[8]. Gegenwärtig findet die Metaanalyse in den verschiedensten Bereichen Anwendung: sowohl hauptsächlich in der Psychologie/Medizin (z. B. GLASS, HUNTER, SCHMIDT, ROSENTHAL), als auch vermehrt in anderen Bereichen wie Wirtschafts-wissenschaften, Soziologie, Kriminologie usw.

Doch was bedeutet „Metaanalyse“ und wie wendet man sie an?

Abbildung 3.1 Mittlere Anzahl an Metaanalysen pro Jahr^[9]

Diese Fragestellung wird auf den kommenden Seiten ausführlich diskutiert, wobei die Vor- und Nachteile als auch die Abgrenzung zu anderen Analyseformen verdeutlicht werden.

3.1 Grundgedanke und Zielsetzung

Dem hermeneutischen Ursprung nach bedeutet die griechische Vorsilbe „Meta“ soviel wie „über“, „nach“, „neben“ oder „zwischen“^[10]. DIEMER und FRENZEL interpretieren sie als „das hinter und nach, das zugleich dann auch ein vor und über mitmeint“^[11].

FRICKE und TREINIES deuten daraus für die Metaanalyse das „nach“ als den Anschluss an eine Primär- und/oder Sekundäranalyse und das „über“ als integrativen

Überblick über den Stand der Forschung von einer höheren Warte aus^[12].

Ebenso sind die Metaebenen wie erwähnt in diversen Fachrichtungen gebräuchlich, z. B. auch in der Philosophie: Unter Meta-Kritik versteht man hier so viel wie „Kritik der Kritik“. Als Gene V. Glass den Begriff „Metaanalyse“ 1976 erstmalig einführte, verwendete er ebenfalls die Definition „Analyse von Analysen“ für diese Technik.^[13]

Hierunter verstand er, dass die „Metaanalyse (ist) ein Sammelname für eine Reihe von Techniken zur quantitativen Integration von Forschungsergebnissen [ist](…).“^[14] /^[15].

„Diese Auffassung charakterisiert auch die heutige Situation recht gut, denn von einer einheitlichen Methodik der Metaanalyse kann schwerlich die Rede sein (…) [- vielmehr] befindet sich die Metaanalyse in einem Entwicklungsprozeß, dessen Ende noch nicht absehbar ist.“^[16]

Definition der Metaanalyse durch GLASS (1976):

„Metaanalysis refers to the analysis of analyses. I use it to refer to the statistical analysis of a large collection of analysis results from individual studies for the purpose of interpreting the findings.”13

Während diese klassische Definition nach GLASS vor allem „die Bestimmung des Präfixes „Meta“ als Kennzeichen einer Prozedur, die auf eine oder mehrere Prozeduren gleichen Typs angewendet wird“^[17] näher beschreibt, betont die Begriffsbestimmung nach BANGERT-DROWNS eher den quantitativen Aspekt (vgl. ebenso GLASS et al.^[18] ).

Definition der Metaanalyse durch BANGERT-DROWNS (1986) :

„Meta-analysis applies statistics to the treatment of quantitative representations of study outcomes.“^[19]

Hieraus wird ersichtlich, dass keine eindeutigen, jedoch ähnliche und ergänzende Begriffsbestimmungen existieren. FRICKE und TREINIES übernehmen beispielsweise die Grundgedanken und setzen darauf auf, indem sie die Metaanalyse als „weiterführende Integrationsmethode“^[20] betrachten. Hierbei bauen sie auf dem Modell von COOPER auf, welches in Abbildung 3.2 grafisch dargestellt ist.

Dabei wird der Metaanalyse zusätzlich zu dem statistisch quantitativen Element auch ein qualitatives zugesprochen, indem der reinen statistischen Zusammenführung der Primär- und Sekundäranalysen (Stufe 5) die grundlegenden Stufen 1 bis 3 vorangestellt werden und somit das methodische Vorgehen der Vorstudien einbezogen wird („Strukturparallelität zur Durchführung empirischer Primärstudien“^[21] ).

Anhand der Abbildung kann man erkennen, dass Ausgangspunkte der Metaanalyse hierbei verschiedene, unabhängige Primäranalysen und darauf aufbauende Sekundäranalysen sind. COOPER schlägt daher „in Analogie zum methodischen Vorgehen in Einzeluntersuchungen folgende fünf Schritte vor, die im Kapitel 3.8 (S. 18ff) ausführlich beschrieben werden:

1. Problemformulierung
2. Sammlung der Ergebnisse
3. Bewertung der Ergebnisse
4. Analyse und Interpretation der Ergebnisse
5. Präsentation der Ergebnisse

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.2 Die Metaanalyse als Integrationsmethode^[22]

Zusammenfassend lässt sich die Metaanalyse wie folgt beschreiben:

Allgemeine Definition der Metaanalyse :

„Der methodologisch-praktische Sinn und Nutzen einer Metaanalyse soll sein, unterschiedliche Ergebnisse aus verschiedenen Untersuchungen zu Wirkungen vergleichbarer Maßnahmen (…) quantitativ vergleichbar zu machen“^[23], indem inhaltlich homogene Primär- und Sekundärstudien statistisch aggregiert werden.

3.2 Die Abgrenzung zum Review

Die Metaanalyse steht konkurrierend und auch ergänzend zum narrativen Review, dessen primäre Aufgabe es ist, den aktuellen Forschungsstand anhand neuer Literatur aufzuarbeiten und zu verdichten. Das klassische Vorgehen beim Review ist die umfassende Literatursammlung, der Ausschluss „schlechter“ Studien und anschließend die Zusammenfassung der Aussagen aus den verbleibenden Studien. Somit hat diese Methode im Vergleich zu der Metaanalyse eher einen breiteren Fokus und ist durch die Subjektivität des Reviewers gekennzeichnet, wohingegen die Metaanalyse nicht auf sprachlicher sondern statistischer Ebene versucht, eine objektive Integration der vorliegenden Forschungsergebnisse zu erreichen. Der Input für eine Metaanalyse sind hierbei Effektgrößen aus Einzelstudien, aus denen dann ein Populationseffekt geschätzt werden soll. Das Ziel der Metaanalyse ist somit eine statistisch abgesicherte Aussage über einen (nicht) bestehenden Populationseffekt.

Die „Probleme des narrativen Reviews sind die Entscheidung, welche Studien einbezogen werden sollen, die Kriterien zur Beurteilung der Qualität der Primärstudien, die Bearbeitung von Teilmengen an Befunden aus einzelnen Studien, Schwierigkeiten bei der Berücksichtigung statistischer Interaktionen, des Stichprobenfehlers“^[24] usw.

Ebenso wird das Vorgehen bei der Zusammenfassung der Ergebnisse selten dokumentiert oder der Umfang der Angaben wird den Anforderungen der Metaanalyse nicht gerecht.^[25] Somit erlaubt die Metaanalyse genauere und glaubwürdigere Schlussfolgerungen als Primärstudien oder nichtquantitative, narrative Reviews.^[26]

Doch auch die Metaanalyse hat neben ihren Vorteilen auch ihre schwachen Seiten.

„Angesichts … [der] Vielfalt in den metaanalytischen Methoden dürfte es zunehmend schwieriger werden, die Integrationsmethode „Metaanalyse“ in pauschaler Weise zu kritisieren.“^[27] Im Folgenden werden neben den Vorteilen auch die Nachteile differenziert betrachtet und gegebenenfalls bekannte Lösungsansätze aufgezeigt.

3.3 Die wesentlichen Vorteile einer Metaanalyse

LIPSEY und WILSON nennen vier wesentliche Gründe für die Metaanalyse, welche in der Literatur unangefochten sind:^[28]

1. Die Metaanalyse ist eine strukturierte, systematische und nachvollziehbare Analysetechnik zur Zusammenfassung von Forschungsergebnissen^[29].
2. Die Metaanalyse ist ein Werkzeug, welches die Forschungsergebnisse differenzierter betrachtet als konventionelle Review-Techniken.
3. Präzise Untersuchungen der Studien bei der Metaanalyse können Effekte und Beziehungen besser darstellen als qualitative, narrative Reviews.
4. Die Metaanalyse bietet einen strukturierten Überblick und die Möglichkeit der Handhabung auch bei einer großen Anzahl von Studien. Ebenso kann sie auch bei einer geringen Anzahl von Studien angewendet werden.

Darüber hinaus führt DRINKMANN weitere positive Aspekte an, indem er der Metaanalyse zuspricht, dass sie in der Ergebnisentscheidung auch bei widersprüchlichen Primäranalysen durch statistische Absicherung anwendbar ist.^[30] Zusätzlich hebt er hervor, dass die „Unterschiedlichkeit [der Primärergebnisse] bzw. Varianz eine zentrale metaanalytische Zielgröße [darstellt]. Ihre Feststellung und Analyse bedingen zwei entscheidende Vorteile der metaanalytischen Methodik, nämlich zum einen die Beurteilung von Variabilität in Stichproben von Primärergebnissen und zum anderen die prinzipielle Möglichkeit der Erklärung dieser Variabilität, und zwar durch Rückführung auf korrelierende Einflußgrößen.“^[31]

3.4 Die wesentlichen Nachteile der Metaanalyse

Neben inhärenten Argumenten wie notwendigen statistischen Kenntnissen und einer längeren Durchführungszeit einer Metaanalyse im Vergleich zum Review^[32] birgt die Metaanalyse als Instrument weitere immanente Probleme in sich. Diese werden nachstehend dargestellt, wobei hierzu jeweils etablierte Lösungsansätze aufgezeigt werden. Die Diskussion der Probleme erfolgt bewusst detaillierter als die Darstellung der positiven Aspekte, da je nach Ansatz der Problemlösungsmethoden das Ergebnis einer Metaanalyse deutlich variieren kann.

Nach GLASS^[33], GLASS und SMITH^[34], GLASS, McGAW und SMITH^[35] sowie SMITH, GLASS und Miller^[36] existieren folgende Hauptprobleme der Metaanalyse, welche nachstehend ausführlicher betrachtet werden^[37]:

1. Die unterschiedliche methodische Qualität der Studien bleibt unberücksichtigt (Vgl. Kapitel 3.4.1: Das „Garbage in - Garbage out“-Problem).
2. Studien mit unterschiedlicher Zielsetzungen und daher unterschiedlichen Zielkriterien und Messinstrumenten werden integriert (Vgl. Kapitel 3.4.2: Das „Äpfel-und-Birnen“-Problem).
3. Abhängige Daten werden in der Metaanalyse kumuliert und wie unabhängige behandelt (Vgl. Kapitel 3.4.3: Das Problem abhängiger Untersuchungsergebnisse).
4. Die selektive Veröffentlichung von Studien repräsentiert nicht den derzeitigen Stand der Forschung (Vgl. Kapitel 3.4.4: Das File-Drawer-Problem).

3.4.1 Das „Garbage in - Garbage out“-Problem

Wie man in den Wald hineinruft, so schallt es auch wieder heraus, besagt ein altes Sprichwort - und genau hierum geht es auch bei dieser Kritik an der Metaanalyse.

„Der Metaanalyse wird gelegentlich vorgehalten, ihre Ergebnisse seien wenig valide, weil unkritisch jede thematisch einschlägige Studie unabhängig von ihrer methodischen Qualität berücksichtigt wird (…).“^[38] Somit gehen „methodisch sehr schwache“ Studien genauso ein wie „methodisch saubere“, was dazu führt, dass das Ergebnis der Metaanalyse durch die „schlechten Studien“ verzerrt wird bzw. die Qualität^[39] der Metaanalyse abnimmt. Um dieses Problem zu umgehen, bieten sich folgende Lösungen an:

Einerseits können „methodisch schwache“ Studien anhand von Ausschlusskriterien aus der Metaanalyse komplett herausgenommen werden - somit ist mit einem präziseren Endergebnis zu rechnen.^[40] Bei diesem Ausschlussprinzip ist allerdings zu berücksichtigen, dass hierbei selektiv die Grundgesamtheit der Studien reduziert wird und ferner die Gefahr von zu engen oder zu oberflächlichen Kriterien besteht. Der moderatere Weg ist die Verwendung einer Gewichtungstechnik um die Qualität der Metastudie zu kontrollieren: Hierbei wird ein Ranking der einzelnen Studien durchgeführt, sodass „schlechtere“ Studien einen geringen Einfluss auf das Gesamtergebnis haben.

Ferner bietet sich die Einführung einer Moderatorvariable an, mit der die Studien nach ihrer methodischen Qualität kodiert werden. Hierdurch wird zusätzlich eine separate Analyse ermöglicht, falls die Effekte für die Subgruppen sehr unterschiedlich sind.^[41]

3.4.2 Das „Äpfel-und-Birnen“-Problem

Dieses Manko wird häufig auch als „Uniformitätsproblem“, „Apples-and-oranges-Problem“ oder „Inkommensurabilität“ bezeichnet. EYSENCK äußerte bereits 1978, dass die Metaanalyse einerseits zwar Studien der gleichen Fragestellung aggregiert, andererseits das Studiendesign durchaus verschieden ist und somit unterschiedliche Konstrukte wie gleiche behandelt würden.^[42] Somit könne die Analyse einer undifferenzierten Sammlung von Studien zu einem Thema zu einer Nicht-Interpretierbarkeit der resultierenden mittleren Effektgröße führen.

Dem gegenüber steht, dass gerade „zur Absicherung wissenschaftlicher Aussagen … dagegen immer mehrere konzeptuelle Replikationen und eine Integration der Replikationsergebnisse notwendig“^[43] sind.

Ein Lösungsansatz für diesen Vorwurf ist ebenso die Einteilung in Subgruppen anhand einer oder mehrerer unabhängiger Variablen und das Aufstellen von Selektionskriterien. Zusätzlich verbessert eine möglichst genaue Explikation von Fragestellung und Konstrukten das Ergebnis - mithin kann auch eine übergreifende Fragestellung (Äpfel und Birnen zu „Obst“^[44] ) hierzu beitragen.

3.4.3 Das Problem abhängiger Untersuchungsergebnisse

„Eine Kritik, die wohl die GLASSsche Art der Metaanalyse betrifft, nicht jedoch andere Formen, wie etwa die Metaanalyse über Studieneffekte (…), bezieht sich auf die nicht vorhandene Unabhängigkeit der Primärergebnisse in einer metaanalytischen Stichprobe.“^[45] Das Ergebnis der Metaanalyse wird hauptsächlich dann stark verzerrt sein, wenn eine einzelne Studie eine große Anzahl von Primärergebnissen beziehungsweise Effektgrößen beisteuert.^[46] Eine effektive Gegenmaßnahme zu der Problematik ist die Gewichtung paralleler Ergebnisse^[47] beziehungsweise das alleinige Zulassen des „schlechtesten“ Ergebnisses^[48]. ROSENTHAL schlägt darüber hinaus die Integration der verschiedenen Ergebnisse vor.^[49]

3.4.4 Das File-Drawer-Problem

Dieses „Schubladenproblem“ besagt, dass häufig Ergebnisse mit geringer statistischer Signifikanz nicht veröffentlicht werden, obwohl sie in der Metastudie von Vorteil wären. Es ist somit ähnlich der selektiven Veröffentlichung von Studien (siehe Publikation Bias, Kapitel 3.5.5), und auch hier bestehen keine konkreten Lösungen für den Ersteller einer Metaanalyse. Dennoch bietet die statistische Methode des „Fail-Safe-N“-Verfahrens (Vgl. Kapitel 3.10.1) eine „Lösungsmöglichkeit“ an, da hiermit überprüft werden kann, inwieweit es sich um ein signifikantes Ergebnis handelt, bzw. wie viele nicht veröffentlichte Studien nötig wären, damit das Resultat als nichtsignifikant ausfällt.

3.5 Beeinflussung einer Metaanalyse durch den Bias

Der Bias ist ein weiteres Problem von Studien und Analysen und bedeutet aus dem Englischen übersetzt soviel wie die „schiefe Seite“ oder auch „ungünstig beeinflussen“.^[50]

Murphy gibt eine allgemeine Begriffsbeschreibung des Bias an: „Irgendein Prozess zu irgend einem Zeitpunkt in der Beweisführung, der dazu führt, dass Resultate produziert werden, welche sich systematisch vom wahren Wert unterscheiden.“^[51] Übertragen auf den Bereich der Statistik und in Abgrenzung zum zufälligen Fehler bedeutet dies folgendes: „Der BIAS ist der systematische Fehler im Studiendesign [oder in der Auswertung], der die Ergebnisse der Studie in eine falsche Richtung beeinflussen kann, so dass die Ergebnisse der Untersuchung stark vom wahren Wert abweichen können.“^[52]

Im Gegensatz zum zufälligen Fehler (Stichprobenfehler, Auswahlfehler) heben sich systematische Fehler bei einer genügenden (im Idealfall unendlichen) Anzahl von Messungen nicht auf, sondern addieren sich. Der Bias beeinträchtigt somit die interne Validität einer Studie und kann deshalb gravierende Folgen auf das Ergebnis haben, da er zu einer Über- oder Unterschätzung führt. Er wird daher prinzipiell bei jeder Studie in der Metaanalyse untersucht.

In Studien, die verschiedene Gruppen miteinander vergleichen, unterscheidet man vier Haupttypen,^[53] welche die interne Validität der Untersuchung beeinflussen.

Darüber hinaus existieren zwei weitere Arten des Bias, der Reader- und der Publication Bias, welche bei jeder Art von wissenschaftlichen Untersuchungen vorkommen können.

Alle sechs Varianten werden nachfolgend in Bezug auf die Erstellung bzw. Auswertung einer Metaanalyse kurz angesprochen, um zu verdeutlichen, dass es sich hierbei um ernsthafte Probleme der Metaanalyse handelt.^[54] EGGER et al. kommen darüber hinaus zu dem Schluss, dass eine kritische Untersuchung des Bias anhand von Sensitivitätsanalysen und Funnel-Plot-Analysen (siehe Kapitel 3.10.2) integraler Bestandteil einer Metaanalyse sein sollen.^[55]

3.5.1 Der Selection Bias

Dieser Fehler geht auf die Unterschiede in der Ausgangssituation der Teilnehmergruppen der Untersuchung ein. Er resultiert immer aus dem Prozess der Auswahl der Studienteilnehmer, sofern die Aufteilung in die Studien bzw. Kontrollgruppen nicht rein zufällig erfolgt, sondern durch relevante Eigenschaften der Teilnehmer beeinflusst wird. Beispielsweise melden sich Personen eigenständig zur Teilnahme an einer Studie, nachdem sie über externe Quellen darüber erfahren haben^[56], was zu einer Über- oder Unterschätzung des untersuchten Effekts führen kann. Eine Lösung dieser Verzerrung besteht alleinig in der rein zufälligen Auswahl der Merkmalsträger (Randomisierung).

3.5.2 Der Performance Bias

Der Performance Bias geht auf die Unterschiede in den Rahmenbedingungen der zu vergleichenden Gruppen zurück. „Sind Studienteilnehmer oder Behandelnde über die Zuteilung in Interventions- und Kontrollgruppe informiert, können daraus bewusst oder unbewusst unterschiedliche Behandlungen (…) resultieren, weil die teilnehmenden Personen ihr Wissen nicht vollständig negieren und nicht ohne subjektiven Einfluss handeln können.“^[57] Wie SCHULZ et al. in ihrer klinischen Studie nachweisen konnten, kann ein Performance Bias durch eine Verblindung der untersuchten Personengruppe und der Kontrollgruppe vermieden werden.^[58]

3.5.3 Der Detection Bias

Diese Verzerrung basiert auf den systematischen Unterschieden in der Aus- und Bewertung der Messergebnisse. Er entsteht dadurch, dass die Bewertung der zu beurteilenden Indikatoren subjektiv verläuft - die Gefahr besteht vor allem dann, wenn das Bewerten des Ergebnisses einen Ermessensspielraum zulässt und/oder von der Interaktion zwischen Testperson und Untersucher abhängt. Lediglich eine Verblindung der auswertenden Person kann dazu führen, das Risiko einer bewussten oder unterbewussten Interpretation der Ergebnisse zu minimieren.

3.5.4 Der Attrition Bias

Der Attrition Bias entsteht durch vorzeitiges Ausscheiden aus der Studie (so genannte Drop-Outs) und führt somit zu Protokollverletzungen. Es passiert, dass sich eine Gruppe weniger als die andere an das Protokoll hält oder dass ihre Teilnehmer vermehrt aus der Studie ausscheiden. Die Aussage wird somit verzerrt. Der Einfluss des Attrition Bias kann schlecht eingeschätzt werden und muss gegebenenfalls vom Ersteller einer Metaanalyse anhand der vorliegenden Rohdaten beurteilt werden - die Lösung dieses Problems stellt lediglich die Beachtung der Protokolle dar.

3.5.5 Der Publication Bias

Der Publication Bias ist ein sehr gut dokumentiertes Phänomen^[59] und beschreibt die Verzerrung von Aussagen über einen Sachverhalt durch selektives Veröffentlichen von Studien. SUTTEN et al. nennen hierfür folgende Gründe:

„Selection bias is known to occur in meta­analyses because studies with results that are significant, interesting, from large well­funded studies, or of higher quality are more likely to be submitted, published, or published more rapidly than work without such characteristics.“^[60]

EGGER et al. konnten ebenso zeigen, dass Autoren aus dem deutschsprachigen Raum statistisch signifikante Resultate eher in englischer Sprache publizieren, während nichtsignifikante Studien vorzugsweise in deutschsprachigen Zeitschriften veröffentlicht werden.^[61] SUTTEN et al. beschreiben das Ausmaß dieses Bias auf die Metaanalyse wie folgt: „These estimates suggest that about half of meta­analyses may be subject to some level of publication bias and about a fifth have a strong indication of missing trials.“^[62]

Eine Lösung des Problems existiert nicht, vielmehr bestehen Vorschläge, den Einfluss dadurch zu minimieren, indem einerseits eine ausführliche Literaturrecherche durchgeführt wird und anderseits eine statistische „Absicherung“ durch das „Fail-Safe-N“-Verfahren von ROSENTHAL^[63] (Vgl. Kapitel 3.10.1) ausgeführt wird.

3.5.6 Der Reader Bias

Diese Verzerrung entsteht bei der Beurteilung der Ergebnisse einer Studie. Bedingt durch die Interessen, Kenntnisse als auch Vorurteile des Lesers können Resultate subjektiv unterschiedlich bewertet werden. Das bedeutet im Extremfall, dass nur die vorgefasste Meinung herausgelesen und zusätzlich bestätigt wird.^[64] Eine Eindämmung dieses Problems kann lediglich dadurch geschehen, dass sämtliche Quellen derart kodiert werden, dass bei der Auswertung die relevanten Informationen verschlüsselt vorliegen und somit der Leser die Daten objektiv beurteilt - eine Unterdrückung hingegen ist nahezu unmöglich.

3.6 Übersicht der verschiedenen Probleme sowie des Bias

Die nachfolgende Tabelle fasst die Probleme und Verzerrungen zusammen und soll gleichzeitig durch die angegebenen Lösungsmöglichkeiten als Übersicht dienen.

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 3.1 Übersicht der Probleme und Verzerrungen bei der Metaanalyse^[65]

3.7 Steigerung der Qualität einer Metaanalyse durch Einhaltung des QUOROM-Statements

Im Oktober 1996 wurde ein 30-köpfiges Komitee aus Klinikern, Statistikern und anderen Wissenschaftlern, welche Metaanalysen durchführen oder daran interessiert sind, nach Chicago eingeladen. Ziel der Konferenz war die Erarbeitung von Standards zur Steigerung der „Quality of Reporting of Meta-analyses“ (QUOROM). Hierbei sollte möglichst für jeden Punkt belegt werden, dass eine Nichtbeachtung des jeweiligen Ansatzes zu einer systematischen Verzerrung führen kann. „Die Konferenz brachte das QUOROM-Statement hervor, das aus einer Checkliste und einem Flussdiagramm besteht [(siehe Anhang Tabelle 10.1 und Abbildung 10.1)]. Die Checkliste beschreibt Empfehlungen zur Berichterstattung der Ergebnisse von Metaanalysen, unterteilt nach den Abschnitten Abstrakt, Einleitung, Methoden, Ergebnisse und Diskussion. Die Checkliste ist in 21 (Teil-)Abschnitte gegliedert und soll den Autor einer Metaanalyse dabei unterstützen, den Leser mit den relevanten Informationen über Literatursuche, Studienauswahl, Validitätsprüfung, Datenabstraktion, Studiencharakteristika und quantitativer Datensynthese zu versorgen. Außerdem wird ein Flussdiagramm … gefordert, in dem Informationen über die Anzahl gefundener, ein- und ausgeschlossener RCTs sowie die Gründe für einen Ausschluß enthalten sind.“^[66]

Mittlerweile hat sich diese Forderung auch in der Praxis durchgesetzt - mithin verlangt das Bundesministerium für Bildung und Forschung zusammen mit der Deutschen Forschungsgemeinschaft (DFG) in dem Standard „Grundsätze und Verantwortlichkeiten bei der Durchführung klinischer Studien“ in der aktuellen Version vom 11.11.2003 die Einhaltung des QUOROM-Statements bei Metaanalysen.^[67]

Vergleichbar zum QUOROM-Statement wurde 1996 mit dem CONSORT-Statement^[68] die Empfehlung gegeben, Flussdiagramme auch für RCTs zu erstellen. EGGER et al. zeigten in ihrer Untersuchung im Jahr 1998 auf, dass sich bis dahin von den untersuchten 270 RCT-reports^[69] lediglich 51,5% (139) daran hielten, ein solches Flussdiagramm zu erstellen.

Hierbei wurde eine deutliche Streuung zwischen 8,4% und 93,8% innerhalb der verschiedenen Journals festgestellt.^[70] Zur Hilfe bei der Publikation der Ergebnisse als auch zur besseren Vergleichbarkeit und des höheren Informationsinhaltes kann man auf eine steigende Anwendung hoffen, wenngleich EGGER et al. bemängeln, es sei „unclear whether such flow diagrams improve the quality of trial reports.“^[71]

3.8 Vorgehen bei der Metaanalyse

Die Metaanalyse stellt eine Reihe von Techniken zur Integration von Forschungsergebnissen zur Verfügung und ist daher „kein automatisches Datenanalyseinstrument“^[72]. Zugleich existiert bisher keine Norm zu einer einheitlichen Erstellung einer Metaanalyse. Daraus ergibt sich, dass zweifellos aus identischen, metaanalytisch aufgearbeiteten Untersuchungen verschiedene Ergebnisse resultieren können.^[73]

Abbildung in dieser Leseprobe nicht enthalten

Im Folgenden wird ein Überblick über einen formalen Ablauf der Metaanalyse als auch die verwendeten Techniken gegeben, wobei der Aufbau nach COOPER^[74] die Ausgangslage darstellt (siehe Abbildung 3.3). In dieser Unterteilung werden darüber hinaus die einzelnen Punkte des QUOROM-Statements berücksichtigt.

Abbildung 3.3 Vorgehen bei der Metaanalyse^[75]

3.8.1 Die Planung der Metaanalyse und Explikation der Fragestellung

Abbildung in dieser Leseprobe nicht enthalten

Bevor mit der Arbeit zu einer Metaanalyse angefangen wird, ist es wichtig, die Kernelemente der Fragestellung genau festzulegen und dementsprechend die Literatursuche zu beginnen. „Generell wird das Ergebnis einer Metaanalyse um so befriedigender sein, je präziser die in ihr verfolgte Fragestellung war.“^[76] Diese Stufe der Problemformulierung lässt sich detailliert in weitere einzelne Unterpunkte zerlegen, und geht fließend in die Phase der systematischen Erfassung der Literatur über. Nach HEDGES sollte bei der Sichtung der Literatur zuerst mit einer allgemeinen Fragestellung begonnen werden, welche iterativ verfeinert wird.^[77] Eine Vorgehensweise der Planungsphase ist exemplarisch in Abbildung 3.4 dargestellt und selbsterklärend, so dass die einzelnen Punkte nicht explizit beschrieben werden.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.4 Vorgehen bei der Metaanalyse: Die Problemformulierung^[78]

3.8.2 Das Suchen von Primärstudien

Abbildung in dieser Leseprobe nicht enthalten

Das Ergebnis des Planungsabschnitts ist die exakte Fragestellung, auf die eine breite Sammlung der Ergebnisse erfolgt. Hierbei geht es um die systematische Erfassung und Aufnahme von Primär- und Sekundärstudien, wobei versucht werden sollte, jede veröffentlichte als auch nicht veröffentlichte Studie zu finden.^[79] Bereits hier ist ein Augenmerk auf die verwendeten Methoden sowie die Operationalisierung der verwendeten abhängigen und unabhängigen Variablen zu richten. Obwohl in diesem Stadium noch keine Selektion erfolgt, sind bereits die wesentlichen Merkmale zu notieren, anhand derer im nächsten Schritt eine Auswahl stattfindet. Eine Hilfe zur Beschreibung der jeweiligen Studien ist die Checkliste des QUOROM-Statements.

3.8.3 Die Kodierung, Auswahl und Beurteilung der Studien

Abbildung in dieser Leseprobe nicht enthalten

In dieser Phase steht die Beurteilung der zuvor systematisch gesammelten Studien im Vordergrund. Hierzu ist es erforderlich, das Datenmaterial zu kodieren (Vgl. Abbildung 3.5) und die Informationen zu extrahieren. Hierfür eigenen sich verschiedene Studienmerkmale, wobei die Beurteilung der Studienqualität im Vordergrund steht. Die Schlüsselkomponenten sind dabei die Faktoren Interne Validität, Externe Validität und Konstruktvalidität, welche einzeln zu überprüfen sind. Sofern die Qualitätskriterien nicht eingehalten werden können, sind die jeweiligen Studien aus der Metaanalyse herauszunehmen und die Gründe hierfür zu vermerken. Eine Erleichterung zur systematischen Aufarbeitung stellt die Tabelle 10.2 im Anhang dar. Nach der Kodierung und Selektion erfolgt die Notierung der Effektstärken, anhand derer im nächsten Schritt die Auswertung vorgenommen werden kann.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.5 Vorgehen bei der Metaanalyse: Kodierung der Studien^[80]

3.8.4 Der Vergleich und die Integration der Kennwerte

Abbildung in dieser Leseprobe nicht enthalten

Der statistische Vergleich und die Integration der jeweiligen Kennwerte wird im gesonderten Kapitel „Statistische Methoden der Metaanalyse“ (S. 22ff) detaillierter besprochen, da hierzu verschiedene Möglichkeiten bestehen. An dieser Stelle soll der Vollständigkeit halber lediglich das Prinzip dargestellt werden, welches auch grafisch der Abbildung 3.6 zu entnehmen ist. Der Ablauf der Analyse des Datenmaterials ist die Vereinheitlichung der homogenen untersuchungsspezifischen Effektgrößen der verschiedenen Studien in ein einheitliches Effektgrößenmaß, um diese miteinander vergleichbar zu machen und anschließend zusammenfassen zu können. Dabei ist die Homogenität der Studien zu überprüfen, da sie eine zwingende Voraussetzung für die Anwendung des Delta-Maßes nach GLASS ist. Nach der Umrechnung kann die eigentliche Metaanalyse - die statistische Zusammenführung der Ergebnisse der Einzelstudien durchgeführt werden. Die Resultate sind anschließend auszuwerten und zu interpretieren.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.6 Vorgehen bei der Metaanalyse: Ablauf der statistischen Auswertung^[81]

3.8.5 Die Präsentation der Ergebnisse

Abbildung in dieser Leseprobe nicht enthalten

Die Berichterstattung der Ergebnisse stellt das Finale der Metaanalyse dar und erfolgt beispielsweise auf der Grundlage des QUOROM-Statements. Sie besteht somit aus der Checkliste sowie einem Flussdiagramm.

Darüber hinaus sind die Ergebnisse verbal und gegebenenfalls auch grafisch zusammenzufassen.

3.9 Statistische Methoden der Metaanalyse

Der Begriff Metaanalyse beschreibt allgemein eine quantitative Integration der empirischen Forschungsergebnisse unter Berücksichtigung von Studienmerkmalen. Mit dieser Definition ist jedoch keine bestimmte statistische Technik gemeint, vielmehr gibt es eine Vielzahl von unterschiedlichen Verfahren. Grundsätzlich ist hierbei nach deskriptiven und inferenzstatistischen^[82] Methoden zu unterscheiden. Im Folgenden wird eine Auswahl der jeweiligen Methoden vorgestellt, wobei eine Einteilung von der statistischen Seite vorgenommen wird, um eine bessere Übersicht zu erhalten. Hierdurch wird auch ein späteres Zurückgreifen auf die einzelnen Methoden vereinfacht.

3.9.1 Deskriptive Verfahren

„Die deskriptive [, auch beschreibende] Statistik [genannt,] stellt Verfahren zur Verfügung, das „ungeordnet“ vorliegende Datenmaterial nach Maßgabe definierter Kategorien zu ordnen, in Graphiken und Tabellen übersichtlich und leicht interpretierbar darzustellen und schließlich das Gesamt der Dateninformation in typischen Kennwerten - etwa dem arithmetischen Mittel - zu „verdichten“.”^[83]

Die klassischen Zielsetzungen in einer Metaanalyse sind bei deskriptiven Verfahren die Beschreibung der „wahren“ Effektgröße durch die Berechnung mittlerer Effekte („Effektstärke“^[84] ), das Auszählen von (signifikanten) Ergebnissen (Vote-Counting-Methode) und das Zusammenfassen von Signifikanzwerten (Berechnung von Konfidenzintervallen). Die ersten beiden Methoden werden nachstehend präsentiert, auf die Zusammenfassung der Signifikanzwerte wird im Rahmen dieser Arbeit verzichtet, da sie später nicht angewendet wird.

Definition deskriptiver Verfahren :

Die beschreibende Statistik stellt ein Methodenrepertoire dar, welches erlaubt, eine Gesamtheit von Messwerten sinnvoll zu beschreiben, zu reduzieren und Zusammenhänge zu untersuchen. Bei der Metaanalyse stellen Effektgrößenberechnungen die häufigste Methode dar, das Zusammenfassen von Signifikanzwerten als auch das Vote-Counting sind weitere Verfahren.

3.9.1.1 Die klassische Effektstärkenberechnung

Die Integration von Effektstärken stellt die häufigste Art der metaanalytischen Ergebnisberechnung dar. Dabei werden alle abhängigen Variablen verschiedener Studien in ein gemeinsames Maß, die Effektstärke, transformiert.

„The effect size statistic produces a statistical standardisation of the study findings such that the resulting numerical values are interpretable in a consistent fashion across all the variables and measures involved.“^[85]

Das derzeit gebräuchlichste Veränderungsmaß bzw. die gebräuchlichste Effektgröße ist die von SMITH, GLASS und MILLER eingeführte Effektstärke „Δ“ (bzw. ES)^[86]. Bei der Berechnung hierzu wird die Mittelwertdifferenz zwischen der Versuchsbedingung und der Kontrollgruppe nach der Versuchsdurchführung ins Verhältnis zur Standardabweichung der Kontrollgruppe gesetzt.

Neben dem Veränderungsmaß nach GLASS gibt es weitere verschiedene Varianten der Berechnung von Effektstärken - gemeinsam ist allen Verfahren, dass eine standardisierte Messwertdifferenz errechnet wird.

Eine besondere Form von Effektstärken, die ohne Kontrollgruppe auskommt, wurde von GRAWE und BRAUN beschrieben.^[87] Sie baut auf einer ähnlichen Argumentation auf - jedoch wird anstelle der Kontrollgruppe die Messwertdifferenz einer Therapiegruppe vor und nach der Therapie ins Verhältnis zur Standardabweichung vor der Therapie gesetzt. Beide Methoden einschließlich der Voraussetzungen, Annahmen, Berechnungsmöglichkeiten und Ergebnisinterpretationen werden nun erläutert.

Voraussetzungen und Ausgangslage für die Berechnung nach GLASS:

Das Versuchsdesign besteht aus einer Experimentalgruppe (E) und einer Kontrollgruppe (C). Hierbei müssen jeweils die Stichprobengröße (n), die jeweiligen Mittelwerte (Abbildung in dieser Leseprobe nicht enthalten) als auch die beiden Standardabweichungen (sE und sC)^[88] bekannt sein.

Annahmen nach GLASS :

Die Messwerte der abhängigen Variablen sind in der Experimentalgruppe (E) als auch in der Kontrollgruppe (C) normalverteilt. Darüber hinaus muss Varianzhomogenität bestehen, d.h. es muss gelten:

Abbildung in dieser Leseprobe nicht enthalten

Formel 3.1 Varianzhomogenität als Annahme zur GLASS´schen Effektstärke

Die dritte Anforderung zur Effektstärkenberechnung nach GLASS ist, dass die Populations-Effektstärken Abbildung in dieser Leseprobe nicht enthalten in allen n Studien gleich sind (Modell homogener Effektstärken). „Metaanalysen, die auf dieser Annahme basieren, werden „Fixed Effects Models“ genannt. … Alternativ hierzu beizeichnet man Metaanalysen, bei denen die Populationseffektgröße eine Zufallsvariable darstellt, als „Random Effects Models“.“^[89]

Hierfür stehen prinzipiell verschiedene Methoden zu Verfügung, wobei eine Überprüfung anhand eines Homogenitätstests sehr populär ist.^[90]

Vorgehen und Berechnungen nach GLASS:^[91]

Nachdem alle relevanten Studien ohne Selektion nach methodischer Qualität gesammelt wurden, werden die Ergebnisse jeder Studie zu einer Metrik vereinheitlicht, welche einen Vergleich zwischen den verschiedenen Skalenniveaus der abhängigen Untersuchungen zulässt. Hierbei wird die Effektgröße (ES) eingeführt, welche eine modifizierte Form von COHENs „d“ (siehe Formel 3.3) ist. Diese ist bei GLASS definiert als Differenz der Mittelwerte aus Experimental- und Kontrollgruppe, bezogen auf die Standardabweichung der Kontrollgruppe. Sofern die Standardabweichung der Kontrollgruppe nicht angegeben ist, lässt sich unter den getroffenen Annahmen auch das gewogene Mittel der beiden Varianzen (Abbildung in dieser Leseprobe nicht enthalten) berechnen.

Abbildung in dieser Leseprobe nicht enthalten

Formel 3.2 Grundformel der Effektstärke nach GLASS und Berechnung vonAbbildung in dieser Leseprobe nicht enthalten^[92]

Varianten für die Berechnung von Effektstärken

Für die Berechnung der Effektstärke stellt die Formel nach GLASS nicht die einzige Möglichkeit dar - vielmehr ist in den letzten zwei Jahrzehnten eine Sammlung der verschiedensten Berechnungsmethoden hervorgegangen, wovon einige hier kurz angesprochen werden. Im Wesentlichen ist die Berechnung und ebenso die Interpretation der jeweiligen Ergebnisse ähnlich - mithin sind viele Werte ineinander umrechenbar.

Das Vorgehen unterscheidet sich weitestgehend dadurch, welche Referenzgruppe (Kontrollgruppe, Prätestwerte), welche Streuung (Postteststreuung der Kontrollgruppe, gepoolte Streuung Prä-Post, Prä- oder Postteststreuung) bzw. welche weiteren Daten in die Berechnung eingehen, sofern bestimmte Voraussetzungen wie etwa das Fehlen von Kontrollgruppen nicht erfüllt sind.

Auf eine ausführliche Diskussion wird im Rahmen dieser Arbeit verzichtet, da dem Leser lediglich ein Überblick über die verschiedenen Alternativen gegeben werden soll.

1. Varianten mit Kontrollgruppendesign

a) COHENs „d“

Das „d“ von COHEN ist die Ausgangslage der GLASS´schen Funktion und unterscheidet sich lediglich darin, dass die Standardabweichung gepoolt wird und nicht diejenige der Kontrollgruppe verwendet wird (im Nenner steht die mittlere Standardabweichung der Stichprobe als nichterwartungstreuer Schätzer der Populationsvarianz). Somit stellt die Berechnung nach COHEN eine Alternative zur GLASS´schen Berechnung dar. Lediglich die Interpretationen der Ergebniswerte weichen voneinander ab. ROSENTAHL merkte hierzu an, dass die Interpretation von Korrelationen geläufiger ist als die der d-Maße.^[93]

[...]

---

^[1] Johann Wolfgang von Goethe in seiner „Italienische Reise“, Zweiter Teil, am 16.03.1787 zu seiner Arbeit „Iphigenie“.

^[2] Vgl. u. a. Cooper, R. G., Kleinschmidt, E. J. (1987a), S. 215ff; Cooper, R. G. (1988), S. 240ff

^[3] Vgl. Lechler, T. (1997), S. 23

^[4] Vgl. hierzu das Kapitel 7 und die dort vorgestellten Analysen

^[5] Kleist, P. (2001), S. 1287

^[6] Eigene Darstellung

^[7] Vgl. Drinkmann, A. (1990), S. 17; Hunter, J. E., Schmidt, F. L. (1995)

^[8] Vgl. Totzke, I. (2003), S. 2

^[9] Eigene Darstellung, Daten vgl. PsycInfo (2001)

^[10] Vgl. DUDEN (Rechtschreibung, 2000)

^[11] Vgl. Diemer, A., Frenzel, I. (1958), S. 186

^[12] Vgl. Fricke, R., Treinies, G. (1985), S. 18

^[13] Vgl. Glass, G. V. (1976), S. 3

^[14] o.V. (1997), Metaanalyse

^[15] Vgl. Glass, G. V. et al. (1981), S. 21

^[16] Bortz, J., Döring, A. (2002), S. 628

^[17] Drinkmann, A. (1990), S. 11

^[18] Vgl. Glass, G. V. et al. (1981), S. 21f

^[19] Bangert-Drowns, R.L. (1986), S. 388

^[20] Vgl. Fricke, R., Treinies, G. (1985), S. 15ff

^[21] Drinkmann, A. (1990), S. 12

^[22] Eigene Abbildung, methodisches Vorgehen vgl. Cooper, H. M. (1982)

^[23] Sponsel, R. (2000)

^[24] Bührlen, B. (1999), S. 1;
eine ausführliche Studie zu den Eigenschaften und Problemen von integrativen Reviews führte
JACKSON, G. B (1978) durch - eine Kurzübersicht findet sich auch in Glass, G. V. et al. (1981), S. 13f; zum Vergleich von Review und Metaanalyse siehe auch Beaman, A. L. (1991)

^[25] Vgl. Glass, G. V., Kliegel, R. (1983)

^[26] Vgl. Rosenthal. R., DiMatteo, M. R. (2001), S. 61

^[27] Fricke, R., Treinies, G. (1985), S. 196

^[28] Vgl. Lipsey, M. W., Wilson, D. B. (2001), S. 5ff

^[29] Vgl. auch Cooper, H. M., Rosenthal, R. (1980) und Kiesler, C. A. (1985)

^[30] Vgl. Drinkmann, A. (1990), S. 21

^[31] Drinkmann, A. (1990), S. 21

^[32] Vgl. Lipsey, M. W., Wilson, D. B. (2001), S 7

^[33] Glass, G. V. (1978a), S. 355ff; Glass, G. V. (1982), S. 102ff; Glass, G. V. (1978b) / (1978c) / (1980)

^[34] Glass, G. V., Smith, M. L. (1978)

^[35] Glass, G. V., McGaw, B., Smith, M. L. (1981), S. 217ff

^[36] Smith, M. L., Glass, G. V., Miller, T. I. (1980), S. 46ff

^[37] Vgl. ebenso Glass, G. V., Kliegel, R. M. (1983); Wittmann, W. W., Matt, G. E. (1986); eine weiterführende Behandlung des Themas als „Pro-et-Kontra-Übersicht“ findet sich in Naess, A. (1975), S. 128ff

^[38] Bortz, J., Döring, A. (2002), S. 629

^[39] Zur methodischen Qualität siehe Cook, T., Campell, D. (1979)

^[40] Die Güte der Metaanalyse kann anhand der systematischen Einhaltung der Kriterien des QUOROM-Statements verbessert werden (siehe Kapitel 3.7). Hierbei werden ebenso Studien aus der Untersuchung herausgenommen, falls sie bestimmte Kriterien wie beispielsweise die Variablenvalidität nicht hinreichend erfüllen.

^[41] Vgl. Sedlmeier, P. (1996), S. 58

^[42] Vgl. Eysenck, H. J. (1978)

^[43] Fricke, R., Treinies, G. (1985), S. 170

^[44] SMITH et al. merkten hierzu folgendes an: „Indeed the approach does mix apples and oranges, as one necessarily would do in studying fruits.“ Smith, M. L., Glass, G. V., Miller, T. I. (1980), S. 47

^[45] Drinkmann, A. (1990), S. 28

^[46] Vgl. Bangert-Drowns (1986), S. 392; Sedlmeier, P. (1996), S. 58

^[47] Vgl. Drinkmann, A. (1990), S. 28

^[48] Vgl. Gage, N. L. (1979)

^[49] Vgl. Rosenthal, R. (1984), S. 31ff

^[50] Vgl. Langenscheidts Handwörterbuch (1986), S. 71

^[51] Murphy, E. A. (1976), freie Übersetzung des Autors - im Original: “Any process at any stage of inference tending to produce results that differ systematically from the true values.”

^[52] o.V. (2004), Glossar

^[53] Die Einteilung erfolgt nach Jüni et al. (2001), S. 42 in Anlehnung an: Campbell, D. T. (1957) und Campbell, D. T., Stanley, J. C. (1963); vgl. auch Clarke, M., Oxman, A. D. (2001), S. 40

^[54] Vgl. Chalmers, I. (1990), Egger, M. et al. (1995)

^[55] Vgl. Egger, M. et al. (1997b)

^[56] Vgl. Rothman, K. J., Greenland, S. (1998), S. 119

^[57] Hanns, S., Langer, G. (2002), S. 4

^[58] Vgl. Schulz, K. F. et al. (1995), S. 410

^[59] Vgl. Taylor, S., Tweedie, R. (1998), S. 14; vgl. auch Dear, K., Begg, C. (1992), Dickersin, K., Min, Y., Meinert, C. (1992), Easterbrook, P. et al. (1991), Givens, G. H. et al. (1997), Hedges, L. V. (1992)

^[60] Sutten, A. J. et al. (2000), S. 1574 in Anlehnung an: Song, F. et al. (in press)

^[61] Vgl. Egger, M. et al. (1997a)

^[62] Sutten, A. J. et al. (2000)

^[63] Vgl. Rosenthal. R. (1979)

^[64] Vgl. Owen, R. (1982), Jadad, A. R. (1998)

^[65] Eigene Darstellung

^[66] Moher, D. et al. (2001), QUOROM

^[67] Vgl. BMBF, DFG (2003), S. 4

^[68] CONSORT = Consolidated Standard of Reporting Trials (Überarbeitete Empfehlung zur einheitlichen Berichterstattung über klinische Studien)

^[69] Bei der Analyse gingen folgende Journals ein: AIM (n=19), BMJ (n=42), JAMA (n=45), The Lancet (n=81) und NEJM (n=83).

^[70] Vgl. Egger, M. et al. (2001); Ergebnisse: AIM: 21.0 %; BMJ: 38.1 %; JAMA: 80.0 %;

The Lancet: 93.8 % und NEJM: 8.4 %.

^[71] Egger, M. et al. (2001)

^[72] o.V. (1997), Metaanalyse

^[73] Vgl. Drinkmann, A. et al. (1989); Steiner et al. (1991)

^[74] Vgl. Cooper, H. M. (1982)

^[75] Eigene Darstellung

^[76] o.V. (1997), Metaanalyse

^[77] Vgl. Hedges, L. V. (1986), S. 359

^[78] Eigene Darstellung in Anlehnung an: Wagener-Wender, M. (2004), S. 10

^[79] Vgl. Rosenthal, R., DiMatteo, M. R. (2001), S. 69

^[80] Eigene Darstellung in Anlehnung an: Wagener-Wender, M. (2004), S. 10

^[81] Eigene Darstellung in Anlehnung an: Wagener-Wender, M. (2004), S. 11

^[82] Die Inferenzstatistik wird vielfach auch als „schließende“ oder „induktive“ Statistik bezeichnet.

^[83] Haagen, R., Pertler, K. (1976), S. 9

^[84] Synonym zur Effektstärke wird auch der Begriff „Effektgröße“ bzw. im angloamerikanischen Sprachgebrauch der Begriff „Effect Size“ verwendet.

^[85] Lipsey, M. W., Wilson, D. B. (2001), S. 4

^[86] Vgl. Smith, M. L. et al. (1980); im Folgenden wird für die Effektstärke die Abkürzung „ES“ in den Formeln verwendet. Die Effektstärke wird je nach Autor auch mit der Größe „g“

(z. B. Hedges, L. V., Olkin, I. (1985), S. 9), COHENs-„d“ (z. B. Cohen, J. (1988);

Fricke, R., Treinies, G. (1985), S. 73; Drinkmann, A. (1990), S. 47;

Hunter, J. E., Schmidt, F. L., Jackson, G. B. (1982), S. 98) oder „ES“

(z. B. Lipsey, M. W., Wilson, D. B. (2001), S. 37) beschrieben. Die Unterschiede werden auf den kommenden Seiten detailliert betrachtet. Die Familie der „d“-Effektstärken ist hierbei nicht zu verwechseln mit der „r“-Familie (Produkt-Momenten-Korrelation), wenngleich eine einfache Umrechnung nach der Formel 3.3 und Formel 10.2 möglich ist.

^[87] Vgl. Grawe, K., Braun, U. (1994)

^[88] Anstelle der Standardabweichung genügt es auch, wenn die F- oder t-Werte bekannt sind, um die Standardabweichung zu schätzen.

^[89] Bortz, J., Döring, A. (2002), S. 631

^[90] Die Formel zur Durchführung eines Homogenitätstest findet sich im Anhang – auf eine ausführliche Diskussion dieser Methode wird in diesem Rahmen bewusst verzichtet, stattdessen wird auf Bortz, J., Döring, A. (2002), S. 635f - Test des Parameters Q, approximativ χ2-verteilt, sowie

Fricke, R., Treinies, G. (1985), S. 84ff und S. 125f - approximativer χ2-Test, verwiesen.

Neben dem χ2-Ansatz gibt es alternativ die Möglichkeiten, die 75%-Regel

(vgl. Bortz, J., Döring, A. (2002), S. 637) oder aber auch den Residualansatz zu verwenden

(vgl. Hunter, J. E., Schmidt, F. L., Jackson, G. B. (1982)).

^[91] Zum Vorgehen vgl. Bangert-Drowns, R. L. (1986), S. 391

^[92] Glass, G. V. et al. (1981), S. 29 bzw. S. 102; Berechnung der Standardabweichung sx nach

Hunter, J. E., Schmidt, F. L., Jackson, G. B. (1982), S. 98 bzw. Hedges, L. V. (1981), S. 109

^[93] Vgl. Rosenthal, R. (1994), S. 234ff