Abstract

Innerhalb der letzten 30 Jahre wurden zahlreiche Untersuchungen zu Erfolgsfaktoren im Projektmanagement durchgeführt. Das Ziel dieser Arbeit ist es, hieraus die wesentlichen Determinanten innerhalb der Projektplanungsphase zu identifizieren, wobei das Einzel- und das Multiprojekt betrachtet werden. Die Ergebnisse von verschiedenen Ab-handlungen sollen dabei mithilfe der Metaanalyse zusammengeführt werden. Zuerst wird die Metaanalyse beschrieben, welche sich von einer Übersichtsarbeit durch eine statistische Untermauerung der Erkenntnisse unterscheidet. Dabei werden die verschiedenen Methoden und Herangehensweisen vergleichend erläutert, wobei auf die spezifischen Probleme bei der Datenverdichtung und -auswertung hingewiesen wird. Im zweiten Abschnitt werden das Projekt- und Multiprojektmanagement vorgestellt, wobei Letzteres in das Programm- und Portfoliomanagement unterteilt wird. Die verschiedenen Aspekte zur Planung werden aufgezeigt, wobei aufgrund der verwendeten Definitionen der Fokus auf der operativen Planung liegt. Ausgehend von den in der Planungsphase definierten Tätigkeiten werden Erfolgsfak-toren beschrieben. Bei der Analyse verschiedener Studien hat sich dabei herausgestellt, dass keine einheitlichen Definitionen in Bezug auf das Programm- und das Portfoliomanagement existieren. Ebenso hat sich gezeigt, dass auch der Planungserfolg unterschiedlich aufgefasst und an unterschiedlichen Faktoren gemessen wird. Die Erzielung eines validen Ergebnisses bei einer statistischen Integration setzt jedoch die Vergleichbarkeit der betrachteten Studien und die Homogenität des Datenmaterials voraus. Unter diesem Gesichtspunkt konnte keine metaanalytische Betrachtung erstellt werden. Anstelle einer Metaanalyse werden daher die Resultate verschiedener Arbeiten in Bezug auf die Erfolgsfaktoren der Planung vergleichend dargestellt. Als Fazit ist festzuhalten, dass die Planung sowohl im Einzel- als auch im Multiprojekt ein Erfolgsfaktor ist, wobei über das Erfolgsausmaß keine Einstimmigkeit besteht. Die empirisch ermittelten Erfolgsfaktoren der Planung im Einzelprojekt sind hierbei v. a. eine klare Zielvorgabe, die Partizipation aller Beteiligten sowie eine regelmäßige und formalisierte Planung. Die Intensität der Planung hat hingegen einen geringen Einfluss. Für das Multiprojektmanagement haben sich v. a. die Faktoren Ressourcenzuteilung, Projektpriorisierung sowie die Unterstützung durch das (Top)Management als ausschlaggebend für den Gesamterfolg herausgestellt.

Inhaltsverzeichnis II

Inhaltsverzeichnis   

Inhaltsverzeichnis..........................................................................................................   II

Abk  ürzungsverzeichnis  IV

Abbildungsverzeichnis.   V

Tabellenverzeichnis.   VI

1  Einführung.  1

2  Aufbau der Arbeit.  2

3  Die Metaanalyse  4

3.1  Grundgedanke und Zielsetzung  4

3.2  Die Abgrenzung zum Review  7

3.3  Die wesentlichen Vorteile einer Metaanalyse.  8

3.4  Die wesentlichen Nachteile der Metaanalyse  9

3.4.1  Das „Garbage in - Garbage out“-Problem  9

3.4.2  Das „Äpfel-und-Birnen“-Problem  10

3.4.3  Das Problem abhängiger Untersuchungsergebnisse  11

3.4.4  Das File-Drawer-Problem  11

3.5  Beeinflussung einer Metaanalyse durch den Bias.  12

3.5.1  Der Selection Bias.  13

3.5.2  Der Performance Bias  13

3.5.3  Der Detection Bias  13

3.5.4  Der Attrition Bias.  13

3.5.5  Der Publication Bias  14

3.5.6  Der Reader Bias  14

3.6  Übersicht der verschiedenen Probleme sowie des Bias  15

3.7  Steigerung der Qualität einer Metaanalyse durch Einhaltung des  

QUORO  -MStatements  16

3.8  Vorgehen bei der Metaanalyse.  18

3.8.1  Die Planung der Metaanalyse und Explikation der Fragestellung  18

3.8.2  Das Suchen von Primärstudien  19

3.8.3  Die Kodierung, Auswahl und Beurteilung der Studien  19

3.8.4  Der Vergleich und die Integration der Kennwerte.  20

3.8.5  Die Präsentation der Ergebnisse.  21

3.9  Statistische Methoden der Metaanalyse  22

3.9.1  Deskriptive Verfahren.  22

3.9.1.1  Die klassische Effektstärkenberechnung.  23

3.9.1.2  Das Vote-Counting-Verfahren  31

3.9.2  Inferenzstatistische Verfahren.  33

3.9.2.1  Die Methode von kombinierten Wahrscheinlichkeiten.  33

3.9.2.2  Annäherungsweises Pooling der Daten und Korrektur des  

Stichprobenfehlers.   33

3.9.2.3  Weitere statistische Ansätze zur Metaanalyse  34

3.10  Überprüfung vorliegender Verzerrungen  36

Inhaltsverzeichnis III

3.10.1  Das „Fail-Safe-N“-Verfahren.  36

3.10.2  Die grafische Darstellung durch den Funnel-Plot.  37

4  Das Einzel- und Multiprojekt  39

4.1  Das Projekt  39

4.2  Das Projektmanagement  40

4.3  Das Multiprojekt  41

4.4  Das Programm- und Portfoliomanagement.  45

4.4.1  Das Programmmanagement  45

4.4.2  Das Projektportfoliomanagement.  48

5  Die Planung.  50

5.1  Grundlagen der (Projekt-)Planung  50

5.2  Die Projektplanung als Teil des Projektzyklus  53

5.3  Die Projektplanungsphasen.  55

5.4  Die Planung im Multiprojektmanagement  58

5.4.1  Die Programmplanung  58

5.4.2  Die Projektportfolioplanung.  61

6  Erfolg und Erfolgsfaktoren im Projektmanagement.  65

6.1  Erfolgsfaktoren.  66

6.2  Darstellung von Erfolg und Erfolgsfaktoren im Projekt  67

6.3  Darstellung von Erfolg und Erfolgsfaktoren beim Multiprojekt.  70

6.4  Zusammenfassende Darstellung der Einfluss- und Erfolgsfaktoren.  73

7  Metaanalyse von Erfolgsfaktoren in der Projektplanung.  75

7.1  Explikation der Fragestellung  75

7.2  Erfassung von Studien  76

7.3  Präsentation der Ergebnisse  78

7.3.1  Die Planung als Erfolgsfaktor im Einzelprojekt  78

7.3.2  Die Planung als Erfolgsfaktor im Multiprojekt.  80

8  Kritische Bewertung der Ergebnisse.  86

9  Literaturverzeichnis.  89

10  Anhang  111

10.1  Das QUORO-MStatement  111

10.2  Formeln und Tabellen  114

10.2.1  Umrechnung von t in ES  114

10.2.2  ES und Korrelation - Umrechnung von der „d-Familie“  

in  die „r-Familie“  114

10.2.3  Berechnung von Q für einen Homogenitätstest  114

10.2.4  Verteilungsfunktion der Standardnormalverteilung.  115

10.3  Studien zum Planungserfolg  116

11  Stichwortverzeichnis  120

Abkürzungsverzeichnis IV

Abkürzungsverzeichnis

Allgemeine Abkürzungen

Anm. d. Verf. Aufl. BSC CONSORT DIN ebd. f. FDIS ff. GPM Hrsg. IPMA ISO Jg. No. Nr. Nummer OGC The Office of Government Commerce PMI PMO RCT S. Seite TDM Tausend Deutsche Mark u. a. unter anderem usw. und so weiter vgl.

Vol. z. B.

Abkürzungen der Literaturquellen AIM The Annals of Internal Medicine BMJ JAMA NEJM WiSu ZfB

Abbildungsverzeichnis   

Abbildungsverzeichnis   

Abbildung  2.1 Aufbau der Arbeit  

Abbildung  3.1 Mittlere Anzahl an Metaanalysen pro Jahr  

Abbildung  3.2 Die Metaanalyse als Integrationsmethode  

Abbildung  3.3 Vorgehen bei der Metaanalyse.  

Abbildung  3.4 Vorgehen bei der Metaanalyse: Die Problemformulierung  

Abbildung  3.5 Vorgehen bei der Metaanalyse: Kodierung der Studien  

Abbildung  3.6 Vorgehen bei der Metaanalyse: Ablauf der statistischen  

Abbildung  3.7 Darstellung von kleinen und großen Effekten der Metaanalyse  

Abbildung  3.8 Hypothetische Funnel-Plots  

Abbildung  4.1 Das Multiprojekt in Beziehung zur Unternehmensumwelt.  

Abbildung  4.2 Modell zur Unterscheidung von Portfolio- und  

Programmmanagement   

Abbildung  4.3 Lebenszyklus des Programmmanagements.  

Abbildung  4.4 Lebenszyklus des Projektportfoliomanagements.  

Abbildung  5.1 Planungsvorgehen - von der Strategie zu Maßnahmen.  

Abbildung  5.2 Dauer des Planungsprozesses in Kalenderwochen  

Abbildung  5.3 Projekt mit Planung, Steuerung und Kontrolle  

Abbildung  5.4 Projektplanungsphasen.  

Abbildung  5.5 Phasen des Portfoliomanagements.  

Abbildung  5.6 operative Aufgaben der Portfolioplanung.  

Abbildung  6.1 Einflüsse auf den Projekterfolg - Kriterien und Stakeholder  

Abbildung  6.2 Vier Stufen des Projekterfolgs  

Abbildung  6.3 Erfolgsfaktoren im Multiprojektmanagement.  

Abbildung  6.4 Mehrdimensionale Zuordnung des Erfolgs.  

Abbildung  10 1 Flussdiagramm des QUORO-MStatements  

Tabellenverzeichnis VI

Tabellenverzeichnis

Tabelle 3.1

Tabelle 3.2 Tabelle 3.3 Tabelle 3.4 Tabelle 5.1 Tabelle 5.2 Tabelle 5.3

Tabelle 6.1

Tabelle 6.2

Tabelle 7.1

Tabelle 7.2 Tabelle 10.1 Tabelle 10.2 Tabelle 10.3

Tabelle 10.4

Formelverzeichnis

Formel 3.1

Formel 3.2 Formel 3.3

Formel 3.4 Formel 3.5 Formel 3.6 Formel 3.7

Formel 3.8 Formel 3.9 Formel 3.10 Formel 3.11 Formel 3.12 Formel 3.13 Formel 10.1 Formel 10.2 Formel 10.3

1 Einführung 1

1 Einführung

Zusammenhänge zwischen dem Innovationserfolg und dem Unternehmenserfolg konnten in der Vergangenheit bereits empirisch nachgewiesen werden. ² Auch wurde bereits untersucht, inwiefern sich die Planung innerhalb des Projektmanagements als Teil des Innovationsmanagements ³ als Erfolgsfaktor darstellt: Im Ergebnis mehrerer Untersuchungen konnte ein positiver Zusammenhang zwischen der Planung und dem Erfolg festgestellt werden. 4

Dennoch hat sich zum Beispiel am Fall von Toll Collect auch in jüngster Zeit gezeigt, dass durch die Nichteinhaltung von Planvorgaben im Umkehrschluss Misserfolge entstehen können.

In der vorliegenden Arbeit soll daher die Planungsphase sowohl im Einzelprojekt als auch im Multiprojekt detaillierter untersucht werden.

Die spezifische Zielsetzung dieser Arbeit leitet sich dabei aus der Problematik nachstehender Fragestellungen ab:

-Was versteht man unter einer erfolgreichen Projektplanung?

-Wie kann der Erfolg gemessen und ausgewertet werden?

-Was sind die wesentlichen Determinanten innerhalb der Planungsphase, die letztendlich den Erfolg bestimmen?

-Lassen sich die bisherigen Untersuchungen zu den Erfolgsfaktoren sinnvoll

-Treffen die Erfolgsfaktoren gleichermaßen für Einzel- und Multiprojekte zu?

¹ Johann Wolfgang von Goethe in seiner „Italienische Reise“, Zweiter Teil, am 16.03.1787 zu seiner Arbeit „Iphigenie“.

² Vgl. u. a. Cooper, R. G., Kleinschmidt, E. J. (1987a), S. 215ff; Cooper, R. G. (1988), S. 240ff

³ Vgl. Lechler, T. (1997), S. 23

⁴ Vgl. hierzu das Kapitel 7 und die dort vorgestellten Analysen

2 Aufbau der Arbeit 2

Um die einzelnen Faktoren und die Ergebnisse verschiedener Studien zu diesem Thema zu untersuchen, soll dabei die Methode der Metaanalyse angewendet werden. Während der letzten 10 Jahre hat die Anzahl der veröffentlichten Metaanalysen bedeutend zugenommen. „Meta-Analysen haben inzwischen den klassischen medizinischen Übersichtsartikel nahezu verdrängt und werden von vielen ihrer Befürworter mit der höchsten Stufe des Erkenntnisgewinns gleichgesetzt.“ 5

Diese Methode soll dabei auf ein betriebswirtschaftliches Thema übertragen werden, um hiermit, anstelle der derzeit am häufigsten verwendeten Methode des Reviews, statistisch untermauerte Erkenntnisse zu gewinnen.

Zusammenfassend soll diese Arbeit dem Leser die genannten Fragestellungen beant-worten, wobei ausführlich die verwendeten Instrumente und Grundlagen zu diesem Thema besprochen werden. Daraus ergibt sich auch die Vorangehensweise in dieser Arbeit, welche im nächsten Kapitel dargestellt wird.

2 Aufbau der Arbeit

Die Bearbeitung der Aufgabenstellung erfordert eine systematische Vorgehensweise, wobei diese Arbeit eine aufbauende modulare Struktur verfolgt. Die Abhandlung lässt sich in insgesamt sechs inhaltliche Kapitel und in drei große Bereiche unterteilen, wobei die ersten beiden im Wesentlichen die theoretischen Aspekte betrachten und diese anschließend im dritten Part empirisch untersucht werden. Der erste Block ist die formale Auseinandersetzung mit der Metaanalyse, deren Vor-und Nachteilen sowie den geläufigsten Anwendungsmethoden in Kapitel 3. Der zweite große Bereich ist die Betrachtung und Definition von Projekten (Kapitel 4) sowie deren Planung (Kapitel 5). Eingeordnet in den Projektzyklus wird die Projektplanungsphase auf Projekt- und Multiprojektebene beschrieben. Die Tätigkeiten werden dabei in Hinblick auf die Erfolgsfaktoren der Projektplanung beleuchtet (Kapitel 6). Im dritten Abschnitt, den Kapiteln 7 und 8, werden dann die vorangehenden Vorüberlegungen verbunden, indem mit Primär- und Sekundärstudien zu den Erfolgsfaktoren eine metaanalytische Betrachtung erstellt wird. Abschließend werden die Aussagen inhaltlich zusammengefasst und kritisch reflektiert.

⁵ Kleist, P. (2001), S. 1287

2 Aufbau der Arbeit 3

Die zentralen Definitionen und Erkenntnisse werden innerhalb dieser Arbeit zusätzlich farblich hervorgehoben und erleichtern so ein schnelles Zurückgreifen auf die wesentlichen Inhalte der jeweiligen Abschnitte.

Einen Überblick über den Aufbau und die inhaltliche Verbindung zwischen den einzelnen Kapiteln stellt die nachfolgende Grafik dar.

Abbildung 2.1 Aufbau der Arbeit 6

⁶ Eigene Darstellung

3 Die Metaanalyse 4

3 Die Metaanalyse

Das Instrument „Metaanalyse“ hat sich in den letzten Jahren zunehmend verbreitet ⁷ , sodass man, wie aus der Abbildung 3.1 ersichtlich, regelrecht von einem „Metaanalyse-Boom“ sprechen kann ⁸ . Gegenwärtig findet die Metaanalyse in den verschiedensten Bereichen Anwendung: sowohl hauptsächlich in der Psychologie/Medizin (z. B. GLASS, HUNTER, SCHMIDT, ROSENTHAL), als auch vermehrt in anderen Berei-

Abbildung3.1 Mittlere Anzahl an Metaanalysen pro Jahr 9

Diese Fragestellung wird auf den kommenden Seiten ausführlich diskutiert, wobei die Vor- und Nachteile als auch die Abgrenzung zu anderen Analyseformen verdeutlicht werden.

3.1 Grundgedanke und Zielsetzung

Dem hermeneutischen Ursprung nach bedeutet die griechische Vorsilbe „Meta“ soviel wie „über“, „nach“, „neben“ oder „zwischen“ ¹⁰ . DIEMER und FRENZEL interpretieren sie als „das hinter und nach, das zugleich dann auch ein vor und über mitmeint“ ¹¹ . FRICKE und TREINIES deuten daraus für die Metaanalyse das „nach“ als den Anschluss an eine Primär- und/oder Sekundäranalyse und das „über“ als integrativen Überblick über den Stand der Forschung von einer höheren Warte aus ¹² . Ebenso sind die Metaebenen wie erwähnt in diversen Fachrichtungen gebräuchlich, z. B. auch in der Philosophie: Unter Meta-Kritik versteht man hier so viel wie „Kritik

⁷ Vgl. Drinkmann, A. (1990), S. 17; Hunter, J. E., Schmidt, F. L. (1995)

⁸ Vgl. Totzke, I. (2003), S. 2

⁹ Eigene Darstellung, Daten vgl. PsycInfo (2001)

¹⁰ Vgl. DUDEN (Rechtschreibung, 2000)

¹¹ Vgl. Diemer, A., Frenzel, I. (1958), S. 186

¹² Vgl. Fricke, R., Treinies, G. (1985), S. 18

3 Die Metaanalyse 5

der Kritik“. Als Gene V. Glass den Begriff „Metaanalyse“ 1976 erstmalig einführte, verwendete er ebenfalls die Definition „Analyse von Analysen“ für diese Technik. ¹³ Hierunter verstand er, dass die „Metaanalyse (ist) ein Sammelname für eine Reihe von Techniken zur quantitativen Integration von Forschungsergebnissen [ist](…).“ ^14/15 . „Diese Auffassung charakterisiert auch die heutige Situation recht gut, denn von einer einheitlichen Methodik der Metaanalyse kann schwerlich die Rede sein (…) [- vielmehr] befindet sich die Metaanalyse in einem Entwicklungsprozeß, dessen Ende noch nicht absehbar ist.“ 16

Während diese klassische Definition nach GLASS vor allem „die Bestimmung des Präfixes „Meta“ als Kennzeichen einer Prozedur, die auf eine oder mehrere Prozeduren gleichen Typs angewendet wird“ ¹⁷ näher beschreibt, betont die Begriffsbestimmung nach BANGERT-DROWNS eher den quantitativen Aspekt (vgl. ebenso GLASS et al. ¹⁸ ).

Hieraus wird ersichtlich, dass keine eindeutigen, jedoch ähnliche und ergänzende Begriffsbestimmungen existieren. FRICKE und TREINIES übernehmen beispielsweise die Grundgedanken und setzen darauf auf, indem sie die Metaanalyse als „weiterführende Integrationsmethode“ ²⁰ betrachten. Hierbei bauen sie auf dem Modell von COOPER auf, welches in Abbildung 3.2 grafisch dargestellt ist.

¹³ Vgl. Glass, G. V. (1976), S. 3 ¹⁴ o.V. (1997), Metaanalyse ¹⁵ Vgl. Glass, G. V. et al. (1981), S. 21

¹⁶ Bortz, J., Döring, A. (2002), S. 628

¹⁷ Drinkmann, A. (1990), S. 11

¹⁸ Vgl. Glass, G. V. et al. (1981), S. 21f

¹⁹ Bangert-Drowns, R.L. (1986), S. 388

²⁰ Vgl. Fricke, R., Treinies, G. (1985), S. 15ff

3 Die Metaanalyse 6

Dabei wird der Metaanalyse zusätzlich zu dem statistisch quantitativen Element auch ein qualitatives zugesprochen, indem der reinen statistischen Zusammenführung der Primär- und Sekundäranalysen (Stufe 5) die grundlegenden Stufen 1 bis 3 vorangestellt werden und somit das methodische Vorgehen der Vorstudien einbezogen wird („Strukturparallelität zur Durchführung empirischer Primärstudien“ ²¹ ). Anhand der Abbildung kann man erkennen, dass Ausgangspunkte der Metaanalyse hierbei verschiedene, unabhängige Primäranalysen und darauf aufbauende Sekundäranalysen sind. COOPER schlägt daher „in Analogie zum methodischen Vorgehen in Einzeluntersuchungen folgende fünf Schritte vor, die im Kapitel 3.8 (S. 18ff) ausführlich beschrieben werden:

1. Problemformulierung 2. Sammlung der Ergebnisse 3. Bewertung der Ergebnisse 4. Analyse und Interpretation der Ergebnisse 5. Präsentation der Ergebnisse

Abbildung 3.2 Die Metaanalyse als Integrationsmethode 22

²¹ Drinkmann, A. (1990), S. 12

²² Eigene Abbildung, methodisches Vorgehen vgl. Cooper, H. M. (1982)

3 Die Metaanalyse 7

Zusammenfassend lässt sich die Metaanalyse wie folgt beschreiben:

3.2 Die Abgrenzung zum Review

Die Metaanalyse steht konkurrierend und auch ergänzend zum narrativen Review, dessen primäre Aufgabe es ist, den aktuellen Forschungsstand anhand neuer Literatur aufzuarbeiten und zu verdichten. Das klassische Vorgehen beim Review ist die umfassende Literatursammlung, der Ausschluss „schlechter“ Studien und anschließend die Zusammenfassung der Aussagen aus den verbleibenden Studien. Somit hat diese Methode im Vergleich zu der Metaanalyse eher einen breiteren Fokus und ist durch die Subjektivität des Reviewers gekennzeichnet, wohingegen die Metaanalyse nicht auf sprachlicher sondern statistischer Ebene versucht, eine objektive Integration der vorliegenden Forschungsergebnisse zu erreichen. Der Input für eine Metaanalyse sind hierbei Effektgrößen aus Einzelstudien, aus denen dann ein Populationseffekt geschätzt werden soll. Das Ziel der Metaanalyse ist somit eine statistisch abgesicherte Aussage über einen (nicht) bestehenden Populationseffekt.

Die „Probleme des narrativen Reviews sind die Entscheidung, welche Studien einbezogen werden sollen, die Kriterien zur Beurteilung der Qualität der Primärstudien, die Bearbeitung von Teilmengen an Befunden aus einzelnen Studien, Schwierigkeiten bei der Berücksichtigung statistischer Interaktionen, des Stichprobenfehlers“ ²⁴ usw. Ebenso wird das Vorgehen bei der Zusammenfassung der Ergebnisse selten dokumentiert oder der Umfang der Angaben wird den Anforderungen der Metaanalyse nicht gerecht. ²⁵ Somit erlaubt die Metaanalyse genauere und glaubwürdigere Schlussfolgerungen als Primärstudien oder nichtquantitative, narrative Reviews. 26

²³ Sponsel, R. (2000)

²⁴ Bührlen, B. (1999), S. 1;

eine ausführliche Studie zu den Eigenschaften und Problemen von integrativen Reviews führte JACKSON, G. B (1978) durch - eine Kurzübersicht findet sich auch in Glass, G. V. et al. (1981), S. 13f; zum Vergleich von Review und Metaanalyse siehe auch Beaman, A. L. (1991)

²⁵ Vgl. Glass, G. V., Kliegel, R. (1983)

²⁶ Vgl. Rosenthal. R., DiMatteo, M. R. (2001), S. 61

3 Die Metaanalyse 8

Doch auch die Metaanalyse hat neben ihren Vorteilen auch ihre schwachen Seiten. „Angesichts … [der] Vielfalt in den metaanalytischen Methoden dürfte es zunehmend schwieriger werden, die Integrationsmethode „Metaanalyse“ in pauschaler Weise zu kritisieren.“ ²⁷ Im Folgenden werden neben den Vorteilen auch die Nachteile differenziert betrachtet und gegebenenfalls bekannte Lösungsansätze aufgezeigt.

3.3 Die wesentlichen Vorteile einer Metaanalyse

LIPSEY und WILSON nennen vier wesentliche Gründe für die Metaanalyse, welche in der Literatur unangefochten sind: ²⁸ 1. Die Metaanalyse ist eine strukturierte, systematische und nachvollziehbare Analysetechnik zur Zusammenfassung von Forschungsergebnissen ²⁹ . 2. Die Metaanalyse ist ein Werkzeug, welches die Forschungsergebnisse differenzierter betrachtet als konventionelle Review-Techniken. 3. Präzise Untersuchungen der Studien bei der Metaanalyse können Effekte und Beziehungen besser darstellen als qualitative, narrative Reviews. 4. Die Metaanalyse bietet einen strukturierten Überblick und die Möglichkeit

Darüber hinaus führt DRINKMANN weitere positive Aspekte an, indem er der Metaanalyse zuspricht, dass sie in der Ergebnisentscheidung auch bei widersprüchlichen Primäranalysen durch statistische Absicherung anwendbar ist. ³⁰ Zusätzlich hebt er her-vor, dass die „Unterschiedlichkeit [der Primärergebnisse] bzw. Varianz eine zentrale metaanalytische Zielgröße [darstellt]. Ihre Feststellung und Analyse bedingen zwei entscheidende Vorteile der metaanalytischen Methodik, nämlich zum einen die Beurteilung von Variabilität in Stichproben von Primärergebnissen und zum anderen die prinzipielle Möglichkeit der Erklärung dieser Variabilität, und zwar durch Rückführung auf korrelierende Einflußgrößen.“ 31

²⁷ Fricke, R., Treinies, G. (1985), S. 196

²⁸ Vgl. Lipsey, M. W., Wilson, D. B. (2001), S. 5ff

²⁹ Vgl. auch Cooper, H. M., Rosenthal, R. (1980) und Kiesler, C. A. (1985)

³⁰ Vgl. Drinkmann, A. (1990), S. 21

³¹ Drinkmann, A. (1990), S. 21

3 Die Metaanalyse 9

3.4 Die wesentlichen Nachteile der Metaanalyse

Neben inhärenten Argumenten wie notwendigen statistischen Kenntnissen und einer längeren Durchführungszeit einer Metaanalyse im Vergleich zum Review ³² birgt die Metaanalyse als Instrument weitere immanente Probleme in sich. Diese werden nachstehend dargestellt, wobei hierzu jeweils etablierte Lösungsansätze aufgezeigt werden. Die Diskussion der Probleme erfolgt bewusst detaillierter als die Darstellung der positiven Aspekte, da je nach Ansatz der Problemlösungsmethoden das Ergebnis einer Metaanalyse deutlich variieren kann.

Nach GLASS ³³ , GLASS und SMITH ³⁴ , GLASS, McGAW und SMITH ³⁵ sowie SMITH, GLASS und Miller ³⁶ existieren folgende Hauptprobleme der Metaanalyse, welche nachstehend ausführlicher betrachtet werden ³⁷ : 1. Die unterschiedliche methodische Qualität der Studien bleibt unberücksichtigt (Vgl. Kapitel 3.4.1: Das „Garbage in - Garbage out“-Problem). 2. Studien mit unterschiedlicher Zielsetzungen und daher unterschiedlichen Zielkriterien und Messinstrumenten werden integriert (Vgl. Kapitel 3.4.2: Das „Äp-fel-und-Birnen“-Problem).

3. Abhängige Daten werden in der Metaanalyse kumuliert und wie unabhängige behandelt (Vgl. Kapitel 3.4.3: Das Problem abhängiger Untersuchungsergebnisse).

4. Die selektive Veröffentlichung von Studien repräsentiert nicht den derzeitigen Stand der Forschung (Vgl. Kapitel 3.4.4: Das File-Drawer-Problem).

3.4.1 Das „Garbage in - Garbage out“-Problem

Wie man in den Wald hineinruft, so schallt es auch wieder heraus, besagt ein altes Sprichwort - und genau hierum geht es auch bei dieser Kritik an der Metaanalyse. „Der Metaanalyse wird gelegentlich vorgehalten, ihre Ergebnisse seien wenig valide, weil unkritisch jede thematisch einschlägige Studie unabhängig von ihrer methodischen Qualität berücksichtigt wird (…).“ ³⁸ Somit gehen „methodisch sehr schwache“ Studien

³² Vgl. Lipsey, M. W., Wilson, D. B. (2001), S 7

³³ Glass, G. V. (1978a), S. 355ff; Glass, G. V. (1982), S. 102ff; Glass, G. V. (1978b) / (1978c) / (1980)

³⁴ Glass, G. V., Smith, M. L. (1978)

³⁵ Glass, G. V., McGaw, B., Smith, M. L. (1981), S. 217ff

³⁶ Smith, M. L., Glass, G. V., Miller, T. I. (1980), S. 46ff

³⁷ Vgl. ebenso Glass, G. V., Kliegel, R. M. (1983); Wittmann, W. W., Matt, G. E. (1986); eine weiterführende Behandlung des Themas als „Pro-et-Kontra-Übersicht“ findet sich in Naess, A. (1975), S. 128ff

³⁸ Bortz, J., Döring, A. (2002), S. 629

3 Die Metaanalyse 10

genauso ein wie „methodisch saubere“, was dazu führt, dass das Ergebnis der Metaanalyse durch die „schlechten Studien“ verzerrt wird bzw. die Qualität ³⁹ der Metaanalyse abnimmt. Um dieses Problem zu umgehen, bieten sich folgende Lösungen an: Einerseits können „methodisch schwache“ Studien anhand von Ausschlusskriterien aus der Metaanalyse komplett herausgenommen werden - somit ist mit einem präziseren Endergebnis zu rechnen. ⁴⁰ Bei diesem Ausschlussprinzip ist allerdings zu berücksichtigen, dass hierbei selektiv die Grundgesamtheit der Studien reduziert wird und ferner die Gefahr von zu engen oder zu oberflächlichen Kriterien besteht. Der moderatere Weg ist die Verwendung einer Gewichtungstechnik um die Qualität der Metastudie zu kontrollieren: Hierbei wird ein Ranking der einzelnen Studien durchgeführt, sodass „schlechtere“ Studien einen geringen Einfluss auf das Gesamtergebnis haben. Ferner bietet sich die Einführung einer Moderatorvariable an, mit der die Studien nach ihrer methodischen Qualität kodiert werden. Hierdurch wird zusätzlich eine separate Analyse ermöglicht, falls die Effekte für die Subgruppen sehr unterschiedlich sind. 41

3.4.2 Das „Äpfel-und-Birnen“-Problem

Dieses Manko wird häufig auch als „Uniformitätsproblem“, „Apples-and-oranges-Problem“ oder „Inkommensurabilität“ bezeichnet. EYSENCK äußerte bereits 1978, dass die Metaanalyse einerseits zwar Studien der gleichen Fragestellung aggregiert, andererseits das Studiendesign durchaus verschieden ist und somit unterschiedliche Konstrukte wie gleiche behandelt würden. ⁴² Somit könne die Analyse einer undifferenzierten Sammlung von Studien zu einem Thema zu einer Nicht-Interpretierbarkeit der resultierenden mittleren Effektgröße führen.

Dem gegenüber steht, dass gerade „zur Absicherung wissenschaftlicher Aussagen … dagegen immer mehrere konzeptuelle Replikationen und eine Integration der Replikationsergebnisse notwendig“ ⁴³ sind.

Ein Lösungsansatz für diesen Vorwurf ist ebenso die Einteilung in Subgruppen anhand einer oder mehrerer unabhängiger Variablen und das Aufstellen von Selektionskriterien. Zusätzlich verbessert eine möglichst genaue Explikation von Fragestellung und Kon-

³⁹ Zurmethodischen Qualität siehe Cook, T., Campell, D. (1979)

⁴⁰ Die Güte der Metaanalyse kann anhand der systematischen Einhaltung der Kriterien des QUOROM-Statements verbessert werden (siehe Kapitel 3.7). Hierbei werden ebenso Studien aus der Untersuchung herausgenommen, falls sie bestimmte Kriterien wie beispielsweise die Variablenvalidität nicht hinreichend erfüllen.

⁴¹ Vgl. Sedlmeier, P. (1996), S. 58

⁴² Vgl. Eysenck, H. J. (1978)

⁴³ Fricke, R., Treinies, G. (1985), S. 170

3 Die Metaanalyse 11

strukten das Ergebnis - mithin kann auch eine übergreifende Fragestellung (Äpfel und Birnen zu „Obst“ ⁴⁴ ) hierzu beitragen.

3.4.3 Das Problem abhängiger Untersuchungsergebnisse

„Eine Kritik, die wohl die GLASSsche Art der Metaanalyse betrifft, nicht jedoch andere Formen, wie etwa die Metaanalyse über Studieneffekte (…), bezieht sich auf die nicht vorhandene Unabhängigkeit der Primärergebnisse in einer metaanalytischen Stichprobe.“ ⁴⁵ Das Ergebnis der Metaanalyse wird hauptsächlich dann stark verzerrt sein, wenn eine einzelne Studie eine große Anzahl von Primärergebnissen beziehungsweise Effektgrößen beisteuert. ⁴⁶ Eine effektive Gegenmaßnahme zu der Problematik ist die Gewichtung paralleler Ergebnisse ⁴⁷ beziehungsweise das alleinige Zulassen des „schlechtesten“ Ergebnisses ⁴⁸ . ROSENTHAL schlägt darüber hinaus die Integration der verschiedenen Ergebnisse vor. 49

3.4.4 Das File-Drawer-Problem

Dieses „Schubladenproblem“ besagt, dass häufig Ergebnisse mit geringer statistischer Signifikanz nicht veröffentlicht werden, obwohl sie in der Metastudie von Vorteil wären. Es ist somit ähnlich der selektiven Veröffentlichung von Studien (siehe Publikation Bias, Kapitel 3.5.5), und auch hier bestehen keine konkreten Lösungen für den Ersteller einer Metaanalyse. Dennoch bietet die statistische Methode des „Fail-Safe-N“-Verfahrens (Vgl. Kapitel 3.10.1) eine „Lösungsmöglichkeit“ an, da hiermit überprüft werden kann, inwieweit es sich um ein signifikantes Ergebnis handelt, bzw. wie viele nicht veröffentlichte Studien nötig wären, damit das Resultat als nichtsignifikant ausfällt.

⁴⁴ SMITH et al. merkten hierzu folgendes an: „Indeed the approach does mix apples and oranges, as one necessarily would do in studying fruits.“ Smith, M. L., Glass, G. V., Miller, T. I. (1980), S. 47

⁴⁵ Drinkmann, A. (1990), S. 28

⁴⁶ Vgl. Bangert-Drowns (1986), S. 392; Sedlmeier, P. (1996), S. 58

⁴⁷ Vgl. Drinkmann, A. (1990), S. 28

⁴⁸ Vgl. Gage, N. L. (1979)

⁴⁹ Vgl. Rosenthal, R. (1984), S. 31ff

3 Die Metaanalyse 12

3.5 Beeinflussung einer Metaanalyse durch den Bias

Der Bias ist ein weiteres Problem von Studien und Analysen und bedeutet aus dem Englischen übersetzt soviel wie die „schiefe Seite“ oder auch „ungünstig beeinflussen“. ⁵⁰ Murphy gibt eine allgemeine Begriffsbeschreibung des Bias an: „Irgendein Prozess zu irgend einem Zeitpunkt in der Beweisführung, der dazu führt, dass Resultate produziert werden, welche sich systematisch vom wahren Wert unterscheiden.“ ⁵¹ Übertragen auf den Bereich der Statistik und in Abgrenzung zum zufälligen Fehler bedeutet dies folgendes: „Der BIAS ist der systematische Fehler im Studiendesign [oder in der Auswertung], der die Ergebnisse der Studie in eine falsche Richtung beeinflussen kann, so dass die Ergebnisse der Untersuchung stark vom wahren Wert abweichen können.“ ⁵² Im Gegensatz zum zufälligen Fehler (Stichprobenfehler, Auswahlfehler) heben sich systematische Fehler bei einer genügenden (im Idealfall unendlichen) Anzahl von Messungen nicht auf, sondern addieren sich. Der Bias beeinträchtigt somit die interne Validität einer Studie und kann deshalb gravierende Folgen auf das Ergebnis haben, da er zu einer Über- oder Unterschätzung führt. Er wird daher prinzipiell bei jeder Studie in der Metaanalyse untersucht.

In Studien, die verschiedene Gruppen miteinander vergleichen, unterscheidet man vier Haupttypen, ⁵³ welche die interne Validität der Untersuchung beeinflussen. Darüber hinaus existieren zwei weitere Arten des Bias, der Reader- und der Publication Bias, welche bei jeder Art von wissenschaftlichen Untersuchungen vorkommen können. Alle sechs Varianten werden nachfolgend in Bezug auf die Erstellung bzw. Auswertung einer Metaanalyse kurz angesprochen, um zu verdeutlichen, dass es sich hierbei um ernsthafte Probleme der Metaanalyse handelt. ⁵⁴ EGGER et al. kommen darüber hinaus zu dem Schluss, dass eine kritische Untersuchung des Bias anhand von Sensitivitätsanalysen und Funnel-Plot-Analysen (siehe Kapitel 3.10.2) integraler Bestandteil einer Metaanalyse sein sollen. 55

⁵⁰ Vgl. Langenscheidts Handwörterbuch (1986), S. 71

⁵¹ Murphy, E. A. (1976), freie Übersetzung des Autors - im Original: “Any process at any stage of inference tending to produce results that differ systematically from the true values.”

⁵² o.V. (2004), Glossar

⁵³ Die Einteilung erfolgt nach Jüni et al. (2001), S. 42 in Anlehnung an: Campbell, D. T. (1957) und Campbell, D. T., Stanley, J. C. (1963); vgl. auch Clarke, M., Oxman, A. D. (2001), S. 40

⁵⁴ Vgl. Chalmers, I. (1990), Egger, M. et al. (1995)

⁵⁵ Vgl. Egger, M. et al. (1997b)

3 Die Metaanalyse 13

3.5.1 Der Selection Bias

Dieser Fehler geht auf die Unterschiede in der Ausgangssituation der Teilnehmergruppen der Untersuchung ein. Er resultiert immer aus dem Prozess der Auswahl der Studienteilnehmer, sofern die Aufteilung in die Studien bzw. Kontrollgruppen nicht rein zufällig erfolgt, sondern durch relevante Eigenschaften der Teilnehmer beeinflusst wird. Beispielsweise melden sich Personen eigenständig zur Teilnahme an einer Studie, nachdem sie über externe Quellen darüber erfahren haben ⁵⁶ , was zu einer Über- oder Unterschätzung des untersuchten Effekts führen kann. Eine Lösung dieser Verzerrung besteht alleinig in der rein zufälligen Auswahl der Merkmalsträger (Randomisierung).

3.5.2 Der Performance Bias

Der Performance Bias geht auf die Unterschiede in den Rahmenbedingungen der zu vergleichenden Gruppen zurück. „Sind Studienteilnehmer oder Behandelnde über die Zuteilung in Interventions- und Kontrollgruppe informiert, können daraus bewusst oder unbewusst unterschiedliche Behandlungen (…) resultieren, weil die teilnehmenden Personen ihr Wissen nicht vollständig negieren und nicht ohne subjektiven Einfluss handeln können.“ ⁵⁷ Wie SCHULZ et al. in ihrer klinischen Studie nachweisen konnten, kann ein Performance Bias durch eine Verblindung der untersuchten Personengruppe und der Kontrollgruppe vermieden werden. 58

3.5.3 Der Detection Bias

Diese Verzerrung basiert auf den systematischen Unterschieden in der Aus- und Bewertung der Messergebnisse. Er entsteht dadurch, dass die Bewertung der zu beurteilenden Indikatoren subjektiv verläuft - die Gefahr besteht vor allem dann, wenn das Bewerten des Ergebnisses einen Ermessensspielraum zulässt und/oder von der Interaktion zwischen Testperson und Untersucher abhängt. Lediglich eine Verblindung der auswertenden Person kann dazu führen, das Risiko einer bewussten oder unterbewussten Interpretation der Ergebnisse zu minimieren.

3.5.4 Der Attrition Bias

Der Attrition Bias entsteht durch vorzeitiges Ausscheiden aus der Studie (so genannte Drop-Outs) und führt somit zu Protokollverletzungen. Es passiert, dass sich eine Gruppe weniger als die andere an das Protokoll hält oder dass ihre Teilnehmer vermehrt aus der

⁵⁶ Vgl. Rothman, K. J., Greenland, S. (1998), S. 119

⁵⁷ Hanns, S., Langer, G. (2002), S. 4

⁵⁸ Vgl. Schulz, K. F. et al. (1995), S. 410

3 Die Metaanalyse 14

Studie ausscheiden. Die Aussage wird somit verzerrt. Der Einfluss des Attrition Bias kann schlecht eingeschätzt werden und muss gegebenenfalls vom Ersteller einer Metaanalyse anhand der vorliegenden Rohdaten beurteilt werden - die Lösung dieses Problems stellt lediglich die Beachtung der Protokolle dar.

3.5.5 Der Publication Bias

Der Publication Bias ist ein sehr gut dokumentiertes Phänomen ⁵⁹ und beschreibt die Verzerrung von Aussagen über einen Sachverhalt durch selektives Veröffentlichen von Studien. SUTTEN et al. nennen hierfür folgende Gründe:

„Selection bias is known to occur in meta-analyses because studies with results that are significant, interesting, from large well-funded studies, or of higher quality are more likely to be submitted, published, or published more rapidly than work without such characteristics.“ 60

EGGER et al. konnten ebenso zeigen, dass Autoren aus dem deutschsprachigen Raum statistisch signifikante Resultate eher in englischer Sprache publizieren, während nichtsignifikante Studien vorzugsweise in deutschsprachigen Zeitschriften veröffentlicht werden. ⁶¹ SUTTEN et al. beschreiben das Ausmaß dieses Bias auf die Metaanalyse wie folgt: „These estimates suggest that about half of meta-analyses may be subject to some level of publication bias and about a fifth have a strong indication of missing trials.“ ⁶² Eine Lösung des Problems existiert nicht, vielmehr bestehen Vorschläge, den Einfluss dadurch zu minimieren, indem einerseits eine ausführliche Literaturrecherche durchgeführt wird und anderseits eine statistische „Absicherung“ durch das „Fail-Safe-N“-Verfahren von ROSENTHAL ⁶³ (Vgl. Kapitel 3.10.1) ausgeführt wird.

3.5.6 Der Reader Bias

Diese Verzerrung entsteht bei der Beurteilung der Ergebnisse einer Studie. Bedingt durch die Interessen, Kenntnisse als auch Vorurteile des Lesers können Resultate subjektiv unterschiedlich bewertet werden. Das bedeutet im Extremfall, dass nur die vorgefasste Meinung herausgelesen und zusätzlich bestätigt wird. ⁶⁴ Eine Eindämmung dieses Problems kann lediglich dadurch geschehen, dass sämtliche Quellen derart kodiert wer- ⁵⁹ Vgl.Taylor, S., Tweedie, R. (1998), S. 14; vgl. auch Dear, K., Begg, C. (1992), Dickersin, K., Min, Y., Meinert, C. (1992), Easterbrook, P. et al. (1991), Givens, G. H. et al. (1997), Hedges, L. V. (1992)

⁶⁰ Sutten, A. J. et al. (2000), S. 1574 in Anlehnung an: Song, F. et al. (in press)

⁶¹ Vgl. Egger, M. et al. (1997a)

⁶² Sutten, A. J. et al. (2000)

⁶³ Vgl. Rosenthal. R. (1979)

⁶⁴ Vgl. Owen, R. (1982), Jadad, A. R. (1998)

3 Die Metaanalyse 15

den, dass bei der Auswertung die relevanten Informationen verschlüsselt vorliegen und somit der Leser die Daten objektiv beurteilt - eine Unterdrückung hingegen ist nahezu unmöglich.

3.6 Übersicht der verschiedenen Probleme sowie des Bias

Die nachfolgende Tabelle fasst die Probleme und Verzerrungen zusammen und soll gleichzeitig durch die angegebenen Lösungsmöglichkeiten als Übersicht dienen.

Übersicht der Probleme und Verzerrungen bei der Metaanalyse 65 Tabelle 3.1

⁶⁵ Eigene Darstellung

3 Die Metaanalyse 16

3.7 Steigerung der Qualität einer Metaanalyse durch Einhaltung des

QUOROM-Statements

Im Oktober 1996 wurde ein 30-köpfiges Komitee aus Klinikern, Statistikern und anderen Wissenschaftlern, welche Metaanalysen durchführen oder daran interessiert sind, nach Chicago eingeladen. Ziel der Konferenz war die Erarbeitung von Standards zur Steigerung der „Quality of Reporting of Meta-analyses“ (QUOROM). Hierbei sollte möglichst für jeden Punkt belegt werden, dass eine Nichtbeachtung des jeweiligen Ansatzes zu einer systematischen Verzerrung führen kann. „Die Konferenz brachte das QUOROM-Statement hervor, das aus einer Checkliste und einem Flussdiagramm besteht [(siehe Anhang Tabelle 10.1 und Abbildung 10.1)]. Die Checkliste beschreibt Empfehlungen zur Berichterstattung der Ergebnisse von Metaanalysen, unterteilt nach den Abschnitten Abstrakt, Einleitung, Methoden, Ergebnisse und Diskussion. Die Checkliste ist in 21 (Teil-)Abschnitte gegliedert und soll den Autor einer Metaanalyse dabei unterstützen, den Leser mit den relevanten Informationen über Literatursuche, Studienauswahl, Validitätsprüfung, Datenabstraktion, Studiencharakteristika und quantitativer Datensynthese zu versorgen. Außerdem wird ein Flussdiagramm … gefordert, in dem Informationen über die Anzahl gefundener, ein- und ausgeschlossener RCTs sowie die Gründe für einen Ausschluß enthalten sind.“ 66

Mittlerweile hat sich diese Forderung auch in der Praxis durchgesetzt - mithin verlangt das Bundesministerium für Bildung und Forschung zusammen mit der Deutschen Forschungsgemeinschaft (DFG) in dem Standard „Grundsätze und Verantwortlichkeiten bei der Durchführung klinischer Studien“ in der aktuellen Version vom 11.11.2003 die Einhaltung des QUOROM-Statements bei Metaanalysen. ⁶⁷ Vergleichbar zum QUOROM-Statement wurde 1996 mit dem CONSORT-Statement ⁶⁸ die Empfehlung gegeben, Flussdiagramme auch für RCTs zu erstellen. EGGER et al. zeigten in ihrer Untersuchung im Jahr 1998 auf, dass sich bis dahin von den untersuchten 270 RCT-reports ⁶⁹ lediglich 51,5% (139) daran hielten, ein solches Flussdiagramm zu erstellen.

⁶⁶ Moher, D. et al. (2001), QUOROM

⁶⁷ Vgl. BMBF, DFG (2003), S. 4

⁶⁸ CONSORT = Consolidated Standard of Reporting Trials (Überarbeitete Empfehlung zur einheitlichen Berichterstattung über klinische Studien)

⁶⁹ Bei der Analyse gingen folgende Journals ein: AIM (n=19), BMJ (n=42), JAMA (n=45), The Lancet (n=81) und NEJM (n=83).

3 Die Metaanalyse 17

Hierbei wurde eine deutliche Streuung zwischen 8,4% und 93,8% innerhalb der verschiedenen Journals festgestellt. ⁷⁰ Zur Hilfe bei der Publikation der Ergebnisse als auch zur besseren Vergleichbarkeit und des höheren Informationsinhaltes kann man auf eine steigende Anwendung hoffen, wenngleich EGGER et al. bemängeln, es sei „unclear whether such flow diagrams improve the quality of trial reports.“ 71

⁷⁰ Vgl. Egger, M. et al. (2001); Ergebnisse: AIM: 21.0 %; BMJ: 38.1 %; JAMA: 80.0 %; The Lancet: 93.8 % und NEJM: 8.4 %.

⁷¹ Egger, M. et al. (2001)

3 Die Metaanalyse 18

3.8 Vorgehen bei der Metaanalyse

Die Metaanalyse stellt eine Reihe von Techniken zur Integration von Forschungsergebnissen zur Verfügung und ist daher „kein automatisches Datenanalyseinstrument“ ⁷² . Zugleich existiert bisher keine Norm zu einer einheitlichen Erstellung einer Metaanalyse. Daraus ergibt sich, dass zweifellos aus identischen, metaanalytisch aufgearbeiteten Untersuchungen verschiedene Ergebnisse resultieren können. ⁷³ Im Folgenden wird ein Überblick über einen formalen Ablauf der Metaanalyse als auch

Abbildung 3.3 Vorgehen bei der Metaanalyse 75

3.8.1 Die Planung der Metaanalyse und Explikation der Fragestellung

wird das Ergebnis einer Metaanalyse um so befriedigender sein, je präziser die in ihr verfolgte Fragestellung war.“ ⁷⁶ Diese Stufe der Problemformulierung lässt sich detailliert in weitere einzelne Unterpunkte zerlegen, und geht fließend in die Phase der systematischen Erfassung der Literatur über. Nach HEDGES sollte bei der Sichtung der Literatur zuerst mit einer allgemeinen Fragestellung begonnen werden, welche iterativ verfeinert wird. ⁷⁷ Eine Vorgehensweise der Planungsphase ist exemplarisch in Abbildung 3.4 dargestellt und selbsterklärend, so dass die einzelnen Punkte nicht explizit beschrieben werden.

⁷² o.V. (1997), Metaanalyse

⁷³ Vgl. Drinkmann, A. et al. (1989); Steiner et al. (1991)

⁷⁴ Vgl. Cooper, H. M. (1982)

⁷⁵ Eigene Darstellung

⁷⁶ o.V. (1997), Metaanalyse

⁷⁷ Vgl. Hedges, L. V. (1986), S. 359

3 Die Metaanalyse 19

Abbildung 3.4 Vorgehen bei der Metaanalyse: Die Problemformulierung 78

3.8.2 Das Suchen von Primärstudien

Aufnahme von Primär- und Sekundärstudien, wobei versucht werden sollte, jede veröffentlichte als auch nicht veröffentlichte Studie zu finden. ⁷⁹ Bereits hier ist ein Augenmerk auf die verwendeten Methoden sowie die Operationalisierung der verwendeten abhängigen und unabhängigen Variablen zu richten. Obwohl in diesem Stadium noch keine Selektion erfolgt, sind bereits die wesentlichen Merkmale zu notieren, anhand derer im nächsten Schritt eine Auswahl stattfindet. Eine Hilfe zur Beschreibung der jeweiligen Studien ist die Checkliste des QUOROM-Statements.

3.8.3 Die Kodierung, Auswahl und Beurteilung der Studien

Hierfür eigenen sich verschiedene Studienmerkmale, wobei die Beurteilung der Studienqualität im Vordergrund steht. Die Schlüsselkomponenten sind dabei die Faktoren Interne Validität, Externe Validität und Konstruktvalidität, welche einzeln zu überprüfen sind. Sofern die Qualitätskriterien nicht eingehalten werden können, sind die jewei- ⁷⁸ EigeneDarstellung in Anlehnung an: Wagener-Wender, M. (2004), S. 10

⁷⁹ Vgl. Rosenthal, R., DiMatteo, M. R. (2001), S. 69