Der Funnel Plot. Ein grafisches Verfahren zur Identifizierung von Bias in Meta-Analysen

Inhaltsverzeichnis

1 Einführung

2 Funnel Plots
2.1 Grundgedanke
2.2 Die Darstellung
2.3 Asymmetrie und ihre Ursachen
2.4 Ergänzende Statistische Verfahren
2.4.1 Test auf Asymmetrie von Egger et al. (1997)
2.4.2 Trim and Fill-Methode von Duval und Tweedie (2000)

3 Kritik
3.1 Visuelle Überprüfung
3.2 Asymmetrie als Artefakt
3.3 Verzerrung bei sehr kleinen oder sehr großen Log Odds
3.4 Statistische Power der Tests

4 Fazit

Quellenverzeichnis

Anhang
Anhang 1: Beispiel 1 (Abb. 1)
Anhang 2: Beispiel 2 (Abb. 2)
Anhang 3: Eggers Test auf Asymmetrie
Anhang 3.1: Output des Tests für das erste Beispiels
Anhang 3.2: Outbput des Tests für das zweite Beispiel
Anhang 4: Beispiel 3
Anhang 4.1: Erstellung eines Datensatzes zum Testen der Fill and Trim-Methode...23
Anhang 4.2: Output des Egger Tests für den vollständigen Datensatzes
Anhang 4.3: Löschung unerwünschter Studiendesign
Anhang 4.4: Output des Egger Test für die Daten aus Anhang 4.3
Anhang 4.5: Output des Trim and Fill-Befehls
Anhang 4.6: Erstellung von Abbildung 9

1 Einführung

Wer schon¹ mal eine Literaturrecherche zu einem wissenschaftlichen Thema durchgeführt hat, weiß, dass das gar nicht so einfach ist, wie zunächst vermutet werden könnte. Die Schwierigkeit liegt nicht darin, genügend Materialien zu dem Thema zu finden, sondern umgekehrt aus den Unmengen an Artikeln, Studien und Monographien nur eine bestimmte Anzahl auszuwählen. Ist die Entscheidung gefallen, werden so die gefundenen Quellen miteinander verglichen, ihre Gemeinsamkeiten und Unterschiede ausgearbeitet und die daraus gewonnenen Erkenntnisse präsentiert. Meta-Analysen und systematische Reviews haben genau diesen Zweck, und zwar das verfügbare Wissen zu einem bestimmten Themenbereich zusammenzufassen und zu analysieren. Vor allem in der Medizin sind solche Übersichtsarbeiten von Bedeutung, da dort zum Beispiel die Wirkung einer therapeutischen Maßnahme in verschiedenen Studien untersucht wird und Interesse daran besteht, zu erfahren, wie der Gesamteffekt davon ist und ob sie besser als bestehende Methoden wirkt.

Solche Untersuchungen stützen ihre Analysen auf bereits veröffentlichte Fachliteratur, so dass sie gegen möglichen Verzerrungen anfällig sind, die sich darin manifestieren. Weisen diese Fehler auf oder ist die Auswahl nicht gut getroffen, kann unter anderem eine Interpretation der Ergebnisse von Meta-Analysen problematisch sein. Oft besteht auch der Verdacht, diese würde von Publication Bias verzerrt sein. Dabei ist Publication Bias „the term for what occurs whenever the research that appears in the published literature is systematically unrepresentative of the population of completed studies. Simply put, when the research that is readily available differs in its results from the results of all the research that has been done in an area, readers and reviewers of that research are in danger of drawing the wrong conclusion about what that body of research shows“ (Rothstein et al. 2005: 1).

Werden also Studien auf Grund ihrer Ergebnisse - sei es, weil sie unerwünscht sind oder weil sie das statistische Signifikanzniveau nicht erreichen - nicht veröffentlicht, so kann dieser Umstand die Resultate der Meta-Analyse verfälschen und im schlimmsten Fall zu falschen Entscheidungen führen, die gar lebensgefährlich sein können, zum Beispiel im medizinischen Bereich (vgl. Psaty & Kronmal 2008).

Aktuelle Untersuchungen zeigen, dass viele Wissenschaften davon betroffen sind, auch die Soziologie. Alan Gerber und Neil Malhotra (2008) beobachten Publication Bias in den drei renommiertesten soziologischen Zeitschriften der USA (American Journal of Sociology, American Sociological Review, The Sociological Quarterly). In Deutschland haben Katrin Auspurg, Thomas Hinz und Andreas Schneck (2014) eine analoge Untersuchung für die Kölner Zeitschrift für Soziologie und Sozialpsychologie und die Zeitschrift für Soziologie durchgeführt und konnten ebenfalls Hinweise auf Publication Bias finden.

Aus diesem Grund wurden verschiedene Verfahren entwickelt, die Verzerrungen in MetaAnalysen und systematischen Reviews identifizieren und sogar ausgleichen sollen. Im Folgenden wird das Funnel Plot-Verfahren, die grafische Darstellung von Studien in einem Streudiagramm, sowie einige darauf basierende statistische und visuelle Methoden vorgestellt, die mögliche Verzerrungen quantifizieren und auszugleichen versuchen. Anschließend werden diese Verfahren kritisch betrachtet und ihre Schwächen diskutiert.

2 Funnel Plots

Um mögliche Verzerrungen durch Publication Bias in Meta-Analysen ausfindig zu machen, wurden verschiedene Tools entwickelt, die den Forschern zur Verfügung stehen. Einige davon sind grafische Verfahren, zum Beispiel der Caliper Test von Gerber und Malhotra (2008), andere bedienen sich statistischen Methoden, wie die Selection Models (vgl. Hedges & Vevea 2005).

Funnel Plots gehören zu den grafischen Methoden und sie werden seit über dreißig Jahren verwendet. Dementsprechend wurden viele weitere Verfahren entwickelt, die auf Funnel Plots basieren. Einige von ihnen werden in den folgenden Abschnitten präsentiert.

2.1 Grundgedanke

Funnel Plots sind die am meisten genutzte Methode, um Publication Bias in MetaAnalysen aufzudecken (vgl. Weiß & Wagner 2011). Eingeführt wurden sie von Richard Light und David Pillemer (1984: 63-72) und ihre Validität wurde von Egger et al. (1997) sowie Sterne et al. (2001) ausgiebig diskutiert. Sie gelten in der Fachwelt als zuverlässige und einfache Methode.

Sie sind Streudiagramme, in denen die Stärke des beobachteten Effekts und die Genauigkeit der Studie dargestellt werden. Da mit steigender Genauigkeit die beobachteten Werte sich dem wahren Wert nähern, nimmt die Darstellung normalerweise die Form eines Dreiecks mit einer nach oben gerichteten Spitze, daher der Name („funnel“ ist Englisch für Trichter). Der Kerngedanke, der der Methode zugrunde liegt, ist der, dass bei Unverzerrtheit die Darstellung von Studien in einem Funnel Plot wegen des small study effect ² zu einer symmetrischen Form führt, mit einer breiten Basis und einer schmalen Spitze, da Studien mit einer größeren Genauigkeit dem zentralen Grenzwertsatz nach dem wahren Wert in der Grundgesamtheit näher sind als Studien mit einer geringeren Genauigkeit.

Die Vorteile dieser Methode liegen auf der Hand:

- Funnel Plots können ohne tiefgehende Statistikkenntnisse erstellt werden, da diese nur Streudiagramme sind.
- Sie können intuitiv dazu eingesetzt werden, um Verzerrungen grafisch darzustellen und visuell zu identifizieren.
- Studien unterschiedlicher Art, zum Beispiel hinsichtlich ihrer Fallzahl, können so mit Berücksichtigung ihrer Unterschiede miteinander verglichen werden.

2.2 Die Darstellung

Abbildung 1 zeigt einen unverzerrten Funnel Plot aus simulierten Daten³: Auf der Abszissenachse wird der Koeffizient der Zufallsvariable X und auf der Ordinatenachse der jeweilige Standardfehler eingetragen. Die zwei gestrichelte Linien grenzen den Bereich ein, in dem bei Abwesenheit von Heterogenität zwischen den Studien oder sonstigen Verzerrungen sich 95% der Werte befinden sollte⁴. Die durchgehende Linie in der Mitte zeigt der geschätzte wahre Wert des Koeffizienten, basierend auf ein Fixed-Effects-Modell (vgl. Sterne & Harbord 2004), das dem tatsächlichen Wert in der Tat sehr nahe kommt⁵.

Abbildung in dieser Leseprobe nicht enthalten

Abb. 1: unverzerrter Funnel Plot

Sterne und Harbord (2004) empfehlen als Maßzahl für die Präzision der Studie den Standardfehler oder eine Funktion davon, wie den inversen Standardfehler σ-¹. Eine andere Möglichkeit ist zum Beispiel die Größe der erhobenen Stichprobe. Ist die Darstellung der Werte um die durchgehende Hilfslinie symmetrisch, so kann davon ausgegangen werden, dass keine Verzerrung vorliegt (vgl. ebd.). Weist sie stattdessen eine Asymmetrie auf, so kann eine Verzerrung vorliegen, die eventuell auf Publication Bias zurückzuführen ist (vgl. ebd.).

2.3 Asymmetrie und ihre Ursachen

Sollte die Darstellung eine asymmetrische Form annehmen, so kann dies einen Hinweis auf Publication Bias sein. Allerdings bedeutet die Annahme, dass die Verteilung der Studien bei Unverzerrtheit eine symmetrische Form annimmt, im Umkehrschluss nicht, dass eine asymmetrische Form ein Beweis für Publication Bias ist.

Es gibt verschiedene Ursachen für Asymmetrie in Funnel Plots⁶. Egger et al. (1997) unterteilen in möglichen Quellen für Verzerrungen in fünf Gruppen: Selection bias, True heterogeneity, Data irregularities, Artefactual und Chance (vgl. Tabelle 1).

Abbildung in dieser Leseprobe nicht enthalten

Tab. 1: Ursachen für Asymmetrie in Funnel Plots; Darstellung nach Egger et al. (1997)

[...]

¹ Es werden die maskulinen Formen im Sinne des herkömmlichen Sprachgebrauchs auch da verwendet, wo beide Geschlechter gemeint sind. Ebenso wie „Person“ und „Persönlichkeit“ auch dann als weibliche Nomina verwendet werden, wenn die damit angesprochene allgemeine Vorstellung Männer oder andere Geschlechter- oder Genderkategorien miteinschließt.

² „Ungenauere“ Studien, also Studien, die beispielsweise eine große Varianz vorweisen, weisen stärkere Effekte auf als Studien, die „genauer“ sind, zum Beispiel Studien mit einer kleinen Varianz (vgl. Sterne et al. 2000).

³ Es wurden 100 Studien mit je zehn Untersuchungseinheiten simuliert. Hierfür bestand die Zielgröße aus mehrerer Zufallsvariablen und einem Fehlerterm, untersucht wurde nur der Zusammenhang zwischen der Zielgröße und einer dieser Zufallsvariablen. Für den genauen Stata-Code siehe Anhang 1.

⁴ Genau genommen wird für jeden Standardfehler das 95%-Konfidenzintervall auf der horizontalen Ebene eingezeichnet und das nur für diesen gilt, deswegen ist von „Pseudo“-Konfidenzintervall die Rede.

⁵ Der bei der Erstellung der Zielgröße eingesetzte Koeffizient ist in der Tat genau zwei (siehe Anhang 1).

⁶ Die vorliegende Arbeit beschäftigt sich nur mit Publication Bias und Heterogenität zwischen den Studien, da diesen zwei eine größere Rollen in der Asymmetrie in Funnel Plots unterstellt wird als anderen Bias (vgl. Chang 2011: 199f).