Die Manipulation von Effektstärken in Metaanalysen

Inhaltsverzeichnis

1. Einleitung

2. Metaanalyse-Begriffsbestimmung
2.1 Ein kurzer Einblick in die Vor -und Nachteile einer Metaanalyse
2.2 Typen von Metaanalysen und Effektstärken

3. Vorstellung der Beispielstudie

4. Die Manipulation der Effektstärken in der Studie

5. Resümee

6. Literaturverzeichnis

1. Einleitung

Mit der Zunahme von wissenschaftlichen Publikationen und der daraus entstehenden Vielfalt von wissenschaftlichen Quellen, fällt es Wissenschaftlern schwer, den Überblick über die veröffentlichten Forschungsergebnisse beizubehalten. Aus diesem Grund bedarf es einer Ergebniszusammenfassung, um die Verschiedenheit der Ergebnisse zu analysieren und zu beschreiben. An diesem Punkt kommt die Technik der Metaanalyse ins Spiel, da sie statistische Ergebnisse verschiedener Untersuchungen aufgreift und zu einem Gesamtergebnis zusammenfasst. Metaanalysen gelten als akkurates Verfahren, da sie nicht subjektiv sind, transparente Verfahren anwenden und eine große Bandbreite von Untersuchungen ohne Probleme auffassen können (vgl. Eisend 2014, S. 1f.). Zudem soll die Technik der Metaanalyse nach Schuler als eine der wichtigsten Forschungs-innovationen der letzten 25 Jahren gelten, da dadurch die Bewertung von bestimmten Themen nicht nur mit Einzelergebnissen vollzogen wird, sondern unterschiedliche wissenschaftliche Quellen zur Kenntnis genommen werden können. Die Ergebnisse einer Metaanalyse besitzen das Ziel, Theorien zu modifizieren und eine Entwicklung von neuen Fragestellungen anzustreben (vgl. Nerdinger, Blickle & Schaper 2014, S. 38).

In Rahmen der vorliegenden Arbeit wird untersucht, ob die Ergebnisse einer Metaanalyse bewusst gefälscht werden, um die Aussagekraft von bestimmten Fragestellungen steigern zu können. In diesem Falle wird eine Studie ausgearbeitet, welche den erkundungs-basierenden Unterricht aufgreift. Das Ziel dieser Ausführung ist, die Studie kritisch zu hinterfragen und zu überprüfen, ob es zur Manipulation der Effektstärken kam.

Im ersten Teil der Ausführungen soll der Begriff Metaanalyse definiert werden. Hierbei wird auf die Wichtigkeit und auf den Ablauf eine Metaanalyse eingegangen. Im Nachhinein werden die Vor- und Nachteile einer Metaanalyse aufgegriffen, um einen Einblick in die Thematik zu erhalten. Infolgedessen kommt es zur Erwähnung der Metaanalysetypen und den Effektstärken. Dies ist von Bedeutung, da die Effektstärken der Studie überprüft werden. Im Anschluss wird die Studie vorgestellt und die Ergebnisse herausgearbeitet. Zum Abschluss folgt die Bewertung der Studie und ein Resümee, welche die Erkenntnisse dieser Arbeit reflektieren soll.

2. Metaanalyse-Begriffsbestimmung

Bevor man den Begriff der Metaanalyse definiert, ist es sinnvoll eine kurze Definition der empirischen Erziehungswissenschaft einzuleiten. Die empirische EWS nutzt quantitative Methoden, um Verhalten und Erleben zu beschreiben und zu erklären. Diese Methoden müssen sich auf die wissenschaftlichen Gütekriterien der Objektivität, der Validität und der Reliabilität stützen, damit überhaupt dem Ganzen Beachtung geschenkt werden kann (vgl. Stein 2017, S. 164-166).

Im Jahre 1976 führte Glass zum ersten Mal den Begriff der Metaanalyse ein. Dieses statistisch orientierte Verfahren integriert Forschungsergebnisse aus unterschiedlichen Primärstudien (vgl. Väth 2002, S. 44). Mithilfe einer Metaanalyse werden statistische Ergebnisse von unterschiedlichen Untersuchungen zu einem Gesamtergebnis zusammen-gefasst (vgl. Eisend 2014, S. 1f.). Zudem lassen sie sich als Sekundäranalysen bezeichnen, welche den Kenntnisstand in einem jeweiligen Untersuchungsgebiet ausarbeiten (vgl. Wellenreuther 2018, S. 29). Metaanalysen unterscheiden sich von Literaturreviews in der Hinsicht, in dem sie Studien zu einem bestimmten Thema nach einem vorher festgelegten Plan auswählen und bewerten (vgl. Gadner, Gaedicke, Niemeyer & Jörg 2006, S. 643). Zudem sollen Metaanalysen in der Bewertung der Ergebnisse objektiver vorgehen als Reviews, da Reviews zwar auch den aktuellen Forschungsstand einer Thematik zusammenfassen, jedoch die Literatur mit kritischen Kommentaren versehen (vgl. Bortz & Döring 2006, S. 672). Aufgrund der enormen Zunahme vom Spektrum der wissenschaftlichen Publikationen, besteht der Bedarf nach einer Ergebniszusammen-fassung. Aus diesem Grund nutzen viele empirisch geprägte wissenschaftliche Disziplinen die quantitative Technik der Metaanalyse, denn dieses Verfahren ermöglicht eine Zusammenfassung von unterschiedlichen Publikationen. Hierbei besteht auch die Möglichkeit die, zu den wissenschaftlichen Gütekriterien treu gebliebenen, Quellen aufzunehmen. Der Ablauf einer Metaanalyse beginnt mit der Konkretisierung eines Forschungsproblems und mit der Spezifizierung von Variablen. Die festgelegten abhängigen und unabhängigen Variablen werden in der Metaanalyse untersucht und nur statistische Informationen gewählt, die die Beziehung zwischen den beiden Variablen beschreiben. Anschließend werden die relevanten Untersuchungen mithilfe von spezifischen Strategien aufgesammelt, indem man beispielweise mit Schlüsselwörtern in elektronischen Datenbanken oder in Literaturverzeichnissen von Bibliographien sucht.

[...]