„Eine repräsentative Umfrage im Auftrag von Reader’s Digest bringt es an den Tag: 33 Millionen Deutsche glauben an Außerirdische“ – befragt wurden 1000 Deutsche ab 14 Jahren.
Eine solche oder ähnliche Meldung ist jedem bekannt. Die Prozesse und Schwierigkeiten, die dahinter stehen, jedoch nicht. Die folgende Arbeit soll Licht ins Dunkel bringen, indem sie das Stichprobenproblem untersucht, wie es sich bei allgemeinen Bevölkerungsumfragen in der empirischen Sozialforschung stellt.
Die hierbei eingenommene Perspektive ist sowohl forschungssoziologischer als auch forschungshistorischer Art. Forschungssoziologisch insofern, da das Stichprobenproblem und der Umgang mit ihm vor dem Hintergrund der wissenschaftlichen Prinzipien der Wahrheitsfindung betrachtet werden. Ziel dieses Vorgehens ist es, den gegenwärtigen „state of the art“ der empirischen Sozialforschung im Allgemeinen und der akademischen Sozialforschung im Besonderen kritisch zu hinterfragen, Schwachstellen zu identifizieren und Lösungsvorschläge zu unterbreiten.
Die forschungshistorische Sichtweise erfüllt dabei eine doppelte Zweckmäßigkeit. Zum einen soll sie das Verständnis des gegenwärtigen Status quo fördern und zum anderen soll sie dazu beitragen, die Entwicklungstendenzen der aktuellen Wissenschaftspraxis abschätzen zu können.
Um dem soeben dargestellten Forschungsanliegen nachgehen zu können, werden zunächst die theoretischen Grundlagen geschaffen, indem die Grundprinzipien der Wissenschaft skizziert (Kap. 1) und das Konzept der Zufallsstichprobe erläutert werden (Kap. 2). Ein Abriss über die Genese der Datenerhebungsverfahren und ihrer Besonderheiten (Kap. 3) ist erforderlich für das Verständnis der Entwicklung der mit den Datenerhebungsformen verbundenen Stichprobentechniken und deren spezifischer Probleme (Kap. 4). Vor diesem Hintergrund werden die Schwierigkeiten bei der (Beurteilung der) Stichprobenrealisierung (Kap. 5) und anschließend der wissenschaftliche Umgang mit ihnen (Kap. 6) kritisch reflektiert. Auf Basis der somit erlangten Ergebnisse werden das Konzept der „repräsentativen Zufallsstichprobe“ hinterfragt (Kap. 7) und schließlich die Wissenschaftspraxis bezüglich der Umsetzung ihrer eigenen Ideale beurteilt (Kap. 8).
Inhaltsverzeichnis
1. Die Prinzipien der Wissenschaft
2. Die Zufallsstichprobe in Theorie und Praxis
2.1 Das Grundprinzip der Zufallsstichprobe
2.2 Das Stichprobenproblem
2.3 Ausfalltypen und ihre Auswirkungen
2.4 Zwischenfazit
3. Pluralisierung der Datenerhebungsverfahren
3.1 Entwicklung und Bedeutung der verschiedenen Datenerhebungsverfahren
3.2 Relevante Spezifika der einzelnen Verfahren
4. Die Entwicklung der Stichprobentechniken – Einhaltung des Zufalls?
4.1 Zufallsstichprobe auf Basis von Einwohnermeldeamtsregistern
4.2 ADM-Design: Address-Random, Random-Route und Standard-Random
4.3 Stichprobentechniken bei Telefonbefragungen
4.3.1 Listenbasierte Stichprobenbildung
4.3.2 RDD und RLD
4.3.3 Das Gabler-Häder Design
4.4 Onlinestichproben
4.5 Zwischenfazit
5. Das Problem der Stichprobenrealisierung – Rückgang der Ausschöpfung?
5.1 Internationale Befunde
5.2 Befunde für Deutschland
5.3 Mangelnde Vergleichbarkeit von Ausschöpfungsquoten
5.4 Mangelnde Aussagekraft von Ausschöpfungsquoten
5.5 Entwicklung von Nonresponse am Beispiel des ALLBUS
5.6 Zwischenfazit
6. Die Antworten der Wissenschaft
6.1 Umgang mit den Problemen durch die Stichprobentechnik
6.2 Umgang mit dem Nonresponse-Problem
6.2.1 Maßnahmen zur Erhöhung der Ausschöpfung
6.2.1.1 Empfohlene Maßnahmen zur Erhöhung der Ausschöpfung
6.2.1.2 Die (Umsetzung der) Maßnahmen in der Kritik
6.2.2 Nachträgliche Kontrolle und Korrektur
6.2.2.1 Gewichtung
6.2.2.2 Sonstige Maßnahmen
6.3 Zwischenfazit
7. Repräsentative Zufallsstichprobe?
8. Die Wissenschaft in der Kritik – eine weiterführende Zusammenfassung
Zielsetzung & Themen
Die Arbeit untersucht das Stichprobenproblem in allgemeinen Bevölkerungsumfragen der empirischen Sozialforschung, wobei forschungssoziologische und forschungshistorische Perspektiven eingenommen werden. Das primäre Ziel ist es, den aktuellen wissenschaftlichen Stand kritisch zu hinterfragen, Schwachstellen bei der Stichprobenbildung und -realisierung zu identifizieren und mögliche Lösungsansätze zu bewerten.
- Wissenschaftliche Prinzipien und Gütekriterien in der Sozialforschung
- Methodische Herausforderungen der Stichprobenziehung (Stichprobentechniken)
- Die Problematik der Stichprobenrealisierung und der Rückgang der Ausschöpfung
- Kritische Analyse von Gegenstrategien wie Gewichtung und Methodenmix
- Das Konzept der "Repräsentativität" in der empirischen Praxis
Auszug aus dem Buch
4.2 ADM-Design: Address-Random, Random-Route und Standard-Random
Noch in den 60er Jahren herrschte, aufgrund der hohen Kosten von Registerstichproben und in Ermangelung einer Alternative, die Quotenstichprobe vor. In den 70er Jahren jedoch entwickelte der Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e.V. (ADM) das sogenannte ADM-Master-Sample, das seitdem als Standard-Stichprobendesign in der Markt-, Media- und Sozialforschung angewendet wird (Koch 1997: 99; Koch 2002: 12f).
Das ADM-Design ist als dreistufiges Auswahlverfahren konzipiert: Zuerst werden Stimmbezirke (Sample Points) zufällig ausgewählt, innerhalb derer, im nächsten Schritt, eine Auswahl von Haushalten getroffen wird. In der daran anschließenden dritten Stufe des Auswahlverfahrens, werden innerhalb dieser Haushalte schließlich die Zielpersonen bestimmt.
Das ursprüngliche ADM-Design war jedoch mit einem Rückgang der Ausschöpfungsquoten und daher mit steigenden Kosten bei der Stichprobenrealisierung konfrontiert. In der Folge wurde das Master-Sample zunehmend modifiziert und vereinfacht (Hoffmeyer-Zlotnik 2006: 19).
Mittlerweile sind drei verschiedene Versionen des ADM-Designs zu unterscheiden: Address-Random (i. e. das ursprüngliche Master-Sample), Random-Route und Standard-Random. Alle drei Versionen basieren auf dem Grundprinzip der dreistufigen Auswahl und auf jeder dieser Stufen gibt es prinzipiell problematische Aspekte zu berücksichtigen. Zusätzlich weisen die drei Varianten erhebliche Unterschiede bezüglich der Strenge der Umsetzung des Zufallsprinzips und somit bezüglich der zeitlichen und finanziellen Kosten auf. Während das Address-Random hinsichtlich beider Aspekte hohe Anforderungen stellt, gilt das Standard-Random als günstigstes, aber auch fragwürdigstes Verfahren (Hoffmeyer-Zlotnik 2005: 25f; Koch 2002: 25 & 28f). Die gemeinsamen und spezifischen Probleme der Varianten des ADM-Designs werden im Folgenden für jede Stufe getrennt untersucht.
Zusammenfassung der Kapitel
1. Die Prinzipien der Wissenschaft: Einleitung in die Grundsäulen wissenschaftlichen Arbeitens, insbesondere Wissensvorsprung, Reflexivität und Intersubjektivität als Basis für Wahrheitsfindung.
2. Die Zufallsstichprobe in Theorie und Praxis: Erläuterung des theoretischen Konzepts der Zufallsstichprobe, ihrer Voraussetzungen und der Definition des Stichprobenproblems.
3. Pluralisierung der Datenerhebungsverfahren: Überblick über die historische Entwicklung und die spezifischen Merkmale verschiedener Interviewformen wie Face-to-Face, Telefon, schriftlich und online.
4. Die Entwicklung der Stichprobentechniken – Einhaltung des Zufalls?: Kritische Analyse der verschiedenen Auswahlverfahren, insbesondere Registerstichproben und die verschiedenen Varianten des ADM-Designs.
5. Das Problem der Stichprobenrealisierung – Rückgang der Ausschöpfung?: Diskussion des Nonresponse-Problems unter Berücksichtigung internationaler und deutscher Forschungsbefunde sowie der Vergleichbarkeit von Ausschöpfungsquoten.
6. Die Antworten der Wissenschaft: Auseinandersetzung mit Gegenstrategien der Wissenschaft, unterteilt in Korrekturen bei der Technik und Maßnahmen bei der Realisierung (z.B. Gewichtung, Inzentivierung).
7. Repräsentative Zufallsstichprobe?: Hinterfragung des Repräsentativitätsbegriffs und dessen praktischer Anwendbarkeit in der empirischen Sozialforschung.
8. Die Wissenschaft in der Kritik – eine weiterführende Zusammenfassung: Abschließende Reflexion über die Diskrepanz zwischen wissenschaftlichem Ideal und der gängigen Forschungspraxis sowie Forderungen nach mehr Transparenz.
Schlüsselwörter
Empirische Sozialforschung, Zufallsstichprobe, Stichprobenfehler, Nonresponse, Ausschöpfungsquote, ADM-Design, Repräsentativität, Inferenzstatistik, Datenerhebungsverfahren, Frame Error, Gewichtung, Wissenschaftstheorie, Forschungssoziologie, Interviewereffekte, Feldarbeit.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit analysiert das Stichprobenproblem bei allgemeinen Bevölkerungsumfragen. Dabei steht im Fokus, wie wissenschaftliche Ideale der Wahrheitsfindung in der empirischen Praxis durch methodische, ökonomische und soziale Faktoren beeinträchtigt werden.
Was sind die zentralen Themenfelder?
Die Schwerpunkte liegen auf der Stichprobenziehung (Technik), der Stichprobenrealisierung (Nonresponse) sowie der methodischen Kritik an gängigen Korrekturverfahren wie Gewichtung und dem Streben nach Repräsentativität.
Was ist das primäre Ziel der Arbeit?
Das Ziel ist eine kritische Reflexion des "State of the Art" der empirischen Sozialforschung, um Schwachstellen aufzuzeigen und die Notwendigkeit einer Rückbesinnung auf wissenschaftliche Prinzipien wie Transparenz zu verdeutlichen.
Welche wissenschaftliche Methode wird verwendet?
Es handelt sich um eine forschungssoziologische und forschungshistorische Studie, die auf einer umfassenden Analyse existierender Methodenberichte und wissenschaftlicher Literatur basiert.
Was wird im Hauptteil behandelt?
Der Hauptteil befasst sich mit der Entwicklung der Stichprobentechniken, der Problematik sinkender Ausschöpfungsquoten, der methodischen Kritik an gängigen Erhebungsverfahren (insbesondere dem ADM-Design) und der Hinterfragung nachträglicher Datenkorrekturmethoden.
Welche Schlüsselwörter charakterisieren die Arbeit?
Wesentliche Begriffe sind Stichprobenproblem, Repräsentativität, Nonresponse, Ausschöpfungsquote, empirische Sozialforschung und methodische Transparenz.
Inwiefern ist das ADM-Design problematisch?
Das ADM-Design (insbesondere Random-Route und Standard-Random) wird kritisch gesehen, da es subjektive Freiräume für Interviewer bietet, die zu einer faktischen Aufweichung des Zufallsprinzips und zu Verzerrungen in der Stichprobe führen können.
Warum ist das "Paradox der Stichprobe" von Bedeutung?
Das Paradox beschreibt, dass eine Überprüfung der Qualität der Stichprobe bei unbekannten Parametern in der Grundgesamtheit logisch unmöglich ist, was die Abhängigkeit von methodischen Standards und Dokumentation verdeutlicht.
Warum ist eine Reintegration der Datenerhebung in die akademische Forschung gefordert?
Der Autor argumentiert, dass kommerzielle Institute aus ökonomischer Rationalität oft die notwendige methodische Transparenz vermissen lassen, was eine kritische Qualitätskontrolle durch die Wissenschaft selbst erschwert oder unmöglich macht.
- Quote paper
- Sebastian Wiesnet (Author), 2007, Das Stichprobenproblem in der empirischen Sozialforschung, Munich, GRIN Verlag, https://www.grin.com/document/87443
