Persönliche-mündliche Befragungen stellen aufgrund ihrer Vorteile hinsichtlich des Coverage und der Datenqualität einen bevorzugten Erhebungsmodus bei großen sozialwissenschaftlichen Umfragen, wie z. B. der Allgemeinen Bevölkerungsumfrage der Sozialwissenschaften oder dem European Social Survey, dar. Interviewern kommt bei dieser Art der Befragung zweifellos eine Schlüsselrolle zu. Sie stellen das Bindeglied zwischen Forschern und Befragten dar und die Qualität der erhobenen Daten hängt maßgeblich von ihrer Arbeit ab. Der Einsatz von Interviewern kann einerseits einige Vorteile mit sich bringen. Sie können beispielsweise Befragungspersonen über die jeweilige Studie aufklären, Vertrauen schaffen, zur Teilnahme motivieren und Hilfestellungen geben. Andererseits können sich jedoch auch Nachteile durch den Einsatz von Interviewern ergeben. Neben der sozialen Erwünschtheit betrifft dies noch ein weiteres potentielles Problem, das im Gegensatz dazu nur recht selten erwähnt wird: Es kann vorkommen, dass ein Interviewer Fragebögen komplett/teilweise selbst ausfüllt, und somit Daten fälscht. Interviewerfälschung kann ein sehr gravierendes Problem darstellen. Neben Marktforschungsstudien sind auch Meinungsumfragen und offizielle statistische/wissenschaftliche Erhebungen von dieser Problematik betroffen.
In der vorliegenden Arbeit werden Total- und Teilfälschungen bei Face-to-Face-Befragungen thematisiert. Gängige gründliche Qualitätskontrollen, wie die Durchführung von Re-Interviews sind mit hohem Aufwand und hohen Kosten verbunden, weshalb sie sich meist auf eine Stichprobe der erhobenen Interviews begrenzen. Die Kontrolle von zufälligen Stichproben wiederum erweist sich als höchst ineffektiv. Im Fokus der empirischen Arbeit sollen daher statistische Verfahren stehen, die es ermöglichen eine Gruppe von „at risk“-Interviewern, die eine erhöhte Wahrscheinlichkeit aufweisen, Interviews (teilweise) gefälscht zu haben, zuverlässig zu bestimmen. Gründlichere Kontrollen bzw. Re-Interviews können damit effizient und zielgerichtet erfolgen. Hierfür werden Daten von Studienteilnehmern experimentell gefälscht, theoriegeleitete Indikatoren gebildet und diese dann mit uni-, bi- und multivariaten Verfahren analysiert. Zusätzlich wird eine Studie mit einem Datensatz, der etwa 5 Prozent an Fälschungen enthält, repliziert, um zu untersuchen, welche Folgen sich durch einen solchen Anteil an Fälschungen im Hinblick auf Effektgrößen, Signifikanz und Schlussfolgerungen ergeben können.
Inhaltsverzeichnis
1. Einleitung
2. Grundlegende Definition und Abgrenzung des Forschungsinteresses
2.1 Begriffsdefinition
2.2 Arten von Interviewerfälschung
2.3 Fokus dieser Arbeit
3. Verortung von Interviewerfälschung im Framework des Total Survey Error
4. Forschungsstand
4.1 Ausmaß und Folgen von Fälschungen
4.2 Interviewer-Charakteristika und weitere Faktoren
4.3 Datenquellen und Verfahren zur Aufdeckung von Fälschungen
5. Theoretischer Hintergrund
5.1 Warum Fälschen Interviewer?
5.2 Wie unterscheiden sich Fälschungen von echten Interviews?
6. Durchführung der Fälschungsstudie
6.1 Forschungsdesign und methodisches Vorgehen
6.2 Datenbasis ALLBUS 2016
6.3 Fragebogen für „Fälscher“
6.4 Ziehung der Fälschungsstichprobe und zur Verfügung gestellte Informationen
6.5 Studienteilnehmer und -Unterlagen
6.6 Pretest und Datenerhebung
7. Generierung der Fälschungsindikatoren
8. Ergebnisse
8.1 Angewandte statistische Tests auf Gruppenunterschiede
8.2 Deskriptive Analyse und Betrachtung von Gruppenunterschieden
8.3 Hypothesentests (logistische Regression)
8.3.1 Testung der Modellannahmen und Art der Effektinterpretation
8.3.2 Ergebnisse der logistischen Regression
8.4 Clusteranalytische Bestimmung der „at risk“-Interviewer
8.4.1 Vorstellung der angewandten Verfahren und Prüfung der Voraussetzungen
8.4.2 Durchführung der Clusteranalyse
8.5 Quantifizierung des Verzerrungspotentials (Studienreplikation)
9. Zusammenfassung und Diskussion
Zielsetzung & Themen
Das Hauptziel der Arbeit besteht darin, statistische Methoden und quantitative Indikatoren zu evaluieren, um Interviewer, die mit erhöhter Wahrscheinlichkeit Interviews (teilweise) gefälscht haben („at risk“-Interviewer), zuverlässig von ehrlichen Interviewern zu unterscheiden und das resultierende Verzerrungspotential zu quantifizieren.
- Analyse und Definition von Interviewerfälschungen (Total- und Teilfälschungen)
- Identifikation von Indikatoren zur Aufdeckung von Fälschungen
- Experimentelle Durchführung einer Fälschungsstudie auf Basis von ALLBUS-Daten
- Multivariate statistische Analysen (logistische Regression und Clusteranalyse)
- Quantifizierung von Verzerrungseffekten durch Studienreplikation
Auszug aus dem Buch
2.1 Begriffsdefinition
Unter dem Begriff der Interviewerfälschung (engl. interviewer cheating (Finn und Ranchhod 2017: 130; Schräpler 2010: 2) können eine Vielzahl an verschiedenen, von den Interviewer Anweisungen abweichenden, Verhaltensweisen verstanden werden. Die American Association for Public Opinion Research (AAPOR), die führende Organisation für Demoskopie und Umfrageforschung in den USA, definiert Interviewerfälschung folgendermaßen:
„´Interviewer falsification´ means the intentional departure from the designed interviewer guidelines or instructions, unreported by the interviewer, which could result in the contamination of data. ´Intentional´ means that the interviewer is aware that the action deviates from the guidelines and instructions.“ (AAPOR 2003: 1).
Damit eine Interviewerfälschung vorliegt, müssen nach diesem Verständnis also zunächst einmal drei Bedingungen erfüllt sein: (1) Die Fälschung muss von einem Interviewer ausgehen. Auch wenn dies trivial erscheinen mag, ist es wichtig, hier eine klare Grenze zu ziehen. „Schummeleien“ durch andere Angestellte, die sich beispielsweise in Form einer Imputation fehlender Werte bzw. einer Duplikation ganzer Fälle durch Projektmitarbeiter oder Vorgesetzte äußern kann (Kuriakose und Robbins 2016: 283 f.; Blasius und Thiessen 2015: 480 f., 482, 489 f.; Blasius und Thiessen 2012: 67), fallen somit explizit nicht darunter (AAPOR 2003: 2). (2) Der Interviewer muss sich über seine Abweichung von den Anweisungen bzw. Regeln bewusst sein. Dies ist auf jeden Fall immer dann der Fall, wenn Daten bereits mit Vorsatz gefälscht werden. Unabsichtliche Fehler, z. B. aufgrund von Missverständnissen oder einer versehentlichen Auswahl der falschen Zielperson/Antwortkategorie, sind daher erst einmal nicht als Fälschung anzusehen.
Zusammenfassung der Kapitel
1. Einleitung: Die Arbeit beleuchtet das Problem der Interviewerfälschung in sozialwissenschaftlichen Umfragen und setzt den Fokus auf die Identifikation von „at risk“-Interviewern bei Teilfälschungen.
2. Grundlegende Definition und Abgrenzung des Forschungsinteresses: Hier wird der Begriff der Interviewerfälschung definiert, verschiedene Formen wie Total- und Teilfälschungen abgegrenzt und der spezifische Fokus der Arbeit festgelegt.
3. Verortung von Interviewerfälschung im Framework des Total Survey Error: Dieses Kapitel verortet das Phänomen der Interviewerfälschung theoretisch innerhalb des Total Survey Error Frameworks als eine Form des Measurement-Fehlers.
4. Forschungsstand: Es wird ein Überblick über das Ausmaß, die Folgen von Fälschungen sowie bekannte Einflussfaktoren und bestehende Aufdeckungsverfahren gegeben.
5. Theoretischer Hintergrund: Auf Basis der Anomie-Theorie und der Rational Choice Theory werden Erklärungsansätze für das Zustandekommen von Fälschungen erarbeitet und Hypothesen abgeleitet.
6. Durchführung der Fälschungsstudie: Das methodische Vorgehen bei der experimentellen Datenerhebung, basierend auf dem ALLBUS-Datensatz, wird detailliert beschrieben.
7. Generierung der Fälschungsindikatoren: Hier wird die Operationalisierung der acht untersuchten Fälschungsindikatoren, wie z.B. Filter-Ratio oder Item-Nonresponse-Ratio, dargelegt.
8. Ergebnisse: Die Ergebnisse der deskriptiven Analysen, der logistischen Regressionsmodelle und der Clusteranalysen werden präsentiert und interpretiert.
9. Zusammenfassung und Diskussion: Die Arbeit schließt mit einer Synthese der Ergebnisse sowie einer kritischen Reflexion der methodischen Limitationen und des Verzerrungspotentials.
Schlüsselwörter
Interviewerfälschung, Teilfälschung, Survey-Methodologie, Total Survey Error, Datenqualität, Anomie-Theorie, Rational Choice Theory, ALLBUS, Indikatoren, Clusteranalyse, logistische Regression, Measurement Bias, Satisficing, Validität, Studienreplikation.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Masterarbeit beschäftigt sich mit dem Problem der bewussten Datenmanipulation durch Interviewer in sozialwissenschaftlichen Umfragen und untersucht, wie diese durch statistische Methoden aufgedeckt werden können.
Welche zentralen Themenfelder werden behandelt?
Die Arbeit fokussiert sich auf die Unterscheidung von Total- und Teilfälschungen, die theoretischen Ursachen für solches Verhalten sowie die Entwicklung und Testung quantitativer Indikatoren zur Identifizierung verdächtiger Interviewer.
Was ist das primäre Ziel der Forschungsarbeit?
Das primäre Ziel ist es, eine Gruppe von „at risk“-Interviewern zuverlässig zu bestimmen, um zielgerichtetere Qualitätskontrollen zu ermöglichen und das Verzerrungspotential in den Umfragedaten zu quantifizieren.
Welche wissenschaftliche Methode wird verwendet?
Der Autor führt eine experimentelle Fälschungsstudie auf Basis von ALLBUS 2016-Daten durch und wendet anschließend deskriptive Analysen, logistische Regressionsmodelle sowie verschiedene Clusteranalysen (z.B. Average-Linkage) an.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil umfasst die theoretische Herleitung von Hypothesen, die detaillierte Beschreibung des Forschungsdesigns der experimentellen Fälschungsstudie sowie die umfassende statistische Auswertung und Diskussion der Ergebnisse.
Welche Schlüsselwörter charakterisieren die Arbeit?
Wichtige Begriffe sind Interviewerfälschung, Survey-Methodologie, Total Survey Error, logistische Regression, Clusteranalyse, Datenmanipulation und Verzerrungspotential.
Wie unterscheidet sich die Clusteranalyse von der logistischen Regression in dieser Arbeit?
Die logistische Regression erfordert a priori Kenntnis darüber, welcher Interviewer gefälscht hat, während die Clusteranalyse als methodisches Instrument dient, um verdächtige Interviewer ohne vorherige Kenntnis ihres Fälschungsstatus automatisiert zu identifizieren.
Warum wird in dieser Arbeit besonders der Fokus auf Teilfälschungen gelegt?
Teilfälschungen sind schwieriger zu entlarven als Totalfälschungen, da der Interviewer hierbei tatsächlich Kontakt mit der Zielperson hatte und zumindest einen Teil der Fragen korrekt erhoben hat.
Welche Rolle spielt „Satisficing“ in der theoretischen Argumentation?
Das Konzept des Satisficing dient als theoretischer Rahmen: Man vermutet, dass Fälscher bei bestimmten Fragen kognitiven Aufwand sparen wollen, dies aber unter der Maßgabe tun, nicht durch zu auffälliges Verhalten entdeckt zu werden.
Was ist das Hauptergebnis bezüglich der Clusteranalysen?
Die Clusteranalysen bestätigen die allgemeine Eignung und Nützlichkeit dieser Verfahren zur Identifikation von Risikogruppen; die gewählte Variante hat jedoch einen signifikanten Einfluss auf die Balance zwischen korrekt entdeckten Fälschern und Fehlalarmen.
- Quote paper
- Thomas Beer (Author), 2018, Interviewerfälschungen in sozialwissenschaftlichen Umfragen. Leistungsfähigkeit statistischer Aufdeckungsmethoden und Verzerrungspotenzial, Munich, GRIN Verlag, https://www.grin.com/document/456400
