Fälschungen kompletter Interviews im ESS. Gibt es verdächtige Interviewer?

Inhalt

1 Einleitung und theoretische Überlegungen

2 Forschungsstand und resultierendes Vorgehen

3 Datengrundlage
3.1 Untersuchter Datensatz
3.2 Sample

4. Berechnungsgrundlage
4.1 Methodisches Vorgehen
4.2 Konstruktion und Deskription der Indikatoren

5 Ergebnisse
5.1 Indikatoren
5.2 Gesamtscore

6 Zusammenfassung und Diskussion

Literatur

Anhänge

Aus Gründen der besseren Lesbarkeit wird in dieser Arbeit bei Termini wie Interviewer, Fälscher o. ä. auf die explizite Nennung der weiblichen Form verzichtet. Die männliche Form wird als geschlechtsneutrale Bezeichnung verwendet und steht stellvertretend für alle Geschlechter.

1 Einleitung und theoretische Überlegungen

Fälschungen von Interviews durch Interviewer sind nicht nur ein Randproblem in der empirischen Forschung (z.B. Blasius/Thiessen 2018), sondern von Relevanz in ihrer umfassenden Überprüfung (AAPOR 2003: 7) und der Methode des Herausfilterns. Je nach Studie schwanken die Hinweise auf gefälschte Interviews und reichen bis zu fünf Prozent (Blasius 2019: 379). Problematisch ist daran die nicht zu unterschätzende Beeinflussung der Umfrageergebnisse. Ihre Verfälschung steigt mit zunehmender Anzahl von Fälschungen und besonders bei multivariaten Analysen können auch schon wenige gefälschte Interviews starke Verzerrungen bewirken (Schnell 1991).

Zu beachten bei einigen Definitionen der Interviewerfälschung ist, dass beispielsweise schon bei einer Random-Walk-Anweisung das (versehentliche) Abkommen vom Weg als Fälschung zu betrachten wäre (Blasius 2019: 380). Im vorliegenden Text werden solche Abweichungen nicht gesondert thematisiert; als Fälschungen zählen hier beabsichtigte Falschinformationen, was im weiteren Verlauf noch näher definiert wird. Es sollen sogenannte At-risk-Interviewer herausgefunden werden, die eine erhöhte Wahrscheinlichkeit aufweisen, Interviews zu fälschen (Hood und Bushery 1997). In der vorliegenden Arbeit wird, begrenzt wegen des Umfangs, das absichtlich komplett gefälschte Interview thematisiert, eine sogenannte „Totalfälschung“ (Bredl et al. 2012: 1). Diese Art der Fälschung wurde gewählt, da es sich neben der Teilfälschung um die häufigste Form und schwerwiegendste Form handelt (Schreiner et al. 1988: 493). Zudem ist sie statistisch in diesem Rahmen am eindeutigsten herauszufinden. Die vollstände Forschungsfrage lautet demnach:

„Welche Interviewer sind verdächtig, im ESS vollständige Interviews gefälscht zu haben?“

Dies wird anhand einer Abwandlung der Variabilitätsmethode nach Schäfer et al. (2005) am ESS (European Social Survey) überprüft. Dafür wurden SPSS-Datensätze des Surveys in einen mithilfe von Python-Pandas selbstgeschriebenen Algorithmus eingespeist. Diese Methode bezieht mehrere literaturbasierte, eigens kombinierte Indikatoren, anhand derer Fälschungen erkennbar sein könnten, in einen Gesamtscore ein und bietet die Möglichkeit, anhand dieser Ergebnisse ein Ranking zu erstellen, wie wahrscheinlich es pro Interviewer ist, dass er gefälscht haben könnte. Da Daten zu gefälschten Interviews vom ESS nicht veröffentlich werden, ist dies eine möglichst valide Methode, um Verdachtsfälle von Fälschungen selbst herauszufinden.

Die Arbeit ist so aufgebaut, dass nach der Herleitung der verwendeten Definitionen und des groben Vorgehens zunächst die verwendete Datenbasis, die Operationalisierung der verwendeten Indikatoren und das methodische Vorgehen thematisiert werden. Anschließend werden die Ergebnisse vorgestellt und zuletzt zusammengefasst und kritisch beleuchtet.

2 Forschungsstand und resultierendes Vorgehen

Gerade bei Face-to-face-Interviews beziehungsweise hier CAPI-Interviews, die persönlich computergestützt stattfanden und aufgrund einiger Vorteile der Datenqualität bei umfangreichen Befragungen häufig genutzt werden (Groves et al. 2009), sind Fälschungen durch den Interviewer nicht auszuschließen. Die Vorteile eines persönlichen Interviewers sind beispielsweise Aufklärung, Vertrauen und Teilnahmemotivation und infolgedessen eine höhere Antwortrate, was etwa telefonische oder Onlineumfragen ohne einen vermittelnden persönlichen Interviewer nicht möglich wäre. Interviewer sind demnach eine nützliche Verbindung zwischen Forscher und Befragten, erhöhen daher jedoch bereits durch ihre Existenz die Wahrscheinlichkeit einer Datenverfälschung immens, schon allein beispielsweise durch Missverstehen oder falsche Kommunikation der Fragen oder die Auffassung des Interviewten, der seinerseits auf den Interviewer reagiert, was unter anderem Antworten auf Basis sozialer Erwünschtheit nach sich ziehen kann. (Schnell et al. 2011: 348) All dies kann zu einem Measurement Bias führen. (Groves et al. 2009: 52 f.) Aufgrund solcher nicht allzu unwahrscheinlicher Verfälschungen, die nicht absichtlich durch den Interviewer herbeigeführt werden, und wegen auch kleinerer vorkommender Abweichungen wie einzelner Fragen, die durch den Interviewer zwar absichtlich übersprungen, jedoch deswegen nicht ganze Interviews gefälscht werden, muss bei der Suche nach fälschenden Interviewern behutsam vorgegangen und genau das Vorgehen bestimmt werden. Der Vorwurf der Fälschung ist gravierend und die Qualität der Ergebnisse einer Fälschungsanalyse kann immens variieren. Sämtliche Annahmen sind hier deshalb als probabilistisch anzusehen und mit Vorsicht zu betrachten.

Das Team des ESS führt interne Auswertungen über Interviewerfälschungen durch, um die entsprechenden Datensätze vor der Auswertung zu eliminieren. Man trifft dort, laut eigener Angaben bezogen auf Robbins (2018), standardisierte Vorkehrungen wie etwa Backchecks durch Anrufe, Paradatenanalyse und Kontrollen auf Duplikate. In Zukunft sollen Verfahren wie GPS-Tracking von Interviewern ergänzt werden. (ESS 2018.4) Trotz dieser Verfahren, die sich aufgrund ihrer Beschaffenheit vor allem rückwirkend umsetzen lassen, können Fälschungen passieren; diese werden erfasst und gefiltert (ebd.). Die Interview- oder Interviewernummern dieser Fragebögen werden jedoch nicht öffentlich zur Verfügung gestellt, sodass eine Hypothesenbildung diesbezüglich erst möglich ist, wenn sie bereits zuvor durch Eigenarbeit identifiziert wurden.

Die American Association for Public Opinion Research (AAPOR), die führende Organisation für Demoskopie und Umfrageforschung in den USA, definiert Fälschungen in diesem Kontext folgendermaßen:

„Interviewer falsification' means the intentional departure from the designed interviewer guidelines or instructions, unreported by the interviewer, which could result in the contamination of data. 'Intentional' means that the interviewer is aware that the action deviates from the guidelines and instructions.“

(AAPOR 2003: 1)

Demzufolge liegt eine Fälschung dann vor, wenn sie absichtlich vom Interviewer ausgeht und er diese bewusst nicht seinem Auftraggeber meldet. Die Frage, warum Interviewer fälschen, bietet hier die Basis der Begründung, warum Interviewer komplette Interviews fälschen. Wird davon ausgegangen, dass es vorrangig der Zeitersparnis wegen praktiziert wird (Blasius&Friedrichs 2012), ergeben sich Vorannahmen, die getroffen werden müssen, um vermutlich gefälschte Interviews herauszufinden. So wäre es am naheliegendsten, den betreffenden Interviewern zu unterstellen, dass sie die Interviews erstens komplett selbst ausgefüllt haben, um sich die Suche nach Kontaktpersonen zu sparen, und sich zweitens keine Charaktere erdacht haben, nach denen sie die Interviews ausgefüllt haben. Drittens achten sie nicht auf die Inhalte der Fragen, die sie beantworten, und viertens versuchen sie dabei durch Angabe möglichst realistischer Paradaten unauffällig zu bleiben. Zusammenfassend lassen sich also zwei Hauptintentionen von Fälschern herausarbeiten: Erstens das Konzept des Satisficing, das sich aus der Literatur übertragen lässt. Demnach sparen sich Befragte möglichst viele Umstände bei der Fragenbeantwortung (Blasius&Thiessen 2015: 481); dieses Konzept lässt sich auch auf Interviewer insofern übertragen, dass fälschende Interviewer ihren Aufwand möglichst gering halten wollen (Menold et al. 2013: 29). Dem entgegen steht zweitens der Wille, nicht erwischt zu werden. Diese zunächst widersprüchlich erscheinenden Intentionen lassen sich insofern verknüpfen und sogar nutzen, dass sie bei den verschiedenen genutzten Indikatoren zur Fälscherfindung eingesetzt werden. Dafür müssen zwei weitere Annahmen getroffen werden: Erstens, an Stellen des Fragebogens, die es zulassen, wird nach Möglichkeit Zeit und Arbeit gespart (Menold&Kemper 2014: 45). Dies ist der Hintergrund für die Indikatoren zur Filternutzung und Vermeidung offener Angaben. Und Zweitens, um nicht erwischt zu werden, wird so gründlich gearbeitet, dass es zu auffällig gründlich ist (Beer 2018). So werden als normal angenommene Antworten überdurchschnittlich häufig gewählt, woraus die Neigung zur überdurchschnittlichen Meidung von Extremkategorien und von Straightlining, dem Hang zu Mittelkategorien und dem niedrigen Nonresponse erklärt. (Menold et al. 2013: 29) Welcher Indikator mit beidem nicht erklärt werden kann, da er auf reiner Fehleinschätzung der Fälscher beruht, ist die Dauer des Interviews.

Die getroffenen Annahmen beziehen sich auf alle Interviewer, sodass davon ausgegangen werden kann, dass Anomalien mit einer vernachlässigbaren Wahrscheinlichkeit in einer hohen Dichte pro Interviewer auf andere äußere Faktoren zurückzuführen sind. Einer dieser Faktoren betrifft die Kompetenz der Interviewer. Diese wird durch den ESS geschult (ESS 2018.4), sodass mögliche Verzerrungen etwa durch Interviewerbeeinflussung möglichst umfassend reduziert worden sein sollten. Diese werden demnach hier nicht mit einberechnet und berücksichtigt. Weitere Beeinflussungen könnten durch systematische Verzerrungen entstehen oder auch durch die Befragten selbst. Da diese im Umfang der vorliegenden Arbeit nicht alle mit einbezogen werden können, muss im Vorhinein an dieser Stelle die Annahme getroffen werden, dass deren Einfluss nicht groß genug ist, um die Ergebnisse intensiv verfälschen zu können. Generell sind drei Arten der Fälschung grob zu unterscheiden; das Fälschen, also Kopieren oder ganz Erfinden eines kompletten Interviews, das Ergänzen einzelner Fragen sowie die Auswahl einer Zielperson, die nicht der geforderten Quote entspricht (Schäfer et al. 2005: 2).

Methodisch gesehen gibt es verschiedene Möglichkeiten, um Interviewerfälschungen aufzudecken. Eine recht umständliche Methode ist das Re-Interview (Bredl et al. 2012: 12 f.). Dabei wird der verdächtige Interviewer im Nachhinein über die genaue Interviewsituation befragt, wodurch unwahre Aussagen entlarvt werden können. Über eine Zufallsauswahl ist die Wahrscheinlichkeit, einen tatsächlichen Fälscher zu finden, jedoch relativ gering, und für gezielte Befragungen sollte eine weitere Analyse vorgelagert sein. Dafür eignet sich beispielsweise die oftmals verwendete Benford-Analyse (z.B. Schäfer et al. 2005). Im vorliegenden Datensatz sind dafür jedoch nicht genügend geeignete metrische Variablen vorhanden, um den Indikator zu bilden, dessen Abweichung von der Benford-Verteilung letztlich gemessen werden soll. Als weitere Möglichkeiten bieten sich daher eine multilineare Regression, Clusteranalyse, Variabilitätsmethode (nach Schäfer et al. 2005) oder Probitregression an. Regressionen und weitere variablenbasierte Methoden kommen hier nicht infrage, da die Variable „gefälschtes Interview/fälschender Interviewer“ nicht bekannt ist. Folglich bleibt für diese Fragestellung die Möglichkeit, mittels diverser Indikatoren die Wahrscheinlichkeit einer Fälschung zu schätzen. Dieses Vorgehen ist angelehnt an die Variabilitätsmethode (Schäfer et al. 2005), bei der die Varianz der Interviews verglichen wurde und diese mit geringer Varianz als verdächtig eingestuft wurden. Abgewandelt wurde sie hier in der Form, dass ursprünglich die Varianz diverser Indikatoren geprüft und pro Interviewer zusammengefasst werden sollte, da durch die im Folgenden erläuterten gewählten Indikatoren relativ deutliche Hinweise auf Fälschungen liefern können, ohne rein und ausschließlich statistisch begründet zu sein. Durch verschiedene bei der Umsetzung auftretende Anpassungen entstand daraus die Methode, nicht lediglich die Varianz zu überprüfen, sondern pro Indikator angepasste Kriterien auszuwählen, die die weitere Einordnung ermöglichten. Näheres ist dazu in den folgenden Absätzen und Kapiteln erläutert.

Erkennbar können Fälschungen an formalen oder inhaltlichen Indikatoren sein (Menold&Kemper 2014). Inhaltlich sind häufig Widersprüche möglich; wenn mehrere Befragte etwa angeben, nachmittags zu arbeiten, und an anderer Stelle im Fragebogen, jeden Nachmittag mit Freunden unterwegs zu sein. Ebenso schwer zu fälschen sind Fragen, die die Persönlichkeit des Befragten testen, wie beispielsweise zu den Big Five. (ebd.) Dies wurde jedoch im ESS in Runde 1 nicht umfassend genug abgefragt, weswegen inhaltliche Indikatoren für die vorliegende Analyse nicht infrage kamen und formale Indikatoren fokussiert wurden. Auch gibt es zwei Datenquellen innerhalb des Datensatzes, anhand derer Fälschungen herausgefunden werden können: Das Antwortverhalten der vermeintlich Befragten, aus dem eigens Indikatoren gebildet werden, sowie Paradaten (Menold und Kemper 2014: 43 f.). Erstere lassen sich in etwa dadurch herausfiltern, dass innerhalb der Fragebögen eines Interviewers ähnliche Antwortabweichungen stattfinden, die im Gesamtvergleich unrealistisch oft in eine bestimmte Richtung gehen. Ebenso auffällig können Antworten sein, die sich häufig auf einer Seite einer Skala befinden oder gar einem Muster entsprechend angeordnet sind. Zudem, da der angenommene Grundgedanke des fälschenden Interviewers ja Zeitersparnis ist, ist die häufige Umsetzung von Filterfragen naheliegend, ebenso wie die Vermeidung offener Antworten. (Menold et al. 2013: 29) Paradaten dagegen werden vom Interviewer selbst ohne Befragung der Zielperson erhoben und würden gegebenenfalls eine Auffälligkeit darstellen, wenn beispielsweise Zeit und Ort eher ungewöhnlich anmuten würden (Bredl et al. 2013: 14). Bezüglich des vorliegenden Datensatzes ließe sich ein gefälschtes Interview damit etwa daran erkennen, dass auffällig viele Interviews an einem Tag oder gar zur selben Zeit geführt wurden, sie unrealistisch kurz oder lang dauerten oder geforderte Kontaktdaten des Befragten fehlen (Krejsa et al. 1999). Hier wird jedoch aufgrund obiger Argumentation und Annahmen davon ausgegangen, dass fälschende Interviewer solche auffälligen Angaben vermeiden würden, weswegen sie bis auf die Dauer des Interviews nicht verwendet wurden.

Als Hypothesen, um Fälscher herauszufinden, gibt es in der Literatur einige Vorschläge. Diese konnten abgewandelt als Grundlage der gebildeten Indikatoren verwendet werden. Dazu zählen unter anderem:

- Fälscher weisen bei halboffenen Fragen einen geringeren Anteil offener Angaben auf als ehrliche Interviewer.
- Fälscher weisen in der Gesamtheit aller gestellten Fragen einen geringeren Anteil an Item-Nonresponse auf als ehrliche Interviewer.
- Der Anteil ordinaler Fragen bzw. Items, bei denen die höchste oder niedrigste Kategorie gewählt wurde, ist bei Fälschern niedriger als bei ehrlichen Interviewern.
- Bei Fälschern tritt anteilig weniger häufig Straightlining in Itembatterien auf als bei ehrlichen Interviewern.

(Beer 2018)

Nun ergäbe es nicht bei allen dieser Hypothesen Sinn, diese auf den ESS anzuwenden, und auch inhaltlich sind sie oftmals nur in einer Kombination als Hinweis auf Fälschungen verwendbar. Werden beispielsweise mehrere Interviews an einem Tag geführt, kann dies allein als Indikator für einen betrügerischen Interviewer nicht ausreichen, da er sich auch einen „Interviewtag“ festgelegt haben kann, um die Arbeit zu bündeln. Ebenso problematisch wäre die Annahme, dass kurze Antworten auf offene Fragen allein auf einen Fälscher hinweisen, da auch der Interviewte selbst recht wortkarg sein kann. Daher müssen die Indikatoren gebündelt und am Ende zu einem Score pro Interviewer kombiniert werden - nicht pro Interview, da solche Auffälligkeiten auch stark von der befragten Person abhängen können. Die vorliegende Auswertung basiert daher auf quasi-formalen Indikatoren, die zu einem Score verknüpft wurden, der die Wahrscheinlichkeit einer Fälschung angibt - Näheres dazu ist zu finden bei der Beschreibung des Vorgehens im weiteren Verlauf der Arbeit. Die Indikatoren wurden literaturbasiert erstellt und miteinander verknüpft. Ob sie zutreffen, wurde anhand der einzelnen Interviews überprüft, die am Ende den Interviewern zugeordnet wurden. Dieses Vorgehen wurde gewählt, da bei einer Auswertung der bereits ihren durchführenden Interviewern zugeordneten Fragebögen die Verteilung variierender Abweichungen zwischen diesen Fragebögen sich gegenseitig hätten aufheben können. So wurden alle Interviews einzeln und unabhängig voneinander geprüft, am Ende den durchführenden Interviewern zugeteilt und dadurch versucht, statistische Aufhebungsmechanismen zu vermeiden.

Zuerst wurde geprüft, ob häufig Filterfragen „genutzt“ wurden. Dafür wurden solche Fragen und davon die Antwortkategorien herausgesucht, mithilfe derer sich signifikant mehr Folgefragen überspringen lassen als mit anderen, da Fälscher bewusst Fragen überspringen können, um Zeit zu sparen (Menold et al. 2013: 29). Diese Überlegungen beruhen auf Ergebnissen von Studien von Bredl et al. (2012), Menold et al. (2013) und Menold und Kemper (2014).

Als zweiter Indikator wurde das Vermeiden offener Pflichtangaben verwendet, da diese Kenntnisse über die vermeintlich interviewte Person erfordern sowie mehr Zeit kosten als Multiple-Choice-Fragen und daher der Theorie zufolge von Fälschern vermieden werden. (Menold et al. 2013: 29) Welche Arten offener Angaben hierbei verwendet wurden und warum nicht, wie meistens in der hier bereits genannten Literatur verwendet, halboffene Angaben verwendet wurden, ist vor allem statistisch zu argumentieren und wird daher im weiteren Verlauf dargelegt.

Der dritte Indikator ist die Interviewdauer. In der Literatur wurden auch bereits Interviews für verdächtig erklärt, deren Durchführung zu ungewöhnlichen Uhrzeiten durchgeführt wurden, so beispielsweise vor sieben oder nach 22 Uhr (z.B. Wasmer&Koch 2002), jedoch wird hier davon ausgegangen, dass ein absichtlich komplett fälschender Interviewer den Verdacht durch Angabe solch auffälliger Zeiten nicht erhärten wollen würde und diese daher vermeidet. Verwendet wurde jedoch die Dauer der Interviews. Diese variiert als Fälschungsindikator in der Literatur (als Gegenbeispiel z. B. Friebe&Gebrande 2013); hier wurden sowohl ungewöhnlich kurze als auch ungewöhnlich lange Interviews beachtet. Dauerte ein Interview mehr als doppelt solang wie der Durchschnitt oder weniger als ein Viertel solang, kann dies ein weiterer Hinweis auf eine Fälschung sein. (Wasmer&Koch 2002) Abgesehen von der literaturbasierten Annahme ist argumentativ dazu zu sagen, dass die Angabe einer ungewöhnlich kurzen Interviewdauer auf einer fälschlichen Schätzung des Interviewers basieren kann, ebenso wie eine ungewöhnlich lange. Als alleiniger Indikator würde diese Angabe ebenso wie die anderen Indikatoren nicht genügen, jedoch kann er in Verbindung mit zeitsparenden oder zeitbrauchenden Methoden wie der Verwendung von Filterfragen oder offenen Angaben kombiniert Hinweise auf verdächtiges Verhalten geben. Wie mehrere solcher Hinweise verknüpft wurden, wird im weiteren Verlauf im Absatz zum Gesamtscore näher erläutert.

Des Weiteren wurde der Anteil an Item-Nonresponses geprüft. Dieser sollte bei Fälschern geringer ausfallen als bei ehrlichen Interviewern, da Fälscher „dazu tendieren, jede Frage zu beantworten“ (Schäfer et al. 2005: 8). Empirisch gestützt wird diese Theorie unter anderem von Bredl et al. (2012) und Menold und Kemper (2014). Der Grund für dieses auffällige Antwortverhalten, so wird dort davon ausgegangen, liegt in dem Überfliegen der Texte und Aufgabenstellungen, sodass Filterfragen ohne Filterung übergangen werden, und in dem zugleich bewusst gewissenhaften Beantworten jeder Frage (ebd.). Hierbei wurden alle Variablen einberechnet, die die Antwortkategorien „Weiß nicht“ und eine explizite Verweigerung zur Auswahl anboten, da dort die Meidung am eindeutigsten feststellbar ist (vgl. Jacobs et al. 2020).

Als ein weiteres Indiz für Fälschungen kann gelten, dass Extremkategorien überdurchschnittlich selten angegeben wurden. Dies kann daran liegen, dass die Angabe von Extremwerten durch reale Befragte von den Fälschern implizit unterschätzt wird und sie sich daher scheuen, diese zu verwenden. (Menold et al. 2013; Schäfer et al. 2004; Menold&Kemper 2014) Dies entspricht der oben getroffenen gegensätzlichen Annahme zum Satisficing. Durch Bredl et al. (2012) wurde diese These bereits empirisch bestätigt.

Der sechste Indikator ist schließlich die auffällig seltene Verwendung von Straightlining, also die Angabe desselben Wertes über jeweils eine Itembatterie hinweg (Krosnick 1989: 217 ff.). Ausgehend von der Annahme, dass Interviewer vor allem aus Zeitgründen fälschen, würden sie ja nicht viel Energie in die inhaltliche Auseinandersetzung mit der Logik oder eben auch der Variation in den Antwortkategorien stecken und daher dazu tendieren, häufig hintereinander denselben oder ähnlichen Wert anzukreuzen. Dies ist jedoch bei gründlichen Fälschern höchst unwahrscheinlich und dem entgegen steht auch die oben bereits ausgeführte Annahme, dass fälschende Interviewer ungewöhnlich gründlich arbeiten, um keinen Verdacht zu erregen (Beer 2018). Basierend auf dieser Annahme könnte das auffällig seltene Vorkommen von Straightlining ein weiterer Hinweis auf Fälscher sein.

Als letzter Indikator schließlich wurde die häufige Auswahl von Mittelkategorien verwendet. Wurden in verschiedenen Itembatterien auffällig oft Mittelwerte gewählt, ist dies eine Art des Straightlinings, jedoch einzeln aufgeschlüsselt noch ein weiterer Indikator, der den Fälschungsverdacht präzisieren kann. Statistisch anders berechnet, wie weiter unten erläutert wird, korreliert er zwar teilweise mit anderen Indikatoren, präzisiert diese jedoch auch zugleich. (Jacobs et al. 2020)

3 Datengrundlage

3.1 Untersuchter Datensatz

Als hier untersuchter Datensatz zur Überprüfung der Hypothese wurde der ESS-Datensatz ausgewählt.

„Die Europäische Sozialerhebung (ESS) ist eine alle zwei Jahre stattfindende länderübergreifende Erhebung über Einstellungen und Verhaltensweisen, die im Jahr 2001 durchgeführt wurde. Die ESS verwendet Querschnitts-Wahrscheinlichkeitsstichproben, die für alle Personen ab 15 Jahren repräsentativ sind, die in privaten Haushalten in jedem Land ansässig sind.“

(ESS 2018.1)

Der Hauptdatensatz ist recht umfangreich, länderübergreifend, doch auch in Teilen länderspezifisch angepasst (ebd.). Der Erhebungszeitraum von Runde 1 fand vom 20.11.2002 bis zum 16.05.2003 statt. (ESS 2018.3)

Zwar wäre der Datensatz anderer Länder, gerade im weiterführenden Vergleich, auch sehr interessant gewesen, jedoch liegen die Fragebögen nur in den jeweiligen Landessprachen vor, was bezüglich der hiesigen Thematik schwer gewesen wäre zu verwenden. Aus diesem Grund wurde der deutsche Datensatz, Runde 1, verwendet, zu dem alle notwendigen Daten in hinreichender Form vorlagen. Trotz des schon längeren Zurückliegens seiner Erhebung lässt sich dank seiner sorgfältigen Methodik mit den zur Verfügung gestellten Daten noch immer zur Auswertung ebensolcher Fragestellungen sehr gut arbeiten.

Alle Interviews wurden in persönlichen Face-to-Face Interviews computergestützt durchgeführt (CAPI). (ESS 2018.2: 65) Die Vor- und Nachteile dafür wurden bereits genannt; anhand der auf dieser Weise erhobenen Daten lassen sich demnach recht eindeutig gefälschte Interviews erkennen.

3.2 Sample

Der Datensatz ESS1De enthält 2.995 durchgeführte Interviews mit 5.796 Units, die Mehrfamilienhäuser, einzelne Haushalte oder Einzelpersonen entsprechen. Als zusätzliche Datensätze wurden der nationale Zusatzfragebogen sowie der Kontaktdatensatz mit eingelesen, da Ersterer interessante Zusatzvariablen bot, die eine genauere Auswertung ermöglichten, und in Zweiterem die Interviewernummern enthalten waren, die letztlich zur Kenntlichmachung verdächtiger Interviewer notwendig waren.

Die Antwortrate in Runde 1 entsprach rund 55,68%. (ESS 2018.2: 69) Dafür wurden 100 Gemeinden in den ost- und 50 in den westdeutschen Bundesländern untersucht, die der Bevölkerungsstruktur im Jahre 2002 entsprachen. Insgesamt entstanden so 213 Erhebungspunkte. In einer asymmetrischen Zufallsauswahl wurden so 5.796 Sampleunits gewählt. Für das Framing wurden Daten des Statistischen Bundesamtes und lokaler Bürgerämter verwendet (ESS 2018.2: 66). Nach Filterung der Fälle, in denen die Kontaktaufnahme nicht erfolgreich verlief oder die Paradaten nicht aussagekräftig genug waren, verblieben 2.919 vollständige Interviews, durchgeführt von 182 Interviewern, die im letzten Schritt der Analyse zudem noch danach gefiltert wurden, dass nur Interviewer und deren Interviews aufgenommen wurden, die mindestens fünf Stück durchgeführt haben. Dies basiert auf der Aussagekraft des Scores, die bei Verwendung von zu wenigen Befragungen pro Interviewer nicht mehr eindeutig genug erkennbar wäre. So verblieben letztlich 2894 Interviews von 158 Interviewern.

4. Berechnungsgrundlage

4.1 Methodisches Vorgehen

Eine Schwierigkeit bei der Bearbeitung der Fragestellung mit dem vorliegenden Datensatz lag darin, dass die Interviewernummern tatsächlich fälschender Interviewer, ebenso wie eventuell hilfreiche Informationen gebende Daten zu den durchführenden Interviewern selbst, vom ESS nicht veröffentlicht wurden. Infolgedessen konnte keine Hypothese mit den Fälschungen als Y- Variable erstellt werden. Stattdessen wurden sieben verschiedene Indikatoren gebildet, aus deren Zusammenfassung zu einem Gesamtscore verdächtige Interviewer herausgelesen werden konnten. Die Zusammenfassung ist dabei an Schäfer et al. (2005) und deren Variabilitätsmethode orientiert; die Indikatorenbildung beruht auf in obigem Kapitel gesammelter Literatur. Diese Indikatoren wurden jeweils binär codiert als 0 = „kein Fälschungsverdacht/unauffällig“ und 1 = „Fälschungsverdacht/auffällig“, im weiteren Verlauf des Textes auch dementsprechend genannt. Das Vorgehen mittels dieser binären Codierung ist stark vereinfacht und, angepasst an die Indikatoren, aus oben genannten Gründen abweichend von der Variabilitätsmethode nach Schäfer et al. (2005) gewählt, da die Aufsummierung in den Gesamtscore am Ende so simpler umzusetzen erschien. In umfassenderen Arbeiten sollte sich an dieser Stelle eventuell für eine metrische Variable entschieden werden, um eine höhere Genauigkeit zu erreichen. In einem aus allen Indikatoren bestehenden Score wurde die Anzahl der gefälschten Interviews in einem letzten Schritt schließlich den jeweiligen Interviewern zugeordnet, sodass die verdächtigen Interviewer letztlich anhand des Anteils verdächtiger durch sie durchgeführten Interviews erkannt werden konnten, kombiniert mit der Anzahl erfüllter Indikatoren; die Zuordnung war dabei angelehnt an Schäfer et al. (2005). Dazu wurde der durchschnittliche Gesamtscore verwendet und mithilfe eines t-Tests überprüft (Bleymüller et al. 2020), sodass ersichtlich wurde, wie wahrscheinlich es war, dass der jeweilige Durchschnittswert im Verhältnis zur Anzahl der Interviews innerhalb der zu erwartenden Verteilung lag. Somit entstand am Ende ein Gesamtscore, der angab, wieviel Prozent der Interviews pro Interviewer auffällig waren und das aufgrund welcher Indikatoren, die wie oft verwendet wurden. Nach vorangehender Überlegung, zuerst einen Score pro Interview zu erstellen und diesen danach den Interviewern zuzuordnen, wurde diese Idee verworfen, da kein Fragebogenscore erstellt werden sollte, sondern eine Systematik pro Interview, die nicht so sehr auf die Einzelinterviews festgelegt sein sollte.

[...]