Wie wird die Datenqualität durch den Computereinsatz bei mündlich-persönlichen Interviews verbessert?

Gliederung

1. Hinführung zum Thema

2. Die computergestützte mündliche Befragung (CAPI)
2.1 Definition
2.2 Anfänge der Methode
2.3 Voraussetzungen, Schwierigkeiten und Gründe für die CAPI-Nutzung

3. Möglichkeiten zur Verbesserung der Datenqualität
3.1 Plausibilitäts- und Konsistenzprüfungen
3.2 Filterführung und Splits
3.3 Fragen- und Itemrotation
3.4 Flexibilität
3.5 Unbegrenzte Länge der Antworten
3.6 Interviewkontrolle

4. Hinweise zur Qualitätsverbesserung in ausgewählten Studien
4.1 ALLBUS
4.2 Beziehungen und Familienleben in Deutschland
4.3 SOEP
4.4 Gemeinsamkeiten der Ergebnisse

5. Zusammenfassung und Ausblick: Mögliche Zukunft der CAPI-Methode

Literaturverzeichnis & Abkürzungen

1. Hinführung zum Thema

Die Frage nach der Qualität von erhobenen Daten ist schon immer ein zentrales Thema bei jeglicher Art von Befragung. Edith D. de Leeuw äußerte sich beispielsweise wie folgt dazu: „There can be no dispute that we should aim for high quality data.“ ¹ Seitdem elektronische Geräte, wie zum Beispiel der Computer, bei Befragungen einge- setzt wurden, hat die Diskussion über Qualität ganz neue Dimensionen angenommen, da allein aus technischen Gründen zahlreiche Verbesserungen vorgenommen werden konnten. Einige dieser Verbesserungsmöglichkeiten werden auf den folgenden Seiten genauer beschrieben. Außerdem soll geklärt werden, ob es durch den Einsatz von Computern tatsächlich zu einer erhöhten Datenqualität kommt. Es handelt sich hier um den Einsatz von Computern bei mündlich-persönlichen Interviews. Diese Methode heißt CAPI und was darunter genau zu verstehen ist, soll gleich zu Beginn erklärt wer- den. Danach werden einige Möglichkeiten zur Verbesserung der Datenqualität beleuch- tet und diese dann anhand von ausgewählten Studien belegt und erläutert. Das Hauptin- teresse liegt bei der Beantwortung der Forschungsfrage, wie die Datenqualität durch den Computereinsatz bei mündlich- persönlichen Interviews verbessert werden kann. Allgemein kann die Datenqualität „[...] als ein Maß für die Richtigkeit und die Voll- ständigkeit erhobener Daten angesehen werden, welche durch eine Vielzahl von Ein- flussfaktoren (...) determiniert wird. Sie läßt sich anhand der Anzahl und der Größe auftretender Erhebungsfehler beurteilen.“² Aus diesem Grund wird der Fokus dieser Arbeit auf den Möglichkeiten liegen, wie Fehler reduziert und damit die Datenqualität erhöht werden kann.

2. Die computergestützte mündliche Befragung

Bei der computergestützten, mündlich-persönlichen Befragung handelt es sich um eine Bildschirmbefragung, bei welcher der gewöhnliche Papierfragebogen durch einen Computerbildschirm ersetzt wird und die Eingabe der Antworten durch die Tastatur oder die Maus erfolgt.³ Die Fragen erscheinen somit auf dem Laptop, die der Inter- viewer dann dem Befragten vorliest.⁴ Meist findet die Befragung bei den Befragten Zuhause statt, weshalb der Computer einfach zu transportieren sein sollte.

2.1 Definition

Diese Befragungsmethode wird auch als „CAPI“ bezeichnet, abgeleitet von dem engli- schen Begriff „computer assisted/aided personal interview“. Sie ist eine „aktuelle Me- thode der Datenerhebung, welche die zeitnahe, zeitökonomische und zuverlässige In- tegration von Qualitätssicherungsmaßnahmen und innovativen Befragungsmodalitäten erlaubt.“⁵

2.2 Anfänge der Methode

Die Anfänge von computergestützten Befragungen liegen nicht wie bei CATI („Com- puter assisted telephone interview“) in der Marktforschung, sondern bei amerikani- schen, statistischen Regierungsagenturen. Ein Grund dafür könnte sein, dass Regie- rungsagenturen die notwendigen Ressourcen einsetzen konnten, um Face-to-face Inter- views mittels Computereinsatz durchzuführen. Das Konzept von persönlichen, compu- terunterstützten Interviews war schon in den späten 1980er Jahren bekannt. Damals lag eine der größten Schwierigkeit darin, die richtige Hardware zu finden und andere technische Probleme zu überwinden. Zum Beispiel mussten die Interviewer damals ihren Laptop noch mit der Telefonleitung verbinden, um die gesammelten Daten zu übermitteln. Dabei sind die Verbindungen teilweise während der Befragung abgebro- chen und die Befragung musste neu begonnen werden.

Ein anderes Hindernis war das Gewicht der Computer. „Statistics Sweden“ testete da- her im Jahr 1982 kleinere Laptops speziell zur Nutzung für mündlich-persönliche In- terviews. Die ersten nationalen Studien mit der CAPI-Methode waren dann im Jahr 1987 die „Dutch Labor Force Survey“ und die „Nationwide Food Consumption Survey“.⁶ Von 1988 bis 1994 ist die Nutzung von CAPI rapide gestiegen. Das lag da- ran, dass sich nach zahlreichen Testperioden viele weitere Regierungen dazu entschie- den, die CAPI-Methode ebenfalls zu verwenden. Dabei gab es zunächst oft eine Mi- schung aus CATI und CAPI.⁷

Der organisatorische Aufwand ist bei dieser Methode um einiges größer, als bei ver- gleichbaren mündlichen Interviews. Das liegt hauptsächlich daran, dass der Fragebo- gen erst einmal auf dem Computer programmiert werden muss. Je nach Komplexität der Fragestellung erhöht sich somit auch der vorher zu tätigende Aufwand. Diese höhe- ren Aufwendungen lassen sich jedoch an anderer Stelle wieder ausgleichen, beispielsweise durch einen geringeren Aufwand bei der Datenübertragung. Mit Komplexität ist hier gemeint, dass es durch den Computereinsatz einige Möglichkeiten gibt, um den Fragebogen technisch, sowie methodisch zu verbessern und zu erweitern. Diese werden in Kapitel 3 noch ausführlich veranschaulicht.

2.3 Voraussetzungen, Schwierigkeiten und Gründe für die CAPI-Nutzung

Eine allgemeine Voraussetzung zur Anwendung der CAPI-Methode ist die Auswahl einer geeigneten Software mit dazu passender Hardware. Während es in den Anfängen der CAPI-Nutzung schwierig war, einen tragbaren Computer mit ausreichender Batterieleistung für ein ganzes Interview zu finden, ist dies heute kein großes Problem mehr, da es mittlerweile preisgünstige, leistungsfähige Laptops und viele unterschiedliche Befragungssoftwares gibt.⁸

Außerdem müssen die Interviewer, wie bei jeder Befragung, vorher eine Schulung durchlaufen, welche auf unterschiedliche Weise geschehen kann. Es ist bewiesen, dass eine Interviewerschulung die Datenkollektion positiv beeinflusst⁹, weshalb diesem Training ein hoher Stellenwert zugerechnet werden sollte. Zwar verfügen heutzutage schon die meisten Interviewer über ausreichende Computerkenntnisse, jedoch sollten diese fortlaufend weiterentwickelt werden, da dies auch mit den Computerprogrammen geschieht.¹⁰

Des Weiteren sollte auch bei der CAPI-Methode ein Pretest durchgeführt werden, um sowohl inhaltliche, als auch technische Fehler zu vermeiden. Dadurch kann unter ande- rem herausgestellt werden, welches die optimale Fragenreihenfolge ist. Durch den Computereinsatz gibt es die Möglichkeit, unterschiedliche Versionen ohne großen Mehraufwand vorab zu testen. Das konnte zwar auch schon bei Papierfragebögen ge- macht werden, jedoch ist es am Computer sehr viel leichter zu realisieren und die dabei sichtbar werdenden Mängel können sofort verbessert werden.¹¹ Außerdem sollte den Befragten vor der Befragung ein schriftliches Anschreiben zugesendet werden, damit diese Zuhause sind, wenn das Interview durchgeführt werden soll. Darin sollte die

Zielperson Informationen über die Befragung erhalten,¹² jedoch nicht über die Ziele informiert werden, da dies sonst zu Verzerrungen der Daten führen kann. Einer der Hauptgründe, weshalb computergestützte Interviews trotz des relativ großen Aufwands eingesetzt werden, ist die generelle Annahme, dass der Einsatz der ange- wandten Technik die Datenqualität verbessert, die Effektivität erhöht und die Kosten reduziert.¹³ Diese Annahme ist für die Verbreitung und Verwendung der Befragungs- methode von großer Relevanz. Würden diese bedeutsamen Vorteile von den Verwen- dern nicht erkannt und geschätzt worden sein, hätte die CAPI-Methode mit Sicherheit eine sehr viel geringere Verbreitung gefunden. Insgesamt bietet CAPI zahlreiche Mög- lichkeiten, um vor allem eine Verbesserung der Datenqualität zu erreichen. Diese sollen im Folgenden aufgezeigt und erläutert werden, denn sie stellen wahrscheinlich die Hauptgründe dar, weshalb CAPI überhaupt genutzt wird.

3. Möglichkeiten zur Verbesserung der Datenqualität

3.1 Plausibilitäts- und Konsistenzprüfungen

Eine Möglichkeit zur Verbesserung der Datenqualität besteht darin, dass in den elektro- nischen Fragebogen Plausibilitätsprüfungen einprogrammiert werden können. Bei die- ser Art von Prüfung werden die Antworten direkt über die Tastatur in den Computer eingegeben „[...]und vom Programm auf Gültigkeit und logische Konsistenz mit den vorherigen Antworten geprüft. Eine nachträgliche Erfassung und Bereinigung der er- hobenen Daten entfiel somit, und die Analyse der Daten konnte sofort nach Abschluss des Interviews beginnen.“¹⁴ Sobald das Computerprogramm eine Antwort als unplau- sibel identifiziert, erscheint die betreffende Frage ein weiteres Mal auf dem Computer- bildschirm, so dass auftretende Fehler sofort verbessert werden können. Der Intervie- wer kann dabei entscheiden, ob er die Frage noch einmal dem Befragten stellen muss, oder ob es sich um einen Eingabefehler des Interviewers selbst handelt, den dieser dann sofort revidieren kann. „Wurde z.B. festgelegt, daß nur Personen zwischen 25 und 35 befragt werden sollen, so überprüft das Programm bei Eingabe des Alters der befragten Personen, ob diese innerhalb der vorgegebenen Grenze liegt.“ ¹⁵ Eine Eingabe außerhalb des akzeptierten Wertebereichs hat „[...]eine Fehlermeldung zu Folge, die den Interviewer oder Befragten auf die Inkonsistenz aufmerksam macht und ihn zu einer sofortigen Korrektur auffordert.“¹⁶

„Dabei ist die Schwierigkeit zu berücksichtigen, dass Werte unplausibel oder unwahr- scheinlich erscheinen mögen, aber logisch möglich sein können.“¹⁷ Aus diesem Grund sollten angemessene Wertebereiche definiert werden, die wenn möglich nicht zu eng, aber auch nicht zu breit gefasst sind. Diese Plausibilitätskontrollen lassen sich beson- ders einfach und zuverlässig bei geschlossenen Fragen anwenden, da bei diesen für die Antworteingaben klare Wertebereiche definiert werden können. Sobald es aber bei ei- ner Frage mehrere noch offene Antwortmöglichkeiten gibt, wird die Konzeption dieser Plausibilitäts- und Konsistenzprüfungen komplexer, da alle erdenklichen Antwortmög- lichkeiten berücksichtigt werden müssen. Dieses Instrument wird ausschließlich dazu genutzt, um die Datenqualität zu verbessern, da es die Fehlerquote deutlich reduziert. Ohne solche Prüfprogramme gibt es oft Ergebnisse, die nicht ausgewertet werden kön- nen oder sogar inkorrekt sind. Somit tragen Plausibilitätsprüfungen zur Vollständigkeit der Daten bei, was laut Definition die Datenqualität steigert.

Ein anderer Aspekt, wie Plausibilitätsprüfungen die Datenqualität verbessern können, liegt darin, dass der Interviewer stark entlastet wird, indem er weniger darauf achten muss, ob die jeweils gegebene Antwort im logischen Zusammenhang mit früher gege- benen Antworten steht. Damit werden Fehler seitens der Interviewer vermieden.

3.2 Filterführung und Splits

Eine weitere technische Möglichkeit, die Datenqualität des Interviews zu verbessern, liegt in der Filterführung. „Um zu vermeiden, dass Befragungspersonen mit Fragen konfrontiert werden, die auf sie nicht zutreffen“¹⁸, werden Fragebögen häufig mit so- genannten Filtern ausgestattet. Dabei wird die jeweils folgende Frage anhand der vor- ausgegangenen Antwort von einem Programm ausgewählt. Das bedeutet, dass die be- fragte Person nur jene Fragen erhält, die für sie auch relevant sind.¹⁹

[...]

¹ De Leeuw, E. D., Hox, J.J.& Snjkers, G.: The Effect of Computer-assisted Interviewing on Data Quality. In: Blyth, Bill (Hg): Market Research and Information Technology. Application and Innovation, Amsterdam: Esomar monograph No 6 (1998), S.177.

² Bechtloff, Volker: Computergestützte Befragungssysteme bei der Datenerhebung und ihr praktischer Einsatz in der Bundesrepublik Deutschland, Münster; Hamburg: Empirische Wirtschaftsforschung Bd. 25, LIT (1993), S.41.

³ Vgl. Pepels, Werner (Hg.): Moderne Marktforschungspraxis, Neuwied: Luchterhand (1999), S.183.

⁴ Vgl. Hoepner, Gert: Computereinsatz bei Befragungen, Wiesbaden: DUV (1994), S.16.

⁵ Manstetten, Astrid, Wildner, Mafred: Computer-assistierte Datenerfassung: Fragebogendesign, Schulung und qualitätssichernde Maßnahmen. In: Z.f. Gesundheitswiss., 8. Jg., H. 2, Springer (2000), S.114.

⁶ Couper, Mick P./ Nicholls II, William L.: The History and Development of Computer Assisted Survey Information Collection Methods. In: Couper, Mick u.a.(Hrsg.): Computer Assisted Survey Information Collection, New York: John Wiley & Sons (1998), S.11.

⁷ Vgl. Couper, Mick P./ Nicholls II, William L.: The History and Development of Computer Assisted Survey Information Collection Methods. In: Couper, Mick u.a.(Hrsg.): Computer Assisted Survey Information Collection, New York: John Wiley & Sons (1998), S.10f.

⁸ Vgl. Hoepner, Gert: Computereinsatz bei Befragungen, Wiesbaden: DUV (1994), S. 144.

⁹ Vgl. Wojcik, Mark S./ Hunt, Edwin: Training Field Interviewers to Use Computers: Past, Present, and Future

Trends. In: Couper, Mick u.a.(Hrsg.): Computer Assisted Survey Information Collection, New York: John Wiley & Sons, (1998), S. 332.

¹⁰ Vgl. Wojcik, Mark S.,/ Hunt, Edwin: Training Field Interviewers to Use Computers: Past, Present, and Future

Trends. In: Couper, Mick u.a.(Hrsg.): Computer Assisted Survey Information Collection, New York: John Wiley & Sons, (1998), S. 334.

¹¹ Vgl. Hoepner, Gert: Computereinsatz bei Befragungen, Wiesbaden: DUV (1994), S. 60.

¹² Vgl. Wasmer, Martina/ Koch, Achim: ZUMA-Methodenbericht 2002/01; Konzeption und Durchführung der PA- PI-Methodenstudie zur „Allgemeinen Bevölkerungsumfrage der Sozialwissenschaften“ ALLBUS (2000), (2002), S.10.

¹³ Vgl. De Leeuw, Edith D.: The Effect of Computer-Assisted Interviewing on Data Qualitiy: A Review of the Evidence (2008). In: Blasius, J., Hox/ J. De Leeuw, E./ Schmidt, P. (Hrsg.): Social science methology in the millennium. Opladen, FRG: Leske + Budrich., (2002), S. 2.

¹⁴ Bechtloff, Volker: Computergestützte Befragungssysteme bei der Datenerhebung und ihr praktischer Einsatz in der Bundesrepublik Deutschland, Münster; Hamburg: Empirische Wirtschaftsforschung Bd. 25, LIT, (1993), S. 5.

¹⁵ Bechtloff, Volker: Computergestützte Befragungssysteme bei der Datenerhebung und ihr praktischer Einsatz in der Bundesrepublik Deutschland, Münster; Hamburg: Empirische Wirtschaftsforschung Bd. 25, LIT (1993), S. 22.

¹⁶ Bechtloff, Volker: Computergestützte Befragungssysteme bei der Datenerhebung und ihr praktischer Einsatz in der Bundesrepublik Deutschland, Münster; Hamburg: Empirische Wirtschaftsforschung Bd. 25, LIT (1993), S. 22f.

¹⁷ Jensen, Uwe: Leitlinien zum Management von Forschungsdaten. Sozialwissenschaftliche Umfragedaten, In: GESIS-Technical Reports 2012/07, Köln: GESIS (2012), S. 37.

¹⁸ Porst, Rolf: Fragebogen, Wiesbaden: VS (2011), S.151.

¹⁹ Vgl. Birkelbach, Klaus: Chancen IV,1: Methodenbericht zur 4. Stufe des Längsschnittprojekts „Chancenzuweisung durch Ausbildung“, Köln und Duisburg (2005), S. 9.