Fragebogeneffekte bei Online-Befragungen

Technischen Universität Dresden
Philosophischen Fakultät

Fragebogeneffekte bei Online-Befragungen

Wissenschaftliche Arbeit
zur Erlangung des akademischen Grades Magister Artium
im Fach Kommunikationswissenschaft

vorgelegt von

Rainer Böhme

15. September 2003

Inhaltsverzeichnis

Tabellenverzeichnis ... III
Abbildungsverzeichnis ... IV
Abkürzungsverzeichnis ... V

1 Online-Methodenforschung als interdisziplinäres Erkenntnisgebiet ... 1

2 Online-Befragung: Darstellung des Forschungsgegenstandes ... 4
2.1 Abgrenzung von anderen Befragungsverfahren ... 4
2.1.1 Eine neue Variante der selbst-administrierten Befragung ... 4
2.1.2 Merkmale der Online-Technologie ... 6
2.1.3 Anwendungsgebiete für Online-Befragungen ... 10
2.2 Gütekriterien und Fehlermodelle in der Umfrageforschung ... 13
2.2.1 Gütekriterien der Methodenforschung ... 13
2.2.2 Das Fehlermodell von Groves ... 14
2.2.3 Typologie von Teilnahmeverhalten bei Web-Befragungen ... 16
2.3 Verfahren zur Teilnehmerrekrutierung ... 18
2.3.1 Deterministische Verfahren ... 18
2.3.2 Zufallsverfahren ... 20
2.4 Status Quo der empirischen Online-Fragebogenforschung ... 22
2.4.1 Befunde zu Merkmalen der Befragten ... 23
2.4.2 Befunde zu Merkmalen des Instruments ... 26
2.4.3 Bemerkung zur Vorgehensweise in der Methodenforschung ... 39

3 Theorien zur Beantwortung von Umfragen ... 40
3.1 Theorien zur Erklärung der Teilnahme an Befragungen ... 40
3.1.1 Teilnahme als rationale Entscheidung ... 41
3.1.2 Teilnahme als heuristische Entscheidung ... 42
3.1.3 Teilnahme als sozialer Austausch ... 43
3.1.4 Handlungstheoretische Ansätze ... 45
3.2 Theorien zur Erklärung der Beantwortung von Fragen ... 47
3.2.1 Psychometrische Ansätze ... 47
3.2.2 Antwortselektion als Nutzenmaximierung ... 48
3.2.3 Das kognitionspsychologische Strukturmodell ... 49
3.2.4 Theorien paralleler Verarbeitungswege ... 53
3.2.5 Konversationstheoretische Überlegungen ... 56

4 Experimentelle Untersuchung der Wirkung von Fragebogenmerkmalen bei Online-Befragungen ... 58
4.1 Fragestellung und Hypothesen ... 58
4.1.1 Fragenkomplex animierte Skalen ... 59
4.1.2 Fragenkomplex Fortschrittsanzeige ... 66
4.1.3 Fragenkomplex Kontexteffekte ... 69
4.2 Methode ... 73
4.2.1 Beschreibung des Instruments ... 73
4.2.2 Vorgehensweise und Ergebnisse der Pretests ... 77
4.2.3 Feldphase und Stichprobencharakteristik ... 80
4.2.4 Datenaufbereitung ... 84
4.3 Ergebnisse ... 86
4.3.1 Fragenkomplex animierte Skalen ... 86
4.3.2 Fragenkomplex Fortschrittsanzeige ... 95
4.3.3 Fragenkomplex Kontexteffekte ... 100
4.4 Zusammenfassende Diskussion ... 101

5 Schlussfolgerung und Ausblick ... 109

Literatur ... 113

A Fragewortlaut und Randverteilungen ... 129
B Skalendokumentation ... 137
C Dokumentation der Pretests ... 142
D Weitere Tabellen der Datenanalyse ... 144

1 Online-Methodenforschung als interdisziplinäres Erkenntnisgebiet

Wenn sich soziale Prozesse aus der analogen Welt in die digitale verlagern, dann muss auch die empirische Sozialforschung diesen Schritt nachvollziehen. Einen kleinen Beitrag dazu soll die vorliegende Arbeit leisten.

Je mehr Bedeutung die Online-Befragung als Werkzeug zur sozialwissenschaftlichen Datenerhebung bekommt, desto notwendiger wird eine fundamentale Auseinandersetzung mit der Methode. Im Speziellen gibt es drei Motivationen für Forschungsarbeiten auf diesem Gebiet: Erstens müssen die Befunde der Wissensbasis zu den traditionellen Befragungsformen (persönlich, schriftlich, telefonisch) systematisch repliziert und auf ihre Gültigkeit online überprüft werden. Zweitens bietet die Online-Technologie eine Reihe von neuen Möglichkeiten und Besonderheiten, deren Wirkungen auf das Antwortverhalten unbekannt sind:

“The issues raised by Web surveys are particularly hot right now, partly because Web surveys are primarily visual and use a much wider range of visual material (photographs, drawings, video clips) than has been true of surveys in the past.” (Tourangeau, 2003, S. 6)

Drittens vereinfacht die Computer-Technologie Experimente zur Erforschung von latenten psychologischen Prozessen bei der Fragebeantwortung. Erst mit weitreichender Kenntnis der Antwortprozesse können Methodenforscher die bislang oft nur oberflächlich beschriebenen Phänomene und Fragebogeneffekte ursächlich erklären (Sudman, Bradburn und Schwarz, 1996, S. 268).

Der Weg von der para-wissenschaftlichen Kunstlehre der Fragebogengestaltung, die bezeichnend durch den Buchtitel “The Art of Asking Questions” (Payne, 1951) charakterisiert ist, hin zu einem “Scientific Paradigm for Surveys” (Tourangeau, 2003) ist zunehmend interdisziplinär. Diese eklektische Perspektive macht das Forschungsfeld faszinierend: Es liegt in der Schnittmenge von Erkenntnisgebieten der Kommunikationswissenschaft, der Statistik, der Linguistik und der Sozial- und Kognitionspsychologie (Sirken und Schechter, 1999). Speziell die Online-Forschung integriert zusätzlich die Human Computer Interaction (HCI) oder sogenannte ”Software- Psychologie“ (Couper, 1999).

Dementsprechend vielschichtig ist auch der theoretische Teil der vorliegenden Arbeit aufgebaut. Kapitel 2 thematisiert den Status Quo der internationalen Online- Forschung. Die Abgrenzung beschränkt sich dabei auf zentrale Definitionen. Elementare Begriffe aus der Internet-Technologie (z. B. E-Mail, Link und Server) können zehn Jahre nach Erfindung des World Wide Web und einer Abdeckung von inzwischen gut 50% der deutschen Bevölkerung (Eimeren, Gerhard und Frees, 2003, S. 339) als bekannt vorausgesetzt werden. Nach einem kurzen Literaturüberblick der Vor- und Nachteile von Online-Befragungen in ihren jeweiligen Anwendungsgebieten behandelt Kapitel 2.2 die statistischen Gütekriterien der Methodenforschung. Diese, und die in Kapitel 2.3 vorgestellten Rekrutierungsverfahren, bilden die Grundlage zur folgenden Dokumentation des empirischen Forschungsstands von Online-Fragebogeneffekten im Kapitel 2.4. Der Rückblick systematisiert die in der Literatur meist katalogartig aneinander gereihten experimentellen Einzelbefunde nach Merkmalen des Befragten und des Instruments.

Um die viel beklagte Liste der unzusammenhängenden Einzelbefunde nicht weiter zu verlängern, bietet sich die Suche nach einem geeigneten theoretischen Rahmen an. Dazu stellt Kapitel 3 die wichtigsten Theorieansätze zur Teilnahme an Befragungen (Kapitel 3.1) und zur Beantwortung von einzelnen Fragen (Kapitel 3.2) vor und unterzieht sie jeweils einer kritischen Würdigung. Ein viel versprechendes, psychologisches Prozessmodell aus der CASM-Bewegung (Cognitive Aspects of Survey Methodology) dient schließlich als Grundlage zur Ableitung von Hypothesen und Forschungsfragen. Die CASM-Perspektive ist besonders gut mit Fragestellungen der Online-Forschung vereinbar, weil sie den reinen Antwortprozess fokussiert und andere Einflüsse, wie z. B. die Interviewer-Fehler, nur indirekt behandelt. Gerade die Online-Technologie erlaubt es, den Antwortprozess mit maschineller Genauigkeit abzubilden.

Der empirische Teil (Kapitel 4) beschreibt eine experimentelle Untersuchung von Fragebogeneffekten bei einer eigens zu diesem Zweck konzipierten Online-Befragung. Als Fragebogeneffekt werden in dieser Arbeit Ursache-Wirkungs-Zusammenhänge zwischen verbalen und nonverbalen Merkmalen eines Fragebogens (z. B. Wortlaut, Reihenfolge, Format) und dem Antwortverhalten der Befragten verstanden. Die Auswahl der Forschungsfragen und Hypothesen orientiert sich an zwei Kriterien: Zum einen sollten in Kapitel 2.4 identifizierte Forschungslücken konsequent geschlossen werden, zum anderen müssen die experimentellen Merkmale als Komponenten im Theoriemodell interpretierbar sein, um stringente Hypothesen zu deduzieren. Als Elemente, die diesen Spagat zwischen theoretischer Anbindung und Praxisrelevanz erfüllen, werden schließlich animierte, grafische Rating-Skalen und die Anwesenheit einer grafischen Fortschrittsanzeige bestimmt. Grafische Skalen sind ein kaum untersuchtes online-typisches Merkmal und zur Fortschrittsanzeige liegen in der Literatur bislang widersprüchliche Befunde vor, die einer Klärung bedürfen. Die vorliegenden Experimente konzentrieren sich auf die kommunikativen Konsequenzen des Grafik-Einsatzes: Welchen Einfluss haben grafische Merkmale auf die Bereitschaft der Teilnehmer, einen Online-Fragebogen sowohl vollständig als auch sorgfältig zu bearbeiten?

Davon zu unterscheidende messtheoretische Aspekte der Skalen (Stadtler, 1983, S. 37) werden nur exemplarisch thematisiert. Weiterführende Analysen müssten hier für jede Kombination aus Konstrukt und Skala einzeln durchgeführt werden, so z. B. für Maße der Kundenzufriedenheit oder Persönlichkeitsstärke. Solche Aussagen sind sehr speziell und ließen sich nicht auf eine Klasse von Skalentypen verallgemeinern.

Einen zusätzlichen Fragenkomplex bilden Hypothesen zu Kontexteffekten, die jedoch im vorgegebenen Rahmen nicht umfassend untersucht werden können. Die Anordnung zur Untersuchung von visuellen Kontexteffekten entsteht vielmehr als Nebenprodukt aus der Untersuchung von grafischen Skalen. Das letzte Kapitel ordnet zunächst die Erkenntnisse dieser Arbeit in den praktischen und theoretischen Methodenfundus ein, um dann mit einem Plädoyer für die Online-Methodenforschung aus einer angewandten, wissenschaftlichen und gesellschaftlichen Perspektive zu schließen.

2 Online-Befragung: Darstellung des Forschungsgegenstandes
2.1 Abgrenzung von anderen Befragungsverfahren
Mit der Verbreitung des Internets entdeckten empirische Sozialforscher dieses neue Medium auch als Kommunikationskanal für Forschungskontakte.

[...]