Wann sind Online-Befragungen ein angemessenes Werkzeug zur Datenerhebung? Problemstellungen von Online-Befragungen in den Sozialwissenschaften

Inhaltsverzeichnis

1 Problemstellung

2 Definition und thematische Abgrenzung

3 Problematiken der Online-Befragung
3.1 Der Coverage-Error
3.2 Unit-Nonresponse
3.3 Item-Nonresponse

4 Weiterführende Gedanken
4.1 Mixed-Mode-Surveys
4.2 Neue Technik – Neue Möglichkeiten?

5 Conclusio

6 Quellen

1 Problemstellung

„The Internet is a tidal wave. It changes the rules. It is an incredible opportunity as well as incredible challenge“ – Dieses Zitat aus Bill Gates‘ Memo The Internet Tidal Wave, welches er bereits am 25.Mai 1995 an seine Mitarbeiter verschickte, stellte schon damals klar, wie bedeutend das Internet und die daraus resultierenden Möglichkeiten für uns werden sollten. Heute ist das Internet nicht mehr aus unserem Leben wegzudenken. So müssen sich nun auch Sozialwissenschaftler die neuen Gegebenheiten dieser parallelen Welt bewusst machen, die sich dadurch ergebenen Chancen nutzen und Herausforderungen bewältigen. Das Internet hat mittlerweile das Monopol auf den Schriftverkehr. Von daher ist es nicht abwegig auch auf die Schriftform basierende Forschung in die digitale Welt zu verlagern. Auf den ersten Blick scheint dadurch auch alles viel leichter und weniger Aufwendig zu sein. Schließlich können beantwortete Fragebögen sehr einfach mit etwas Unterstützung von Computertechnik in Daten umgewandelt und in Excel, SPSS und STATA Files verwandelt werden. Auch die Kosten minimieren sich sehr stark und das nicht zuletzt, weil die Fragebögen durch wenige Klicks fast ohne Kosten zu generieren, vervielfältigt werden können. Erst auf den zweiten Blick fällt auf, dass man Fragestellungen, die man Face-to-Face behandelt hätte, nicht einfach in die Online-Version übersetzen kann.

Der Modus der internetgestützten Befragung hat also – wie jeder andere Modus auch – seine Vor- und Nachteile, welche bei seiner Wahl zur Untersuchungsmethode beachtet werden wollen. Diese Seminararbeit wird sich dementsprechend mit einigen expliziten Vor- und Nachteilen der Online-Befragung beschäftigen und diese diskutieren. So soll herausgestellt werden ob und in welchen Fällen Online-Befragungen ein angemessenes Werkzeug zur Datenerhebung sein können.

Um in das Thema einzuführen soll zu Beginn der Begriff des Online-Fragebogens definiert und in seinen möglichen Erscheinungsformen differenziert werden. Im Anschluss betrachten wir drei typische und häufig erwähnte Problematiken von Online-Befragungen. Der Coverage-Error, Unit-Nonresponse sowie das Problem des Item-Nonresponse werden sollen hier kurz beschrieben und auf Vorbeuge- bzw. Lösungsmöglichkeiten eingegangen werden. Weiterführende Gedanken werden das Thema abrunden, welches in einer Conclusio noch einmal zusammengefasst wird und somit zu einem Schluss bezüglich der Anwendung von Online-Fragebögen kommt.

2 Definition und thematische Abgrenzung

Der Modus der Online-Befragung, oder auch der internetgestützten Befragung, scheint im aktuellen wissenschaftlichen Diskurs als selbsterklärend zu gelten. So fand ich leider keinerlei Autoren, die sich bemühten, die Online-Befragung als eigenständiges Thema zu definieren. Da der Überbegriff der Fragebogenmethode hingegen mehr als ausreichend viele Definitionen aufweisen kann, möchte ich an dieser Stelle beginnen und mich zu unserem eigentlichen Thema vorarbeiten. So schreiben Mummendey und Grau (2014) z.B.

„Bei der Anwendung der Fragebogen-Methode werden den antwortenden Personen sprachlich klar strukturierte Vorlagen zur Beurteilung gegeben, d. h. alle Personen urteilen anhand der gleichen Merkmale […] “ (Mummendey & Grau, 2014, S. 13).

Etwas anders schreibt Reinders H. (2011):

„Ein Fragebogen ist ein wissenschaftliches Instrument, bei dem Personen durch eine Sammlung von Fragen oder Stimuli zu Antworten angeregt werden, mit dem Ziel der systematischen Erfassung von Sachverhalten“ (Reinders H., 2011, S. 54).

Beide Definitionen machen schon sehr gut deutlich worum es sich bei einem Fragebogen handelt. Es wird hierbei also Befragten ein Set an Fragen vorgelegt, die diese beantworten sollen. Um keinen zu großen Interpretationsfreiraum zu lassen, müssen diese Fragen sprachlich unmissverständlich formuliert sein. So kann man (wenn auch nie zu 100 Prozent) sicher gehen, dass jeder Proband die Fragen nahezu gleich interpretiert und ihre Antwort von derselben Basis aus abwägt. Ziel ist es dadurch Sachverhalte aus der Population erfassen zu können. Hierbei wird noch auf die Systematik hinter der Erfassung Wert gelegt. Diese wird spätestens in der Datenanalyse relevant und erleichtert je nach Aufbau des Fragebogens den weiteren Forschungsablauf (Reinders. H, 2011; Mummendey & Grau, 2014).

Kommen wir nun zu unserer eigentlichen Thematik, der Online-Befragung. Diese wird, wie auch die mündliche oder die schriftliche Befragung, als spezielle Form der Durchführung der Befragung angesehen (Schnell, Hill & Esser, 2013, S. 314). Auch die Online-Befragung selbst kann nochmal in spezifische Untergruppen eingeteilt werden. Diese Einteilung kann entweder nach der Art der Bereitstellung und der Zurücksendung der Fragebögen oder nach der Form des Samplebildung stattfinden. Erst genannte Unterscheidungsmethode ist deutlich grober und resultiert in zwei möglichen Ausführungen von Online-Befragungen. So können Fragebögen entweder als E-Mail versandt und ausgefüllt wieder empfangen werden oder der Fragebogen wird auf einem Server als Programm zur Verfügung gestellt und von dem Forscher wiederum ausgefüllt heruntergeladen. Bei einfachem Versandt und ausgefüllter Rücksendung spricht man von E-Mail-Befragungen, während bei online bereitgestellten Befragungen auf Servern von „Web-Surveys“ die Rede ist (Schnell, Hill & Esser, 2013, S. 368). Diese Unterteilung ist allerdings sehr grob und lässt schlecht auf später mögliche Problematiken schließen. Besser eignet sich daher die Unterteilung nach den Auswahlverfahren. Diese haben Schnell, Hill und Esser leicht verständlich in einer Tabelle zusammengefasst (siehe Abbildung 1). Für wissenschaftliche Forschung ist es stets von Relevanz zu definieren, wer denn eigentlich die interessierende Population ist und ob hieraus auch eine Auswahl mit angebbarer Wahrscheinlichkeit getroffen wird. Weiter sollten die Wahrscheinlichkeiten einen Probanden zu wählen über alle Probanden gleich groß sein. Ein weiteres Kriterium ist die mögliche Ausschöpfung der Gesamtpopulation. Um die systematische Ausgliederung zu vermeiden und nicht nur die Leute auszuwählen, die eher dazu geneigt sind an Umfragen teilzunehmen, muss die Population ausreichend ausgeschöpft werden (Maurer M. & Jandura O., in: Jackob, Schoen, & Zerback, 2009). Sollten diese Kriterien nicht erfüllt sein, kann es sich bei der Untersuchung z.B. um ein Convenience- oder Intercept-Sample handeln. Für die Sozialforschung kommen diese Sorten von Online-Befragungen meist nicht in Frage, da nur bei echten Zufallsstichproben das Ergebnis auch auf die Grundgesamtheit schließen lässt (Schnell, Hill & Esser, 2013).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Formen internetgestützter Befragungen

(Schnell, Hill & Esser, 2013, S. 368).

Noch genauer als Schnell, Hill und Esser unterscheiden hier K.L. Manfreda & V. Vehovar (2008). Sie differenzieren Probability websurveys nochmal in fünf und Nonprobability websurveys in vier Untergruppen anhand der Auswahlmethode. Da Nonprobability surveys (K.L. Manfreda & V. Vehovar, 2008) bzw. Untersuchungen auf der Basis willkürlicher Auswahlen (Schnell, Hill & Esser, 2013) von Natur aus statistische Probleme mit sich bringen und in der Forschung daher nicht – und wenn doch lediglich als Ergänzung – genutzt werden, beschränkt sich diese Arbeit auf Probleme, die (auch) in Untersuchungen auf Basis echter Zufallsstichproben auftauchen können.

3 Problematiken der Online-Befragung

Online-Befragungen haben sicher ihre Vorteile und damit auch eine Existenzberechtigung in der Werkzeugkiste von Sozialforschern. Die geringen Kosten scheinen einer der größten Vorteile zu sein. Weder für Druck noch für Versandt muss Geld ausgegeben werden. Auch muss kein Interviewer bezahlt werden, der sich mit dem Probanden trifft, um das Interview abzuhalten. Der Teufel steckt hier allerdings im Detail. Denn mit der Methode der Online-Befragung kommen zahlreiche, die Reliabilität und Validität gefährdende Problematiken. Diese auszugleichen kann meist nur mit hohem statistischem oder finanziellem Aufwand geleistet werden. Drei große Problematiken und deren Lösungsansätze werden im Folgenden hierzu diskutiert.

3.1 Der Coverage-Error

Die Frage, die sich die meisten Forscher wohl stellen, die die Online-Befragung als Methode in Erwägung ziehen ist wohl: Kann ich mit dem Online-Frageboden auch alle Personen aus der zu untersuchenden Population erreichen? Diese Frage schildert genau das Problem des Coverage-Errors. Bei einem Coverage-Error oder auch Abdeckungsbezogenem Fehler wurde die Zielpopulation nicht ausreichend bei der Auswahlgesamtheit berücksichtigt (Couper & Coutts, 2006). Diese Berücksichtigung fällt bei Online-Umfragen denkbar schwer. Schließlich möchte man meist auf Große Populationen, wie z.B. die Bevölkerung Deutschlands, zurückschließen können. Leider hat die untersuchte Population meist nicht vollständig einen Internetzugang. Um eine Zielpopulation so abzugrenzen, dass sie vollständig abgedeckt werden könnte, müsste man sich als Zielpopulation auf alle Internetnutzer begrenzen. Maurer & Jandura (In: Jackob, Schoen, & Zerback, 2009) sahen dies damals als kritisch an. 2007 waren laut ihnen schließlich gerade mal etwas mehr als 60 Prozent „gelegentliche Nutzer“ und die Steigerungsraten betrugen zu der Zeit nur etwa fünf Prozent. Hierbei stützten sie sich auf die damals aktuellen Zahlen der ARD/ZDF-Online-Studie (van Eimeren B. & Frees B., 2007 in: Jackob, Schoen, & Zerback, 2009). Schauen wir uns hierzu einmal in Abbildung 2 die aktuellen Zahlen der letzten Studie von 2018 an.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Entwicklung der Onlinenutzung in Deutschland von 1997 bis 2018 (Frees & Koch, 2019, S. 399)

Wie wir in obiger Abbildung sehen hat sich das Problem der Erreichbarkeit scheinbar deutlich gebessert. Von den knapp über 60 Prozent 2007 sind wir 2019 auf knapp über 90 Prozent angestiegen. Zu beachten ist allerdings auch die neue Wortwahl der Studie. Die 90,3 Prozent nutzen das Internet „mindestens selten“. Daraus lässt sich folgern, dass es wohl noch einige unter dem Anteil gibt, die es seltener als „gelegentlich“ nutzen. Nichtsdestotrotz lässt dieses Ergebnis Raum für die Vermutung, dass ca. 90 Prozent wenigstens einen Internetzugang besitzen und auf irgendeine Weise auf Online-Umfragen zugreifen könnten. Das würde zwar eine deutliche Verbesserung bedeuten aber abdeckungsbezogene Fehler noch immer nicht beseitigen. Man müsste also dennoch nach anderen Methoden suchen, um die Abdeckung vollständig zu gewährleisten.

Eine Methode hierzu wäre zum Beispiel Probanden aus der Population primär über Offline-Methoden zu erreichen und diese um ihre Teilnahem zu bitten. Haben potenzielle Probanden dann allerdings keinen Internetanschluss so wird dieser von der forschenden Organisation zur Verfügung gestellt. Neben dem Vorteil der verbesserten Abdeckung hat man hier auch gleichzeitig an diese Personen ein Incentive verteilt, wodurch die Teilnahmemotivation gesteigert werden kann (Couper & Coutts, 2006). Die Problematik an dieser Vorgehensweise sticht direkt ins Auge. Jedem Probanden ohne Internetzugang einen Online-Zugang zu verschaffen kann sehr teuer werden und das Hauptargument der günstigen Durchführung von Online-Umfragen entkräftigen. Eine interessante Lösung dieses Folgeproblems hat das „Knowledge Network“ gefunden. Sie haben mittels Telefonbefragungen ein Panel aufgebaut. Probanden dieses Panels mussten sich bereit erklären des Öfteren für Umfragen bereit zu stehen wodurch die durchschnittlichen Kosten der Anschaffung pro Teilnahme an Untersuchungen sank (Maurer & Jandura, 2008, S. 65). Außerdem hat sich dieses Argument mittlerweile auch relativiert, da der Anteil an Haushalten ohne Internetzugang bereits auf ca. zehn Prozent geschrumpft ist, wie wir oben gesehen haben. Ich kann mir allerdings vorstellen, dass sich dieses Problem weiter in eine kleinere Nische verlagert. Personen, die aus unbekannten Gründen einfach keinen Internetzugang wollen oder schon primär über Offline-Methoden nicht erreichbar sind, werden hier trotzdem nicht teilnehmen. Der Coverage-Error ist also auch hier noch nicht vollständig gelöst.

Eine weitere Möglichkeit wäre der Mixed-Mode-Versuch. Hier würde man ebenfalls versuchen die Probanden offline zu erreichen. Man würde die Online-Befragung allerdings lediglich als eine von mehreren Methoden zur Fragebogenvorlage zur Auswahl stellen (Manfreda & Vehovar, 2008). Der internetaverse Proband könnte sich dann z.B. für ein Face-to-Face-Interview entscheiden. Natürlich gäbe es auch hier wieder Problematiken, mit denen man rechnen müsste. Beispielsweise könnten Mode-Effekte auftreten und sich die Ergebnisse zwischen den Gruppen unterscheiden. Diese nachzuweisen wäre schwierig. Hierzu könnten man z.B. wiederum Personen mit Internetzugang trotzdem per Face-to-Face-Interview befragen und untersuchen ob in wieweit sich deren Ergebnisse von denen online-befragter Internet-Nutzern unterscheiden. Hier geraten wir allerdings in eine Problem-Lösung-Spirale, die in einer zu hohen Komplexität der Studie enden würde. Natürlich soll nicht unerwähnt bleiben, dass auch bei dieser Methode manche Personen der Zielpopulation durch Offline-Methoden nicht erreicht werden können und so schon von Anfang an aus der Studie fallen. Dies ist meines Erachtens auch ein größeres Problem, dem sich die Sozialwissenschaften stellen müssen.

Bisher haben wir Situationen betrachtet in denen das nicht Erfüllen des Coverage – auch bezeichnet als Undercoverage – der Fall war und das Problem darstellte. Allerdings ist auch ein Overcoverage möglich, der hier nicht unerwähnt bleiben soll. Entgegen dem m.E. unglücklich gewählten Namen geht es hierbei nicht darum, dass die vollständige Abdeckung erreicht wurde und nun mehr Probanden antworten als man erreichen kann. Overcoverage kann nach Baur & Florian (2009) in drei möglichen Formen auftreten. Erstens könnte dieselbe Person einen Fragebogen mehrfach beantworten, da es z.B. beim ersten Versuch an der Verbindung scheiterte oder die Person mehr Chancen auf verloste Incentives haben möchte. Es könnte außerdem passieren, dass nicht in die Zielgruppe aufgenommene Personen die Fragebögen ausfüllen ohne sich zu verschleiern (also sich selbst nicht für einen anderen Zielgruppen-internen Probanden ausgeben). Genauso kann es vorkommen, dass verschleierte Personen den Fragebogen ausfüllen. Als Lösung für die letzte Art von Overcoverage-Problemen schlagen Baur und Florian den Einbau von Plausibilitätstests, die helfen können zu identifizieren ob es sich hier um Zielgruppen-interna handelt. Ein sauberes Screening ist laut ihnen die einfachste Methode, um das erstgenannte Overcoverage zu identifizieren. Möchte man also Personen im Raum Ingolstadt befragen, so kann eine der ersten Fragen lauten „In welchem Wohnort wohnen Sie aktuell?“. Ein unverschleierter der nicht aus dem Wohngebiet Ingolstadts kommt ist so leicht aussortiert. Wird die Umfrage nicht per E-Mail sondern per Website durchgeführt so nennen uns Baur und Florian eine Möglichkeit die ersten beiden Problematiken durch eine Vorkehrung zu treffen. Und zwar kann man im persönlichen Anschreiben, bzw. in der Vorankündigung der Studie persönliche IDs verteilen unter Verwendung derer sich die Teilnehmer dann zu der Befragung anmelden können. Wurde die ID bereits einmal verwendet wird Sie für weitere Anmeldungsversuche zu der Befragung gesperrt. Dies hat den zusätzlichen Vorteil, dass eine Rücklaufkontrolle eingeführt werden kann. Wurden bestimmte IDs noch nicht genutzt kann dadurch darauf geschlossen werden welche Probanden noch nicht bei der Befragung teilgenommen haben.

[...]