Erfüllung messtheoretischer Anforderungen (Gütekriterien) und Interviewmethoden im Vergleich

Inhaltsverzeichnis

1.  Einle itung  2

2.  Charakteristische Merkmale quantitativer und qualitativer Forschung  2

3.  Der standardisierte schriftliche Fragebogen  3

3.1  Struktur des standardisierten Fragebogens  4

3.2  Qualitätsmerkmale der Frageformulierung und deren  

  Auswirkungen auf die Datenqualität  4

3.3  Anforderungen an den Fragebogenaufbau  5

4.  Interviewmethoden im Vergleich  7

4.1  Quantitative Interviewmethoden  7

4.1.1  face-to-face Interview  8

4.1.2  Schriftliche Befragung  9

4.1.3  Telefonische Befragung  10

4.1.4  Online-Befragung  10

4.2.  Qualitative Interviewmethoden  11

4.2.1  Tiefeninterview  11

4.2.2  Gruppendiskussion  12

5.  Grundlegende Kriterien für Qualität und Aussagekraft  von

  empirischen Untersuchungen  13

5.1  Gütekriterien der klassischen Testtheorie:  

  Objektivität Reliabilität und Valid itäz  13

5.2  Vergleichender Diskurs der Gütekriterien in beiden Forschungsansätzen  15

6.  Fazit  17

7.  Literaturverzeic hnis  19

  1  

1. Einleitung

Diese Seminararbeit soll einen Überblick darüber zu geben, welche Qualitätskriterien in der quantitativen und qualitativen Forschung Berücksichtigung finden sollten und welche An- forderungen als Voraussetzung für eine angemessene Qualitätsprüfung gelten können. Zunächst wird der Versuch unternommen den grundlegend unterschiedlichen Charakter der beiden Forschungsansätze darzustellen. In den nachfolgenden Ausführungen soll deutlich werden inwieweit die Qualität von Befragungen in der quantitativen Forschung entsche idend vom Erhebungsinstrument abhängt. Im Mittelpunkt des dritten Abschnittes stehen demzufolge der standardisierte, schriftliche Fragebogen mit Überlegungen hinsichtlich Struktur, Frageformulierung und Fragebogengestaltung.

Es folgt die Erläuterung und Diskussion der verschiedenen Interviewmethoden quantitativer und qualitativer Forschung. Wesentliche Aspekte wie Stichprobenbildung, Datenqualität und organisatorisch, finanzielle Abwägungen werden betrachtet, da diese – neben dem Erhe- bungsinstrument - entscheidende Voraussetzungen für die Erreichung des Objektivitätsideals und die Anwendbarkeit von Methoden zur Überprüfung von Reliabilität und Validität bilden. Im Anschluss an die Thematisierung von Erhebungsinstrument und Interviewmethoden erfolgt eine Darstellung der klassischen Gütekriterien Objektivität, Reliabilität und Validität in Verbindung mit den verschiedenen Aspekten und Methoden zur Überprüfung. Darüber hinaus wird im letzten Abschnitt der Diskurs darüber aufgezeigt, ob eine Übertragung der klassischen Kriterien in modifizierter Form auf die qualitative Forschung möglich ist oder ob neue Kriterien festgelegt werden sollten.

2. Charakteristische Merkmale quantitativer und qualitativer Forschung

In der empirischen Forschung wird gemeinhin zwischen quantitativer und qualitativer For- schung unterschieden. Diese Unterscheid ung orientiert sich primär an den methodischen Zu- gangswegen. Versucht man beide soweit als möglich gegeneinander abzugrenzen, wird in der Literatur in erster Linie auf folgende Unterscheidungsmerkmale Bezug genommen. Die beiden Forschungsansätze unterscheiden sich hinsichtlich des zu gewinnenden Daten- materials. So strebt die quantitative Forschung die „Messbarkeit“ von Daten an und ist um einen hohen Standardisierungsgrad sowie bestmögliche Quantifizierung der Daten, vornehmlich mittels Skalenbildung, bemüht. Der Vorteil eines hohen Standardisierungsgrades liegt in der „Vollständigkeit und Vergleichbarkeit der Antworten

und [der] Quantifizierbarkeit der Ergebnisse.“ 1 Qualitative Ansätze hingegen sind geprägt durch ihren explorativen Charakter mit stärkerer Interpretation und Bewertung des Materials. In den beiden Bereichen werden folglich unterschiedliche methodische Zugangswege berücksichtigt. Unter den quantitativen Zugangswegen ist der sog. standardisierte Fragebogen das Instrument der Wahl. Zu den qualitativen Ansätzen zählen demgegenüber zum einen teil- standardisierte und zum anderen nicht-standardisierte Verfahren. Als weiterer Aspekt wird verschiedentlich gar ein unterschiedliches Wissenschaftsverständnis, in welchem quantitative und qualitative Forschung wurzeln, gesehen. 2 Zur Verdeutlichung des zuletzt genannten Unterscheidungsmerkmals seien einige wesentliche Teilaspekte herausgegriffen, die sich unter anderem in der Diskussion von Gütekriterien in der qualitativen Forschung wieder finden. Qualitative Forschung ist eher an der Ent-wicklung von Hypothesen und Theorien, quantitative Ansätze an der Überprüfung dieser ausgerichtet. Die Interpretation steht in der qualitativen Forschung im Mittelpunkt, dagegen ist die quantitative Forschung auf der Suche nach Ursachen durch entsprechende Anwendung von Methoden. Die qualitativen Verfahren werden durch Begriffe und Prinzipien wie Offe nheit, Prozesshaftigkeit, Flexibilität, gezielte Auswahl, Reflexivität und Explikation charakterisiert. Dagegen gelten quantitative Verfahren als standardisiert, strukturiert, statisch und repräsentativ. Im qualitativen Bereich wird Forschung je nach gewähltem methodischen Zugang bisweilen sogar als „Kommunikationsprozess“ begriffen. In der quantitativen Forschung soll das Prinzip der Neutralität gelten, Interaktionen werden als Störgrößen angesehen und sollen daher möglichst weitgehend ausgeschlossen werden. 3 Ziel quantitativer Forschung ist das Erreichen eines endgültigen Ergebnisses, die Stärke qualitativer Forschung ist dagegen die Offenheit gegenüber einer Vielzahl von Ergebnissen. 4

3. Der standardisierte schriftliche Fragebogen

Hinsichtlich der Qualität einer Umfrage lässt sich folgende Grundregel formulieren: „Lernen [muss] vor Beginn der Befragung stattfinden.“ 5 „Sind die Fragebogen einmal unter den Inter- viewern verteilt, gibt es kein Zurück mehr.“ 6 Der Einsatz von sog. Pretests, welche oftmals auch als Pilotstudie bezeichnet werden, kann daher als unerlässlicher Bestandteil für die

1 Mayntz/Holm/Hübner (1971), S. 104 2 Vgl. Bortz,/Döring (1995), S. 271 3 Vgl. Lamnek (1995), S. 21 - 30, 218 – 244; Bortz/Döring (1995), S. 274 - 277 4 Vgl. Frank/Schlund (2004) 5 Noelle-Neumann (2005), S. 76 6 Noelle-Neumann (2005), S. 79

Qualitätssicherung einer Befragung angesehen werden und ist oftmals „Voraussetzung für den Erfolg einer Bevölkerungsumfrage.“ 7 Ziel von intensiven Vorstudien ist die Modifizierung des Fragebogens und die Korrektur entdeckter Fehlerquellen. Pretests können als Qualitätskriterium in der Umfrageforschung angesehen werden. 8 Es sei an dieser Stelle angemerkt, dass die qualitative Forschung selbst oftmals nur als Pre- test, also als Vorbereitung zur Hauptstudie begriffen wird. Das Potenzial der qualitativen Forschung wird somit unterschätzt. 9

3.1 Struktur des standardisierten Fragebogens

In aller Regel basiert ein standardisierter Fragebogen auf einem Pool von Fragen, den sog. „Items“. Je nach zu erfassendem Merkmal sind diese Items einer unterschiedlichen Anzahl von Dimensionen, sog. Skalen zugeordnet. Gewonnen werden solche Skalen auf dem empirischen Wege mittels Itemanalysen auf Basis der Testtheorie. Die Beantwortung der Items erfolgt aufgrund eines einheitlichen und vorgegebenen Formates. Hierfür kommen entweder dichotome Antwortvorgaben (z.B. Ja/Nein) oder aber mehrstufige Antwortvorgaben in Form von Ratingskalen verschiedenster Art in Frage. Unter Standardisierung ist hier primär das einheitlich vorgegebene Beantwortungsformat für sämtliche Fragen gemeint, im Weiteren aber auch die Standardisierung des gesamten Untersuchungskontextes. Anders der Fragebogen im Interview, welcher in aller Regel variable Beantwortungsmöglichkeiten 10 je nach Item vorsieht. 11

3.2 Qualitätsmerkmale der Frageformulierung und deren Auswirkungen

auf die Datenqualität Hinsicht lich der Anforderungen an die Frageformulierung können vornehmlich folgende drei Aspekte unterschieden werden: Die Verständlichkeit der Frage, die Fähigkeit zur Beantwortung einer Frage und die Auskunftswilligkeit. 12 Diese gelten selbstverständlich 7 Noelle-Neumann (2005), S. 78 8 Vgl. Kaase (1999), S. 49 9 Es wird die Auffassung vertreten, dass die qualitative Forschung im Bereich der Marktforschung im Wege von Individualisierungs-, Globalisierungsprozessen und demographischen Wandel an Bedeutung gewinnen wird, da diese besonders gut geeignet ist, um komplexe Fragestellungen zu durchleuchten: vgl. Kühn (2004) 10 siehe Abschnitt 3.2 11 Zur Vermeidung begrifflicher Unstimmigkeiten wird im Interview statt vom Fragebogen zweckmäßigerwe ise vom sog. Interview-Leitfaden gesprochen 12 Vgl. Sudman,/Blair (1998), S. 252 - 266

auch für Interviewmethoden und wirken sich aber im Hinblick auf die höheren Zielsetzungen von Gütekriterien standardisierter Fragebögen stärker aus.

Die Verständlichkeit von Fragen bezieht sich auf eine präzise, zielgerichtete Fragestellung und die Reduzierung von Interpretationsmöglichkeiten einer Frage. Der Aspekt der Fähig- keit, eine Antwort geben zu können, berücksichtigt zum einen das Erinnerungsvermögen und zum anderen die Erfahrungen einer Auskunftsperson. Hilfreich sind hinsichtlich dieses As- pektes alle Maßnahmen zur Auffrischung der Erinnerung 13 sowie eine hinreichende Berück- sichtigung ob bestimmte Erfahrungen, nach welchen gefragt wird, überhaupt vo rhanden sind oder von der Auskunftsperson erkannt werden können. Oftmals wird nach Sachverhalten geforscht, die dem Befragten unbewusst sind. Die Frage nach der Auskunftswilligkeit einer Auskunftsperson stellt den dritten Aspekt dar. Gesellschaftliche Normen und heikle Themen führen zu Übertreibungen von sozial erwünschtem Verhalten und Untertreibungen von Ver- halten, das gesellschaftlich als inakzeptabel gilt. 14 Zu Vermeidung solcher sog. „Beantwor- tungstendenzen“ ist eine möglichst neutrale Ausgestaltung und Formulierung der Fragen an- zustreben. Auch Nonresponse und die Neutralität des Interviewers sind darüber hinaus von besonderer Relevanz. Sponsorship-Effekte, d.h. die Beeinflussung der Antworten durch Hö f- lichkeit gegenüber dem Auftraggeber, sollen vermieden werden.

Unter Rückbezug auf die variable Beantwortungsmöglichkeit im Interview wird dort unter- schieden in offene und geschlossen Fragen. Von einer geschlo ssenen Frage spricht man, wenn die Antwortkategorien vorgegeben werden und in Folge dessen immer mit einer klaren Stellungnahme geantwortet werden kann. Zu beachten ist, dass die Antwortkategorien voll- ständig sind und sich die Auskunftsperson nur einer Kategorie zuordnen kann. Offene Fragen überlassen den Befragten die Antwortformulierung und schränken ihn in keiner Weise ein, darüber hinaus fördern sie die Antwortbereitschaft. Des Weiteren sind auch suggestive und stereotype Fragen 15 zu vermeiden, als auch alle Fragen mit Doppeldeutigkeit.

3.3 Anforderungen an den Fragebogenaufbau

Beim Fragebogenaufbau gilt es zum einen die Lä nge des Fragebogens und zum anderen die Reihe nfolge der Fragen zu beachten.

Die Fragebogenlänge wird in der Dauer des Interviews gemessen. Als Richtlinie erscheint eine Obergrenze von etwa 40 Minuten als angemessen. Diese Obergrenze ist allerdings 13 z.B. Erinnerungsaktivierungen, Vorgabe von Antwortkategorien, Selbsteinschätzung 14 Vgl. Sudman/Blair/Bradburn /Stocking (1977) 15 Vgl. Maytnz /Holm/Hübner (1971), S. 107 -108