Erfüllung messtheoretischer Anforderungen (Gütekriterien) und Interviewmethoden im Vergleich

Inhaltsverzeichnis

1. Einleitung

2. Charakteristische Merkmale quantitativer und qualitativer Forschung

3. Der standardisierte schriftliche Fragebogen
3.1 Struktur des standardisierten Fragebogens
3.2 Qualitätsmerkmale der Frageformulierung und deren Auswirkungen auf die Datenqualität
3.3 Anforderungen an den Fragebogenaufbau

4. Interviewmethoden im Vergleich
4.1 Quantitative Interviewmethoden
4.1.1 face-to-face Interview
4.1.2 Schriftliche Befragung
4.1.3 Telefonische Befragung
4.1.4 Online-Befragung
4.2. Qualitative Interviewmethoden
4.2.1 Tiefeninterview
4.2.2 Gruppendiskussion

5. Grundlegende Kriterien für Qualität und Aussagekraft von empirischen Untersuchungen
5.1 Gütekriterien der klassischen Testtheorie: Objektivität, Reliabilität und Validitäz
5.2 Vergleichender Diskurs der Gütekriterien in beiden Forschungsansätzen

6. Fazit

7. Literaturverzeichnis

1. Einleitung

Diese Seminararbeit soll einen Überblick darüber zu geben, welche Qualitätskriterien in der quantitativen und qualitativen Forschung Berücksichtigung finden sollten und welche An-forderungen als Voraussetzung für eine angemessene Qualitätsprüfung gelten können.

Zunächst wird der Versuch unternommen den grundlegend unterschiedlichen Charakter der beiden Forschungsansätze darzustellen. In den nachfolgenden Ausführungen soll deutlich werden inwieweit die Qualität von Befragungen in der quantitativen Forschung entscheidend vom Erhebungsinstrument abhängt. Im Mittelpunkt des dritten Abschnittes stehen demzufolge der standardisierte, schriftliche Fragebogen mit Überlegungen hinsichtlich Struktur, Frageformulierung und Fragebogengestaltung.

Es folgt die Erläuterung und Diskussion der verschiedenen Interviewmethoden quantitativer und qualitativer Forschung. Wesentliche Aspekte wie Stichprobenbildung, Datenqualität und organisatorisch, finanzielle Abwägungen werden betrachtet, da diese – neben dem Erhebungsinstrument - entscheidende Voraussetzungen für die Erreichung des Objektivitätsideals und die Anwendbarkeit von Methoden zur Überprüfung von Reliabilität und Validität bilden.

Im Anschluss an die Thematisierung von Erhebungsinstrument und Interviewmethoden erfolgt eine Darstellung der klassischen Gütekriterien Objektivität, Reliabilität und Validität in Verbindung mit den verschiedenen Aspekten und Methoden zur Überprüfung. Darüber hinaus wird im letzten Abschnitt der Diskurs darüber aufgezeigt, ob eine Übertragung der klassischen Kriterien in modifizierter Form auf die qualitative Forschung möglich ist oder ob neue Kriterien festgelegt werden sollten.

2. Charakteristische Merkmale quantitativer und qualitativer Forschung

In der empirischen Forschung wird gemeinhin zwischen quantitativer und qualitativer Forschung unterschieden. Diese Unterscheidung orientiert sich primär an den methodischen Zugangswegen. Versucht man beide soweit als möglich gegeneinander abzugrenzen, wird in der Literatur in erster Linie auf folgende Unterscheidungsmerkmale Bezug genommen.

Die beiden Forschungsansätze unterscheiden sich hinsichtlich des zu gewinnenden Daten-materials. So strebt die quantitative Forschung die „Messbarkeit“ von Daten an und ist um einen hohen Standardisierungsgrad sowie bestmögliche Quantifizierung der Daten, vornehmlich mittels Skalenbildung, bemüht. Der Vorteil eines hohen Standardisierungsgrades liegt in der „Vollständigkeit und Vergleichbarkeit der Antworten und [der] Quantifizierbarkeit der Ergebnisse.“^[1] Qualitative Ansätze hingegen sind geprägt durch ihren explorativen Charakter mit stärkerer Interpretation und Bewertung des Materials. In den beiden Bereichen werden folglich unterschiedliche methodische Zugangswege berücksichtigt. Unter den quantitativen Zugangswegen ist der sog. standardisierte Fragebogen das Instrument der Wahl. Zu den qualitativen Ansätzen zählen demgegenüber zum einen teil-standardisierte und zum anderen nicht-standardisierte Verfahren. Als weiterer Aspekt wird verschiedentlich gar ein unterschiedliches Wissenschaftsverständnis, in welchem quantitative und qualitative Forschung wurzeln, gesehen.^[2]

Zur Verdeutlichung des zuletzt genannten Unterscheidungsmerkmals seien einige wesentliche Teilaspekte herausgegriffen, die sich unter anderem in der Diskussion von Gütekriterien in der qualitativen Forschung wieder finden. Qualitative Forschung ist eher an der Ent-wicklung von Hypothesen und Theorien, quantitative Ansätze an der Überprüfung dieser ausgerichtet. Die Interpretation steht in der qualitativen Forschung im Mittelpunkt, dagegen ist die quantitative Forschung auf der Suche nach Ursachen durch entsprechende Anwendung von Methoden. Die qualitativen Verfahren werden durch Begriffe und Prinzipien wie Offenheit, Prozesshaftigkeit, Flexibilität, gezielte Auswahl, Reflexivität und Explikation charakterisiert. Dagegen gelten quantitative Verfahren als standardisiert, strukturiert, statisch und repräsentativ. Im qualitativen Bereich wird Forschung je nach gewähltem methodischen Zugang bisweilen sogar als „Kommunikationsprozess“ begriffen. In der quantitativen Forschung soll das Prinzip der Neutralität gelten, Interaktionen werden als Störgrößen angesehen und sollen daher möglichst weitgehend ausgeschlossen werden.^[3]

Ziel quantitativer Forschung ist das Erreichen eines endgültigen Ergebnisses, die Stärke qualitativer Forschung ist dagegen die Offenheit gegenüber einer Vielzahl von Ergebnissen.^[4]

3. Der standardisierte schriftliche Fragebogen

Hinsichtlich der Qualität einer Umfrage lässt sich folgende Grundregel formulieren: „Lernen [muss] vor Beginn der Befragung stattfinden.“^[5] „Sind die Fragebogen einmal unter den Inter-viewern verteilt, gibt es kein Zurück mehr.“^[6] Der Einsatz von sog. Pretests, welche oftmals auch als Pilotstudie bezeichnet werden, kann daher als unerlässlicher Bestandteil für die Qualitätssicherung einer Befragung angesehen werden und ist oftmals „Voraussetzung für den Erfolg einer Bevölkerungsumfrage.“^[7] Ziel von intensiven Vorstudien ist die Modifizierung des Fragebogens und die Korrektur entdeckter Fehlerquellen. Pretests können als Qualitätskriterium in der Umfrageforschung angesehen werden.^[8]

Es sei an dieser Stelle angemerkt, dass die qualitative Forschung selbst oftmals nur als Pretest, also als Vorbereitung zur Hauptstudie begriffen wird. Das Potenzial der qualitativen Forschung wird somit unterschätzt.^[9]

3.1 Struktur des standardisierten Fragebogens

In aller Regel basiert ein standardisierter Fragebogen auf einem Pool von Fragen, den sog. „Items“. Je nach zu erfassendem Merkmal sind diese Items einer unterschiedlichen Anzahl von Dimensionen, sog. Skalen zugeordnet. Gewonnen werden solche Skalen auf dem empirischen Wege mittels Itemanalysen auf Basis der Testtheorie. Die Beantwortung der Items erfolgt aufgrund eines einheitlichen und vorgegebenen Formates. Hierfür kommen entweder dichotome Antwortvorgaben (z.B. Ja/Nein) oder aber mehrstufige Antwortvorgaben in Form von Ratingskalen verschiedenster Art in Frage. Unter Standardisierung ist hier primär das einheitlich vorgegebene Beantwortungsformat für sämtliche Fragen gemeint, im Weiteren aber auch die Standardisierung des gesamten Untersuchungskontextes. Anders der Fragebogen im Interview, welcher in aller Regel variable Beantwortungsmöglichkeiten^[10] je nach Item vorsieht.^[11]

3.2 Qualitätsmerkmale der Frageformulierung und deren Auswirkungen auf die Datenqualität

Hinsichtlich der Anforderungen an die Frageformulierung können vornehmlich folgende drei Aspekte unterschieden werden: Die Verständlichkeit der Frage, die Fähigkeit zur Beantwortung einer Frage und die Auskunftswilligkeit.^[12] Diese gelten selbstverständlich auch für Interviewmethoden und wirken sich aber im Hinblick auf die höheren Zielsetzungen von Gütekriterien standardisierter Fragebögen stärker aus.

Die Verständlichkeit von Fragen bezieht sich auf eine präzise, zielgerichtete Fragestellung und die Reduzierung von Interpretationsmöglichkeiten einer Frage. Der Aspekt der Fähigkeit, eine Antwort geben zu können, berücksichtigt zum einen das Erinnerungsvermögen und zum anderen die Erfahrungen einer Auskunftsperson. Hilfreich sind hinsichtlich dieses Aspektes alle Maßnahmen zur Auffrischung der Erinnerung^[13] sowie eine hinreichende Berücksichtigung ob bestimmte Erfahrungen, nach welchen gefragt wird, überhaupt vorhanden sind oder von der Auskunftsperson erkannt werden können. Oftmals wird nach Sachverhalten geforscht, die dem Befragten unbewusst sind. Die Frage nach der Auskunftswilligkeit einer Auskunftsperson stellt den dritten Aspekt dar. Gesellschaftliche Normen und heikle Themen führen zu Übertreibungen von sozial erwünschtem Verhalten und Untertreibungen von Verhalten, das gesellschaftlich als inakzeptabel gilt.^[14] Zu Vermeidung solcher sog. „Beantwortungstendenzen“ ist eine möglichst neutrale Ausgestaltung und Formulierung der Fragen anzustreben. Auch Nonresponse und die Neutralität des Interviewers sind darüber hinaus von besonderer Relevanz. Sponsorship-Effekte, d.h. die Beeinflussung der Antworten durch Höflichkeit gegenüber dem Auftraggeber, sollen vermieden werden.

Unter Rückbezug auf die variable Beantwortungsmöglichkeit im Interview wird dort unterschieden in offene und geschlossen Fragen. Von einer geschlossenen Frage spricht man, wenn die Antwortkategorien vorgegeben werden und in Folge dessen immer mit einer klaren Stellungnahme geantwortet werden kann. Zu beachten ist, dass die Antwortkategorien vollständig sind und sich die Auskunftsperson nur einer Kategorie zuordnen kann. Offene Fragen überlassen den Befragten die Antwortformulierung und schränken ihn in keiner Weise ein, darüber hinaus fördern sie die Antwortbereitschaft. Des Weiteren sind auch suggestive und stereotype Fragen^[15] zu vermeiden, als auch alle Fragen mit Doppeldeutigkeit.

3.3 Anforderungen an den Fragebogenaufbau

Beim Fragebogenaufbau gilt es zum einen die Länge des Fragebogens und zum anderen die Reihenfolge der Fragen zu beachten.

Die Fragebogenlänge wird in der Dauer des Interviews gemessen. Als Richtlinie erscheint eine Obergrenze von etwa 40 Minuten als angemessen. Diese Obergrenze ist allerdings keineswegs bindend und kann je nach Interesse der befragten Personen, nach Gestaltung des Fragebogens und nach Art der Befragung variieren. Wichtig ist vielmehr, dass die Spannung während der Befragung erhalten bleibt und der Spaß an der Sache nicht verloren geht.^[16] Die Dauer einer Befragung sollte im Wege von Vorstudien ermittelt und bestimmt werden.

Bei der Festlegung der Fragereihenfolge ist die Vermeidung von Reihenfolgeneffekten von großer Bedeutung, da diese das Ergebnis einer Umfrage beeinflussen und verzerren. Zu nennen sind sog. Ausstrahlungseffekte, welche dadurch entstehen, dass die befragte Person sowohl inhaltlich, als auch emotional nachhaltig beeinflusst wird. Nachfolgend gestellte Fragen werden dadurch, dass sich der Proband noch mit dem Inhalt der vorangegangenen Frage beschäftigt, beeinflusst. Abgemildert wird der Ausstrahlungseffekt durch Pufferfragen. Ein weiterer Effekt, der sog. Konsistenzeffekt entsteht dadurch, dass die Auskunftsperson bemüht ist, innerhalb einer Frageserie logisch und konsistent zu antworten. Durch geschicktes Mischen von Fragen, wechselnde Themenbereiche und Pufferfragen wird der Konsistenzeffekt reduziert.

Einige der wichtigsten Erfahrungsregeln für die Festlegung der Fragereihenfolge können wie folgt zusammengefasst werden: Zu Beginn des Fragebogens muss der Kontakt zur Auskunftsperson hergestellt werden, das Interesse soll geweckt und Misstrauen abgebaut werden. Diese Art der Fragestellung wird als Kontaktfrage oder „Eisbrecherfrage“ bezeichnet und darf keinerlei Antworthemmung hervorrufen. Es folgen Sachfragen, welche direkten Bezug zum Untersuchungszweck herstellen und bei denen sich Monotonie häufig nicht vollständig vermeiden lässt. Diese Fragen sind sinnvoller Weise in der Mitte der Befragung anzuordnen. Fragen zu verschiedenen Themenbereichen sollen im Wechsel gestellt und durch Übergänge verknüpft werden. Trotz der Zusammenfassung von einzelnen Themenserien gilt eine Regel für die Fragebogenkonstruktion immer: Der Fragebogen beinhaltet „>>[E]ine Summe von Fragen <<. [...] Das Zusammenziehen zum Ganzen einer Diagnose erfolgt erst später bei der Analyse des Materials aus Hunderten und oft Tausenden von aufgezeichneten Antworten.“^[17] Wichtig ist der Einsatz von Kontrollfragen, die zur Überprüfung der Antworten auf ihre Zuverlässigkeit und zur Feststellung, ob die Person die Wahrheit sagt, dienen. Fragen zur Person sollten dagegen erst am Ende des Interviews gestellt werden um nicht den Eindruck eines Verhörs aufkommen zu lassen.

4. Interviewmethoden im Vergleich

4.1 Quantitative Interviewmethoden

Für die nachfolgenden Ausführungen sei darauf hingewiesen, dass standardisierte schriftliche Fragebögen alle graduellen Abstufungen der Standardisierung berücksichtigen können. Eine vollständige Standardisierung ist nur durch langjährige Erfahrungen und Verbesserungen des Erhebungsinstrumentes erreichbar. Daher kommen in der Praxis von Interviews vorwiegend sog. Interview-Leitfäden zum Einsatz. Zur Vermeidung sprachlicher Unklarheiten soll daher fortan im Zusammenhang mit Interviewmethoden stets der Begriff „Interview-Leitfaden“ statt „Fragebogen“ Verwendung finden. Der Interview-Leitfaden skizziert den groben Ablauf der Befragung und enthält Gesprächsinhalt und Variationen von Fragereihenfolge und Frageformulierung. Dennoch sind die geschilderten Anforderungen an Frageformulierung und Fragebogenaufbau selbstverständlich gleichermaßen Zielsetzung für den Interview-Leitfaden. In dem Maße, in dem sie eben diesen Anforderungen genügen wird auch innerhalb der Interviewmethoden selbst häufig eine Unterscheidung zwischen (stärker) quantitativen oder aber (eher) qualitativen Zugangswegen vorgenommen.

Im Mittelpunkt des nachfolgenden Abschnittes steht die Darstellung der methodisch gründlichen, präzisen und sorgfältigen Untersuchung. Näher betrachtet werden Überlegungen hinsichtlich des Stichprobendesigns, der Datenqualität und finanziellen, organisatorischen Aspekten. Beachtung findet auch, dass jede Interviewmethode in mehr oder weniger starkem Ausmaß als „soziale Situation“ angesehen werden kann.

Gemeinsamkeit nachfolgend dargestellter Befragungsmethoden ist die Einhaltung des Kriteriums der Repräsentativität. Eine Befragung kann dann als repräsentativ gelten, wenn die Merkmale einer Stichprobe von den Merkmalen der Grundgesamtheit abweichen. Ein Schluss von der Stichprobe auf die Grundgesamtheit ist nur dann möglich, wenn die Auswahl auf dem Prinzip des statistischen Zufalls erfolgt. Beeinträchtigt wird die Qualität der erhobenen Daten durch Stichprobenfehler und Nonresponse^[18]. Solange Nonresponse zufällig ist, wird die Datenqualität nicht beeinträchtigt. Unterscheiden sich die Antwortverweigerer und Nichterreichbaren allerdings in einem oder mehreren Merkmalen signifikant von der Grundgesamtheit, liegt eine systematische Verzerrung – ein „non-response-bias“ vor, der die Qualität der Daten minimiert.

[...]

^[1] Mayntz/Holm/Hübner (1971), S. 104

^[2] Vgl. Bortz,/Döring (1995), S. 271

^[3] Vgl. Lamnek (1995), S. 21 - 30, 218 – 244; Bortz/Döring (1995), S. 274 - 277

^[4] Vgl. Frank/Schlund (2004)

^[5] Noelle-Neumann (2005), S. 76

^[6] Noelle-Neumann (2005), S. 79

^[7] Noelle-Neumann (2005), S. 78

^[8] Vgl. Kaase (1999), S. 49

^[9] Es wird die Auffassung vertreten, dass die qualitative Forschung im Bereich der Marktforschung im Wege von Individualisierungs-, Globalisierungsprozessen und demographischen Wandel an Bedeutung gewinnen wird, da diese besonders gut geeignet ist, um komplexe Fragestellungen zu durchleuchten: vgl. Kühn (2004)

^[10] siehe Abschnitt 3.2

^[11] Zur Vermeidung begrifflicher Unstimmigkeiten wird im Interview statt vom Fragebogen zweckmäßigerweise vom sog. Interview-Leitfaden gesprochen

^[12] Vgl. Sudman,/Blair (1998), S. 252 - 266

^[13] z.B. Erinnerungsaktivierungen, Vorgabe von Antwortkategorien, Selbsteinschätzung

^[14] Vgl. Sudman/Blair/Bradburn /Stocking (1977)

^[15] Vgl. Maytnz /Holm/Hübner (1971), S. 107 -108

^[16] Vgl. Noelle-Neumann (2005), S. 125 - 127

^[17] Noelle-Neumann (2005), S. 86

^[18] Vgl. zur Typisierung von Nonresponse: Schnell (1997)