Die Total-Design Methode

Inhalt

Einleitung

1. Befragungen
1.1 Probleme der mündlichen Befragung
1.2 Die schriftliche Befragung
1.3 Ausschöpfungsquoten

2. Die Total Design Methode nach Dillman
2.1 Die Anwendung in Deutschland
2.2 Die Wirkung der Thematik und materieller Incentives

3. Schlussbetrachtung

Bibliographie

Einleitung

„It would be most unfortunate if surveying of Businesses and other Establishments stays the same as it has in the last Decades of the 20th Century. It would be equally unfortunate if we were to declare a new Era for use of only the new Web and IVR Methods, and forget the Knowledge we already have for obtaining Responses using traditional mail and telephone Methods. The obvious Implication is that designing and implementing establishment Surveys is going to become more complex, requiring a wider Range of methodological Skills and Knowledge than at any Time in our Past.”¹

Unlautere Verkaufsmethoden, Angst vor Kriminalität, zunehmender Egoismus und höhere Mobilität, Freizeitverhalten, Datenschutz - Aspekte die veranschaulichen, wie durch gesellschaftliche Einflüsse Feldsituationen auf drastische Weise verändert werden können. Die Folge sind allgemein sinkende Ausschöpfungsraten nicht nur bei mündlichen Interviews, ebenso bei von Interviewern nicht beeinflussten schriftlichen Interviews (vgl. Anders 1985, S. 75ff). Forschungs- und Methodenprobleme, wie auch Institutsprobleme stehen diesen Feldsituationen gegenüber. Beide wirken zusammen ursächlich, mittel- oder unmittelbar als Komplex auf durchzuführende Umfragen. Das Resultat ist die Begünstigung von nonresponse oder geringe Teilnahmebereitschaft bei postalischen Befragungen. „Wer einen Fragebogen samt freundlichem Anschreiben ohne weitere Maßnahme verschickt, wird selten Rücklaufquoten über 20% erzielen:“ (vgl. Diekmann 2000, S. 441) Als empirischer Beleg dafür dienen zwei postalische Befragungen (1996 und 1998), die bei der ZUMA² durchgeführt wurden. Die Rücksendequote betrug bei vergleichbaren Populationen 13,6% und 13,1%. Wissenschaftlichen Ansprüchen genügen diese Quoten heute nicht mehr. Unzulänglichkeiten im Design oder der Befragungsinstrumente sind einige der Ursachen dafür, dass Personen an schriftlichen Befragungen nicht teilnehmen. Don Dillman untersuchte dies in Experimenten und erbrachte dafür Nachweise. Die Gestaltung von Fragebögen und die Ausführung stellt er in seinem Buch „Mail and Telephone Surveys. The Total Design Method“ (1978) dar. Rücklaufquoten von durchschnittlich 74% sprachen bei seinen Untersuchungen für die Methode. Dieses Wissen durch alleinigen Gebrauch anderer Methoden zu verdrängen, wäre wohl bedauerlich.

1. Befragungen

Befragungen sind ein Standardinstrument der empirischen Sozialforschung. „Allenfalls in der Psychologie werden in experimentellen Untersuchungen noch häufiger Beobachtungstechniken eingesetzt, wobei aber auch hier die Befragung als Methode der Datenerhebung dominiert.“ (Diekmann 2000, S. 371) Anhand der Befragungssituation und der Strukturierung wird differenziert. Telefoninterviews, Face to Face Interviews oder postalische Befragungen veranschaulichen situative Unterscheidungsformen der Befragung. Für standardisierte Befragungen stehen festgelegte Fragereihenfolgen, vorgegebene Antwortmöglichkeiten und eine neutrale Interviewerposition, unstandardisierte Befragungstypen dagegen gestalten Fragen offen, geben keine Antworten vor und überlassen dem Interviewer Reihenfolge und Wortlaut der Fragen selbst. Objektivität, Validität und Reliabilität sind Kriterien, denen die Standardisierung als Vorraussetzung dient. Bei geschlossenen Fragen erhält man jedoch keinerlei Informationen außerhalb des Spektrums der vorgelegten Antwortkategorien (vgl. Diekmann 2000, S. 374).

Vorteile standardisierter Befragungen liegen in geringen Kosten der Datenerfassung und -auswertung, sowie einer besseren Vergleichbarkeit und Objektivität und einer höheren Antwortbereitschaft der Teilnehmer bei heiklen Themen. Dem gegenüber steht die Notwendigkeit eines erheblichen Vorwissens was die Thematik betrifft, eine aufwendige Fragebogenentwicklung, das Risiko, dass Antwortvorgaben unzureichend sind und das Einzelaspekte und komplexe Einstellungsmuster schwierig bzw. nicht erfasst werden.

In ihrer Häufigkeit ist die Methode der Befragung trotz Kritik und vorhandener Nachteile eine unerlässliche Erhebungsmethode. 235 Methodenanwendungen wurden im Zeitraum von 1989 bis 1993 in den drei allgemeinen, deutschen soziologischen Fachzeitschriften gezählt³. Davon waren 164 Methoden der Kategorie Befragung zugeordnet. Sozialstrukturelle Erfahrungswerte und Kenntnisse von Zusammenhängen sind überwiegend das Ergebnis quantitativer Befragungsformen, wie sie in Bevölkerungsumfragen, z.B. dem ALLBUS, angewandt werden.

1.1. Probleme mündlicher Befragungen

Die Durchführung mündlicher Befragungen ist mit einer Vielzahl von Problemen verbunden. Zu denken ist hier in erster Linie an die seit Jahren insbesondere in städtischen Gebieten sinkenden Ausschöpfungsquoten (vgl. Hippler/Seidel 1985, S 39, Dillman 1978, S. 3). So geht Dillman davon aus, daß bei allgemeinen Bevölkerungsumfragen in den USA bereits in den 70er Jahren nur mehr zwischen 60% und 65% der ausgewählten Personen tatsächlich befragt werden konnten, während die verbleibenden 30% bis 35% zu gleichen Teilen entweder nicht erreichbar waren („not-at-homes“) oder die Teilnahme am Interview verweigerten („refusals“).

In den 60er Jahren dagegen seien bei Interviews noch Ausschöpfungsraten zwischen

80% und 85% realisiert worden. Porst (1993) kann für Westeuropa zwar keinen Trend zu immer weiter sinkenden Ausschöpfungsraten erkennen, berichtet aber für die Bundesrepublik Deutschland der 80er und 90er Jahre von ähnlich hohen bzw. niedrigen Quoten bei allgemeinen Bevölkerungsumfragen wie Dillman: „Ausschöpfungen von 70% sind machbar, von 65-70% fast ‘normal’. Als ‘magische Grenze’, die nicht unterschritten und deren Einhaltung den Instituten gegenüber nachhaltig gefordert werden sollte, erweist sich der Wert von 60%.“ (Porst 1993, S. 28). Derart niedrige Ausschöpfungsquoten sind in höchstem Maße problematisch, da die Ausfälle in aller Regel nicht stichprobenneutral erfolgen: Antwortverweigerer und Nichterreichbare unterscheiden sich, wie sich durch den Vergleich von Stichprobenparametern mit amtlichen Volkszählungs- und Mikrozensus-Daten zeigen läßt, hinsichtlich ihrer soziodemographischen Merkmale (Alter, Geschlecht, Einkommen, Familienstand und Bildung) vielmehr systematisch von den tatsächlich befragten Personen, so daß die Repräsentativität der Stichprobe und damit die Übertragbarkeit der Ergebnisse auf die Grundgesamtheit in Frage gestellt wird.⁴ Eng verbunden mit dem Problem der sinkenden Antwortbereitschaft ist eine andere Komplikation, die sich aus der Durchführung mündlicher Interviews ergibt: Viele Interviews werden teilweise oder sogar ganz gefälscht oder mit einer anderen Person als der tatsächlich zu befragenden durchgeführt, was einer Fälschung gleichkommt. Solche Betrugsfälle werden von den Umfrageinstituten in einem bedauerlichen Umfang toleriert, weil es an qualifiziertem Personal mangelt und auch gefälschte Interviews die Ausschöpfungsquote in die Höhe treiben.

Als letztes, praktisch nicht zu behebendes Manko der persönlichen mündlichen Befragung soll noch auf das „jahrelang verdrängte Problem des Interviewereinflusses“ (Hippler/Seidel 1985, S. 39) hingewiesen werden: Selbst wenn der Interviewer sehr gut geschult sein sollte und sich im Gespräch dementsprechend neutral verhält, beeinflußt er durch seine bloße Anwesenheit insbesondere bei heiklen Fragen das Antwortverhalten der Befragten in Richtung der sozialen Erwünschtheit.

Zusammenfassend läßt sich festhalten, daß persönliche Interviews, die von Umfrageinstituten durchgeführt werden, eine relativ schlechte Datenqualität zu einem vergleichsweise hohen (und tendenziell steigenden) Preis bieten. Es bietet sich deshalb an, auf eine Methode der Datenerhebung auszuweichen, die in den letzten zwanzig Jahren nicht ohne Grund eine regelrechte Renaissance erfahren hat, weil die Datenerhebung völlig in der Hand des Primärforschers liegt und zu einem günstigeren Preis erfolgen kann: die schriftlich-postalische Befragung.

1.3 Die schriftliche Befragung

Eine schriftliche Befragung (questionnaire) ist eine Alternative, wenn Interviews nicht möglich sind. Ein Fragebogen wird dem ausgewählten Befragten an die Meldeadresse zugesandt. Eine andere Form ist das Ausfüllen des Fragebogens unter Anwesenheit eines Versuchsleiters (Gruppenbefragung) oder die Kombination mit einer persönlichen oder telefonischen Befragung, wobei schriftliche Nachbefragungen letzteres ergänzen. Bis Mitte der 70er Jahre galt die schriftlich - postalische Befragung als ein Verfahren, das zwar vergleichsweise billig und ohne großen logistischen Aufwand zu realisieren war, aber zu Ergebnissen führte, die wissenschaftlichen Ansprüchen nicht genügen konnten. Die Rücklaufquoten von deutlich unter 50% (Dillman 1978, S. 2) galten als durchaus akzeptabel. Daß Fragebogen nur teilweise ausgefüllt zurückgesandt wurden oder widersprüchliche Angaben enthielten, war die Regel. Der Rücklauf ist bei postalischen Befragungen von der Bereitschaft des Befragten abhängig, worauf kein Interviewer in Form von Motivation Einfluss hat. „Das Hauptproblem der schriftlichen Befragung ist die Rücklaufquote, d.h. der Anteil der zurückgesandten an den insgesamt verschickten Fragebögen. Da diese in den meisten Fällen zwischen 7% und 70% schwankt, treten erhebliche Schwierigkeiten auf, die Exaktheit der Aussagen aufgrund der Ergebnisse zu belegen.“ (Friedrichs 1990, S. 237) Ergebnisse können neben dem Problem des Rücklaufs erst generalisiert werden, wenn die Verteilung der wichtigsten unabhängigen Variablen in der Grundgesamtheit bekannt ist und mit der Stichprobe vergleichbar ist. Zusammenhänge dieser unabhängigen mit einigen abhängigen Variablen sollten in der Grundgesamtheit bekannt sein. Hohe Kosten und Interviewereinfluss sind bei schriftlichen Befragungen allerdings nicht vorhanden.

Es wurde und wird versucht, die schriftlich-postalische Datenerhebung für die empirische Sozialforschung anzuwenden.

[...]

¹ Aus dem Abstract Comparisons of the Total Design Method (TDM), A Traditional Cost-Compensation Model, and Tailored Design von Don A. Dillman, Washington State University

² Zentrum für Umfragen, Methoden und Analysen e.V.

³ Auf Anregung von A. Diekmann 1995 durchgeführte Untersuchung (vgl. Diekmann 2000, S. 373)

⁴ Dillman (1978, S. 52) führt an einem konstruierten Beispiel eindrucksvoll vor, wie sich die Verteilung einer dichotomen Variable in einer Stichprobe verändert, wenn die Stichprobenausfälle systematisch mit dem interessierenden Merkmal variieren. Im konkreten Fall bedeutet dies, daß die inferenzstatistische Absicherung der Stichprobenergebnisse nicht mehr gewährleistet ist, weil die berechneten Konfidenzintervalle zu schmal und die ausgewiesenen Irrtumswahrscheinlichkeiten zu klein sind.