Inhaltsverzeichnis 1

Inhaltsverzeichnis   

Seite   

1  Problemstellung.  5

2  Grundlagen der Test- und Fragebogenmethodik  7

2.1  Wesen und Bedeutung des Tests.  7

2.2  Die Fragebogenmethode  8

2.3  Gütekriterien als wesentliche Anforderungen  10

2.3.1  Objektivität  10

2.3.2  Reliabilität.  11

2.3.3  Validität  13

3  Methodischer Ablauf eines Tests  16

3.1  Überblick des Testablaufs  16

3.2  Formulierung des Forschungsproblems, Planung und Vorbereitung.  17

3.3  Durchführung, Auswertung und Berichterstattung.  19

4  Grundzüge der Fragebogenkonstruktion.  20

4.1  Konstruktion von Fragen.  20

4.1.1  Kognitive Prozesse während der Befragung.  20

4.1.2  Auswahl von Fragen  23

4.1.3  Fragetypen  24

4.1.4  Regeln zur Fragenformulierung  25

4.2  Skalen und Skalierungsverfahren.  28

4.3  Struktureller Aufbau des Fragebogens  31

5  Mögliche Einflüsse auf verfälschte Fragebogenergebnisse  32

5.1  Antwortverhaltenstendenzen und deren Kontrollmöglichkeiten  32

5.2  (Un)bewusste Fragebogenmanipulation durch den Forscher.  37

6  Abschließende Betrachtung und kritische Würdigung.  38

Literaturverzeichnis   42

Abbildungsverzeichnis   

Abbildungsverzeichnis   

Abbildung  1: Zusammenfassung der Haupt- und Nebengütekriterien  

Abbildung  2: Hauptphasen einer empirischen Untersuchung  

Abbildung  3: Prozesse bei der Beantwortung von Fragen  

Abbildung  4: Gebräuchliche Skalierungsverfahren der Sozialwissenschaften.  

Abbildung  5: Rating-Skala.  

Abbildung  6: Eckpunkte einer gelungenen Test- bzw Fragebogenkonstruktion  

Tabellenverzeichnis 3   

Tabellenverzeichnis   

Tabelle 1:  Zentrale Fragen bei der Bestimmung der Inhaltsvalidität  15

Tabelle 2:  Phasen einer empirischen Untersuchung  17

Abkürzungsverzeichnis 4

Abkürzungsverzeichnis

Aufl. Auflage bspw. beispielsweise bzw. beziehungsweise d.h. das heißt ggf. gegebenenfalls Hrsg. Herausgeber S. Seite u. a. unter anderem vgl. vergleiche z. B. zum Beispiel zit. zitiert

1Problemstellung 5

1 Problemstellung

In einer zunehmend komplexeren Welt, die mitunter durch tiefgreifende Veränderungen innerhalb unserer Wissensgesellschaft geprägt ist, kommt neben der Generierung neuen Wissens der systematischen Dokumentation, Beschreibung und Bewertung sozialer Tatbestände aber auch der Erfassung von Persönlichkeitsmerkmalen und Einstellungen - sei es aus Perspektive der Markt-, Meinungs- oder Bildungsforschung - immer größere Bedeutung zu (vgl. Atteslander, 2008, S. V-7; Gollwitzer & Jäger, 2009, S. XI). Dabei werden u. a. in der wissenschaftlichen Praxis unterschiedlichste Ansätze und Methoden zur Erforschung der Umwelt verwendet, die je nach Aspekt und Ziel des Evaluationsgegenstandes stark voneinander variieren können (vgl. Gollwitzer & Jäger, 2009, S. XI; Mayer, 2008, S. 5). Als weitverbreitetes Untersuchungsverfahren hat sich dabei die Fragebogenmethode, insbesondere in der psychologischen Forschung, etabliert (vgl. Mummendey& Grau, 2008, S. 13; Pospeschill&Spinath, 2009, S. 92). Im Zuge dessen erweist es sich als große Herausforderung, Fragebögen auf wissenschaftlich fundierter Basis zu erstellen, deren Entwicklung, Durchführung und Auswertung sich an einer strukturierten Vorgehensweise orientieren (Mayer, 2008, S. 5). Das Spektrum an ‚Regeln’ für die gelungene Fragebogenkonstruktion reicht dabei von der Berücksichtigung einiger wesentlicher Gütekriterien, die ebenfalls bei der Testentwicklung zu befolgen sind, bis hin zur geeigneten Auswahl und Formulierung der Fragen sowie dem gelungenen Aufbau eines Fragebogens (vgl. Bortz & Döring, 2006, S. 253; Rost, 1996, S. 31). Eine der Hauptschwierigkeiten besteht insbesondere in der gelungenen Auswahl und Reihenfolge der Fragen, sogenannte Items, die den Untersuchungsgegenstand möglichst reliabel und valide erfassen sollen, aufgrund ihrer unglücklichen Komposition jedoch auch Spielraum für Missverständnisse zulassen können (Mummendey& Grau, 2008, S. 40-41). „Die Formulierung von Items hat also einen erheblichen Einfluss auf das Verständnis von Fragen und auf deren Beantwortung“ (Mummendey& Grau, 2008, S. 40). Rost (1996, S. 60) sieht sogar in der Formulierung und Konstruktion von Items „die eigentliche Arbeit der Testkonstruktion“.

Vor diesem Kontext müssen „neben Intuition, Sprachgefühl und Erfahrung auch und vor allem wissenschaftliche Erkenntnisse über die bei der Befragung ablaufenden Prozesse[...]“ (Porst, 2009, S. 12) bei der Fragebogenkonstruktion berücksichtigt werden, um verwertbare Ergebnisse zu erhalten, die nicht rein zufälliger bzw. willkürlicher Natur sind (Mayer, 2008, S. 5). Vielfältige Untersuchungen aus der Methodenforschung haben bereits diverse Effekte durch eine bestimmte Fragen-

1Problemstellung 6

konstellation bzw. unterschiedliche Fragenformulierung auf die Antwortresultate aufgezeigt und analysiert. Einflüsse dieser Art sollten bei der Test- und Fragebogenkonstruktion zumindest bekannt sein, um unerwünschte Antworteffekte zu vermeiden, oder bereits vorliegende Fragebögen - auch vor dem Hintergrund des bewussten Einsatzes solcher Effekte - besser beurteilen zu können (Schumann, 2006, S. 51).

Dennoch genügen viele Fragebögen nicht den an sie gestellten wissenschaftlichen Ansprüchen und liefern in dem Sinne „irgendwie irgendeine Art von Antwort[...]“ (Porst, 2009, S. 11). Doch auch bei Berücksichtigung wesentlicher wissenschaftlicher Kriterien für eine gelungene Test- und Fragebogenkonstruktion erkennen Bradburn, Sudman undWansink (2004, S. 317) Folgendes: „Even after yearsofexperience, no expert canwrite a perfectquestionnaire“. Daraus wird bereits ersichtlich, dass trotz einschlägiger Fachliteratur und umfassender empirischer Studien zu diesem Themenkomplex die Konstruktion von Fragebögen keineswegs als trivialer Vorgang bezeichnet werden kann.

In dieser Arbeit soll daher die zentrale, zielleitende Frage geklärt werden, wie ein gelungener Test bzw. Fragebogen auf wissenschaftlich fundierter Basis konstruiert werden sollte, dessen Entwicklung, Durchführung und Auswertung in strukturierter Vorgehensweise verläuft. Einführend wird dazu im zweiten Kapitel zunächst auf die Grundlagen der Test- und Fragebogenmethodik eingegangen und wesentliche Begrifflichkeiten näher erläutert, die als theoretisches Fundament für das weitere Verständnis von elementarer Bedeutung sind. Weiterhin sei hierbei das Augenmerk auf einige wesentliche Gütekriterien gelenkt, deren Einhaltung einen essenziellen Beitrag für die berechtigte Frage nach einer zufriedenstellenden Ergebnisgüte leistet. Mit dem notwendigen theoretischen Basiswissen wird nachfolgend im dritten Kapitel näher darauf eingegangen, wie ein Test in strukturierter Vorgehensweise ablaufen sollte. Der prozessähnliche Ablauf stellt dabei eine gute Orientierungshilfe für den Forscher dar, dessen einzelne Phasen unter Berücksichtigung wichtiger Aspekte vorgestellt werden. Auf Basis dessen werden in den nachfolgenden Kapiteln daraus ausgewählte, wichtige Themengebiete näher aufgegriffen. Dazu wird im vierten Kapitel der Frage nachgegangen, wie die eigentliche Konstruktion eines Fragebogens durchgeführt wird. Insbesondere ‚Test- und Fragenbogenneulinge’ haben vor diesem Kontext Schwierigkeiten, das komplexe Spektrum an Faktoren zu überblicken und sind infolgedessen in diesem Stadium oftmals über-fordert. Daher sollen zunächst die kognitiven Prozesse der Probanden während der Befragung im Mittelpunkt stehen, da ein Mindestmaß an Kenntnissen darüber für

2Grundlagen der Test- und Fragebogenmethodik 7

die Fragebogenkonstruktion benötigt wird. Anschließend soll nicht nur der Frage nach einer gelungenen Fragenformulierung nachgegangen werden, sondern auch die Fragenauswahl, die verschiedenenSkalen undSkalierungsverfahren sowie der strukturelle Aufbau des Fragebogens detailliert erläutert werden. Im Anschluss wird näher darauf eingegangen, welche Phänomene Fragebogenergebnisse verfälschen können und welche Lösungsmöglichkeiten es diesbezüglich gibt. Dabei zielt das fünfte Kapitel ebenfalls darauf ab, die Leser -auch vor dem Hintergrund weiterer aufgezeigter Manipulationsmöglichkeiten - für bestimmte Effekte zu sensibilisieren. Im letzten Kapitel wird die Test- und Fragebogenmethodik sowie deren Umsetzung durch den Forscher unter Rekurrierung der vorherigen Abschnitte einer abschließenden Betrachtung und kritischen Würdigung unterzogen.

2 Grundlagen der Test- und Fragebogenmethodik

2.1 Wesen und Bedeutung des Tests

Im deutschen Sprachgebrauch ist der aus dem englischen Wortschatz stammende Begriff ‚Test' mittlerweile zu einem festen Bestandteil geworden, dessen Verwendung in unterschiedlichsten Bedeutungszusammenhängen zum Tragen kommt und dabei bei weitem die ursprüngliche Bedeutung, nämlich ‚Probe’, übersteigt (vgl. Lienert &Raatz, 1998, S. 1; Grubitzsch, 1999, S. 17). Die Bedeutungsvielfalt des Begriffs kann durch folgende Auflistung nach Lienert undRaatz (1998, S. 2) verdeutlicht werden, die den Test der Bedeutung nach wie folgt gliedern:

a) „Ein Verfahren zur Untersuchung eines Persönlichkeitsmerkmals.

b) Den Vorgang der Durchführung der Untersuchung.

c) Die Gesamtheit der zur Durchführung notwendigen Materialien.

d) Jede Untersuchung, sofern sie Stichprobencharakter hat.

e) Gewisse mathematisch-statistische Prüfverfahren (z. B. χ2-Test)

f) Kurze, außerplanmäßige ‚Zettelarbeiten’ im Schulunterricht.“ Im Folgenden soll nun näher auf die erste dargestellte Bedeutung eingegangen werden, auch vor dem Hintergrund einer thematischen Verzahnung mit dem Konstrukt des Fragebogens, das ebenfalls im Zuge dieser Arbeit sukzessive erschlossen werden soll.

Ein Test „zur Erfassung psychischer Eigenschaften oder Merkmale von Personen“ (Rost, 1996, S. 17) kann dabei als „wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst genauen quantitativen Aussage über den Grad der

2Grundlagen der Test- und Fragebogenmethodik 8

individuellen Merkmalsausprägung“ (Lienert &Raatz, 1998, S. 1) verstanden werden. In diesem Zusammenhang wird oftmals auch von psychologischen bzw. psychometrischen Tests gesprochen (vgl. Rost, 1996, S. 17; Bühner, 2006, S. 23). Unabhängig von der genauen Bezeichnung ist jedoch die ‚Wissenschaftlichkeit’ vordergründiges Merkmal eines solchen Verfahrens, das u. a. bestimmten test-theoretischen Qualitätsansprüchen bei der Testprozedur genügen muss (Moosbrugger&Kelava, 2007a, S. 2).

Deutlich davon abzugrenzen sind ‚alltägliche’ Tests, die bspw. in vielfältiger Art und Weise zur Persönlichkeitsmessung in Illustrierten eingesetzt werden, jedoch Behauptungen über eine Sache unbegründet im Raum stehen lassen (Grubitzsch, 1999, S. 18). Wissenschaftliche Tests hingegen laufen vielmehr unter routinemäßigen, also standarisierten Bedingungen ab und ermöglichen „eine relative Positionsbestimmung des untersuchten Individuums innerhalb einer Gruppe von Individuen oder im Bezug auf ein bestimmtes Kriterium [...]“ (Lienert &Raatz, 1998, S. 1).

Je nach Betrachtungsweise wird in der Fachliteratur oftmals auch von einem Test im ‚weiteren’ bzw. ‚engeren’ Sinne gesprochen. Dabei soll insbesondere der Test im weiteren Sinne hervorgehoben werden, da hierunter auch Fragebögen, standardisierte Interviews und standardisierte Beobachtungen subsumiert werden können. Unter Tests im engeren Sinne zählen nur solche Verfahren, die sich nicht durch Intention der untersuchten Person in eine gewünschte Richtung verfälschen lassen (vgl. Bühner, 2006, S. 20; Rost, 1996, S. 17). An dieser Stelle sei schon einmal erwähnt, dass die Beeinflussung von Tests, insbesondere bei der Verwendung von Fragebögen, Beobachtungen und Interviews ein ernstzunehmendes Problem darstellt, dessen Tragweite genauer im Kapitel 5dargestellt werden soll.

2.2 Die Fragebogenmethode

Die heutigen Einsatzgebiete von Fragebögen sind so mannigfaltig wie deren Konstruktion selbst (Mummendey& Grau, 2008, S. 19-20). Daher kann der Begriff des Fragebogens auch nur in begrenztem Umfang mit den englischen Bezeichnungen ‚Questionnaire’ bzw. ‚Scale’ gleichgesetzt werden, da dieser als eine Art„Sammelausdruck für vielfältige Formen schriftlicher Befragung in verschiedenen inhaltlichen Bereichen [...]“ (Moosbrugger&Kelava, 2007a, S. 2) eingesetzt wird.

Im Groben lassen sich Fragebögen in zwei Kategorien unterteilen. Auf der einen Seite werden sie zur Erfassung eindeutig abgegrenzter Persönlichkeitsmerkmale