Fragebogenerstellung eines Recruitingunternehmens. Testtheorie und Testkonstruktion

Inhaltsverzeichnis

1. Einleitung
1.1. Problemstellung
1.2. Zielsetzung
1.3. Vorgehen

2. Testtheorie
2.1. Gütekriterien
2.2. Testplanung
2.2.1. Merkmal suchen und festlegen
2.2.2. Testart
2.2.3. Geltungsbereiche und Zielgruppen
2.2.4. Testzeit und Testlänge
2.2.5. Die Administration des Tests
2.3. Phasen der Konstruktion
2.4. Generierung der Items
2.4.1. Reihenfolge der Items
2.5. Qualitative Verständlichkeitsprüfung der Items
2.5.1. Testversionen
2.6. Normierung der Testform

3. Lernfähigkeit

4. Testtheorie Fallbeispiel: Fragebogen zur Lernfähigkeit
4.1. Merkmal suchen und festlegen
4.2. Testart auswählen
4.3. Geltungsbereiche und Zielgruppen
4.4. Testzeit und Testlänge
4.5. Administration des Tests

5. Fallbeispiel: Konstruktionsphase
5.1. Itemgenerierung
5.2. Qualitative Verständlichkeitsprüfung der Items
5.2.1. Testversionen
5.3. Normierung

4. Diskussion

5. Fazit

1. Einleitung

1.1. Problemstellung

Bei der Erstellung eines Fragebogens oder Tests existieren mehrere Aspekte, die eingehalten werden sollten. Dabei ist nicht nur die grobe Struktur entscheidend, sondern es müssen auch detaillierte Fragen wie z.B. die Länge des Tests/Fragebogens, die Reihenfolge der Items oder die Details der Testversionen geklärt werden. Anhand eines Fallbeispiels (Recruitingunternehmen bekommt Auftrag von „Hilfswerk Wien“), muss ein fiktiver Auftrag bearbeitet werden. Zu beachten ist die einzuhaltende Struktur und die Wünsche des Auftraggebers. Das Merkmal, um das es beim konkreten Fragebogen gehen soll, umfasst die „Lernfähigkeit“.

1.2. Zielsetzung

Ziel der Arbeit ist es, eine übersichtliche, theoretische Struktur zu zeigen, die bei der Erstellung eines Tests/Fragebogens hilfreich ist. Ein weiteres Ziel besteht in der Abklärung der Detailfragen, die abgestimmt auf das Fallbeispiel vorzunehmen ist. Für den zu erstellenden Fragebogen benötigt es auch eine nähere Ausführung des gesuchten Merkmals der „Lernfähigkeit“. Ausgehend von diesen gesteckten Zielen, werden im Rahmen dieser Hausarbeit folgende Forschungsfragen beantwortet:

- Welche allgemeinen Schritte umfasst das Vorgehen bei der Erstellung eines Fragebogens/Tests?
- Welche Kriterien benötigt die „Lernfähigkeit“?
- Was beeinflusst die Testlänge bzw. was wird unter der ersten Testversion verstanden?
- Welche Konsequenzen können Reihenfolgenänderungen bei Items bewirken?

1.3. Vorgehen

Nach der Einführung in Kapitel 1, kommt es im nächsten Kapitel zu einer theoretischen Darstellung, die das Vorgehen einer Test- oder Fragebogenerstellung zeigt. Im Kapitel 3 wird die Lernfähigkeit genauer erklärt und die Dimensionen, Kategorien und Indikatoren bestimmt. In Kapitel 4 wird das Fallbeispiel dargestellt und praktisch ausgearbeitet. Die Fortsetzung, daher die Konstruktionsphase, erfolgt in Kapitel 5. Abschließend (Kapitel 6) werden die Ergebnisse diskutiert und ein Resümee in Kapitel 7 gezogen.

2. Testtheorie

Es gibt verschiedene Definitionen, die einen Test beschreiben. Brickenkamp bezeichnete diesen als “ein (nicht-apparatives Routine-) Verfahren zur Messung menschlicher Verhaltensweisen mit wissenschaftlichem Anspruch“.¹ Es müssen daher bestimmte Kriterien erfüllt werden, um den wissenschaftlichen Anspruch gerecht zu werden. Psychologische Tests können als „Leistungstests“, „psychometrische Persönlichkeitstests“ und „Persönlichkeits-Entfaltungs-Verfahren“ gesehen werden. Darüber hinaus können auch „standardisierte Interviews oder Beobachtungen“ hinzugezählt werden. Diese Tests haben das Potenzial individuelle Geschicklichkeiten, Besonderheiten, Talente als auch Zustände eines Menschen zu veranschaulichen.²

2.1 Gütekriterien

Damit der Test oder Fragebogen an Güte besitzt und die Wissenschaftlichkeit erfüllt werden kann, benötigt es mehrere Voraussetzungen. Die wesentlichen Kriterien sind Validität, Reliabilität und Objektivität. Die Objektivität zeigt die Unabhängigkeit des Testführers zum Ergebnis. Eine hohe Objektivität ist dann gegeben, wenn kein Einfluss von äußeren Umständen (Zeit, Ort, Testführer oder Testanalyst) besteht und das Verfahren darauf abgestimmt ist. Unterschieden werden dabei Durchführungsobjektivität, Auswertungsobjektivität und Interpretationsobjektivität. Die Durchführungsobjektivität ist dann gegeben, wenn der Test einem festgelegten Standard entspricht. Dabei werden Durchführungsregeln vereinbart, die für alle Tests gleich gelten.³ In der Regel hat die schriftliche Onlinebefragung im Gegensatz zur mündlichen Befragung einen höheren Wert an Objektivität, da die Einflussnahme vom Prüfungsführer bei der Onlinebefragung einfacher zu vermeiden ist.⁴ Weitere Punkte für einen hohen Wert sind die Angabe der Zeit, die für die Beantwortung der Frage eingeplant werden sollte und eine einheitlich und einfach erklärte Anleitung, wie der Test auszufüllen ist. Die Auswertungsobjektivität kann bei geschlossenen Fragen einfach erreicht werden. Bei offenen Fragen hingegen können sich Probleme darstellen. Die Interpretationsobjektivität liegt dann vor, wenn die gleichen Leistungen unterschiedlicher Testschreiber auch gleich interpretiert werden. Diese Interpretation bezieht sich immer auf ein spezielles Merkmal, zum Beispiel bei einem Schnelligkeitstest auf das Merkmal der Schnelligkeit.⁵

Die Reliabilität (=Zuverlässigkeit) steht für die Messgenauigkeit, mit der die Merkmale gemessen werden. Eine Messfehlervarianz errechnet sich aus dem Unterschied zwischen der wahren Varianz und der Gesamtvarianz. Differenziert werden Retest-Reliabilität, Paralelltest-Reliabilität, Split-Half-Reliabilität und Cronbachs Alpha. Bei der Retest-Reliabilität werden zwei gleiche Tests an zwei unterschiedlichen Terminen gemacht. Die Testergebnisse dieser zwei Messzeiten dienen dazu, die Zuverlässigkeit zu errechnen. Der Cronbachs Alpha zerstückelt den Test in einzelne Item Teile (diese müssen gleichartig sein) und setzt diese miteinander in Verbindung. Je stärker eine positive Wechselbeziehung zwischen diesen Teilen ist, umso höher ist die Zuverlässigkeit der Testwertvariable. Bei der Paralleltest-Reliabilität wird die Wechselbeziehung zwischen zwei parallelen Testformen bemessen. Dabei sind die Items im Gegensatz zum Cronbachs Alpha unterschiedlich, aber dennoch sehr ähnlich und für die Bemessung geeignet.⁶

Die Validität (=Gültigkeit) benötigt sowohl eine starke Objektivität als auch Reliabilität. Essenziell für einen validen Test ist, dass auch wirklich die fokussierten Merkmale des Tests gemessen werden. Es gibt mehrere Feststellarten, mit denen die Validität eruiert werden kann. Das sind die Augenscheinvalidität, Kriteriumsvalidität, Konstruktvalidität oder die Inhaltsvalidität. Die Augenscheinvalidität ist eine, von einem nicht Experten, beurteilte augenscheinliche Gültigkeitswahrnehmung.⁷ Sie ist ähnlich der Inhaltsvalidität, doch ist die Inhaltsvalidität mehr auf die Logik und Fachorientiertheit ausgelegt.⁸ Eine Inhaltsvalidität liegt dann vor, wenn das Ziel erreicht wird, dass die gesuchten Merkmale sich in den Items des Tests widerspiegeln. Die Kriteriumsvalidität vergleicht das Kriterium, dass im Test eruiert wird, mit der Gleichheit der Realität außerhalb des Tests. Ein Beispiel dazu: Bei einem Test soll gemessen werden, wie sehr eine Person von den mathematischen Kenntnissen in ein Unternehmen passt. Hat sie gute mathematische Kenntnisse und zeigt sie diese auch später in der Arbeit (daher außerhalb des Tests), ist die Kriteriumsvalidität erfüllt. Die Konstruktvalidität überprüft die wissenschaftliche Legitimation und Verbindung zwischen den Items des Tests und des suchenden Merkmals. Es muss zum Beispiel wissenschaftlich nachvollziehbar sein, dass mit den Items in einem Intelligenztest auch wirklich die Intelligenz eines Menschen widergespiegelt werden kann.⁹

Es existieren neben den Hauptkriterien noch Nebenkriterien wie Ökonomie, Nützlichkeit, Fairness, Zumutbarkeit und Unverfälschbarkeit. Die Einhaltung dieser Kriterien benötigt aber kein explizites wissenschaftliches Know-how.¹⁰

2.2. Testplanung

2.2.1. Merkmal suchen und festlegen

Ein psychologischer Test dient dazu, dass ein Merkmal untersucht und in Zahlen dargestellt wird. Anhand dieses Tests können die Merkmalsausprägungen zwischen den Teilnehmern verglichen werden. Im ersten Schritt muss festgelegt werden, welches Merkmal untersucht werden soll. Ist dieses Merkmal gefunden, sollte genau eruiert werden, welche wissenschaftlichen Voraussetzungen vorliegen müssen, um den Test so gestalten zu können, dass er auch wissenschaftlich tragbar ist.¹¹ Für die genaue Festlegung des Konstrukts bietet sich ein psychologisches Modell oder eine psychologische Theorie an. Falls das noch nicht machbar ist, sind vorübergehende Explikationen oder Arbeitsmodelle heranzuziehen. Weitere Hilfeleistungen können etwa Experten oder Personengruppen sein, die hohe oder geringe Neigungen zu den gesuchten Eigenschaften haben. Abschließend bieten sich ausgewählte Literaturwerke (z.B. Wissenschaftliche Artikel), bereits existierender Theorien oder empirischer Befunde als wissenschaftliche Nachschlagewerke an.¹² Als nächstes muss eruiert werden, ob es sich um überdauerndes (stabiles oder auch „Traits“ genannt¹³ z.B. „Intelligenz“, „Perfektionismus“) oder ein situationsgebundenes (verändern sich mit der Zeit, auch „States“¹⁴ ) Merkmal handelt.¹⁵ Im Test werden Indikatoren (=Items) eingebaut. Die Reaktion des Testschreibers auf diese Items (z.B. mit der richtigen oder falschen Beantwortung bei einem Intelligenzrätsel), bestimmt die Ausprägung des Merkmals. Als nächstes müssen noch weitere Einordnungen erfolgen. Die Merkmale können in qualitative Merkmale (Einteilung in „Klassen“ möglich) und quantitative Merkmale (Einteilung in geordnete Kategorien möglich) unterschieden werden.¹⁶ Ein Beispiel für eine Klasseneinteilung (=qualitatives Merkmal) wäre z.B. die Einteilung in Nationalität oder Religion, hier liegt eine Nominalskala vor, weil eine Unterscheidung aber keine Rangliste gemacht werden kann. Quantitative Merkmale hingegen können weiter abgestuft werden. Ein Beispiel dafür ist die Intelligenz, die als eine Zahl dargestellt werden kann und Personen somit in eine Reihenfolge gebracht werden können. Diese sind entweder intervallskaliert (Abstände können größer oder kleiner sein) oder ordinalskaliert (Rangordnung stimmt, aber keine Eruierung der Abstände möglich).¹⁷

Ein weiteres Unterscheidungskriterium von Merkmalen ist die Betrachtung der Dimensionen. So existieren sowohl eindimensionale (Testbezeichnung: unidimensionale Tests) als auch mehrdimensionale (Testbezeichnung: multidimensionale Tests) Merkmale. Besteht ein Merkmal aus einer Dimension, steht nur ein Konstrukt dahinter. Haben mehrere Konstrukte auf das Merkmal Einfluss, handelt es sich um ein Mehrdimensionales. Ein Beispiel: Das Merkmal „Glück“ kann mehrere Konstrukte wie z.B. Vermögen oder Gesundheit umfassen. Hilfestellungen dazu können Exploratorische Faktorenanalysen oder Korrelationsstatistiken darstellen.¹⁸

Nachdem diese Einordnungen erfolgt sind, kommt es zum nächsten Schritt, der „Auswahl der Testart“.

2.2.2. Testart

Abgestimmt auf das Merkmal muss eine Testart gewählt werden. Es gibt unterschiedliche Testarten wie zum Beispiel der „Leistungstest“, der „Persönlichkeitstest“, das „projektive Verfahren“ oder der „objektive Persönlichkeitstest“. Die Antworten von Leistungstests können entweder richtig oder falsch sein. Bei Persönlichkeitstests existieren dagegen keine richtigen oder falschen Antworten. Sie sind im Gegensatz zu Leistungstests so konstruiert, dass dabei Persönlichkeitsmerkmale im Mittelpunkt stehen. Essenziell sind eher Fragen wie sich Menschen Verhalten, bzw. wie ihre Gewohnheiten oder Einstellungen sind.¹⁹ Leistungstests verlangen hingegen Konzentration, Lösungsorientiertheit, Schnelligkeit, Talent, Können oder Ausdauer.²⁰

[...]

¹ Brickenkamp 1975.

² Vgl. Bühner 2011, S. 31.

³ Vgl. Moosbrugger und Kelava 2020, S. 13–18.

⁴ Vgl. Rosenthal 1969.

⁵ Vgl. Moosbrugger und Kelava 2020, S. 13–27.

⁶ Vgl. Moosbrugger und Kelava 2020, S. 28–30.

⁷ Vgl. Moosbrugger und Kelava 2020, S. 30–32.

⁸ Vgl. Cronbach, L. J. & Meehl 1955.

⁹ Vgl. Moosbrugger und Kelava 2020, S. 31–33.

¹⁰ Vgl. Moosbrugger und Kelava 2020, S. 36.

¹¹ Vgl. Moosbrugger und Kelava 2020, S. 41.

¹² Vgl. Pospeschill 2010, S. 35–36.

¹³ Vgl. Pospeschill 2010, S. 36.

¹⁴ Vgl. Pospeschill 2010, S. 36.

¹⁵ Vgl. Büttner 2008, S. 284.

¹⁶ Vgl. Moosbrugger und Kelava 2020, S. 41–43.

¹⁷ Vgl. Pospeschill 2010, S. 35–36.

¹⁸ Vgl. Pospeschill 2010, S. 36.

¹⁹ Vgl. Moosbrugger und Kelava 2020, S. 44–51.

²⁰ Vgl. Rost 2004, S. 43.