Testkonstruktion zum Thema Lernfähigkeit. Wie sollte ein erfolgreicher Test aussehen?

Inhaltsverzeichnis

Abkürzungsverzeichnis

Abbildungsverzeichnis

1. Einleitung

2. Theoretische Grundlagen
2.1 Grundlagen der Testtheorie und Testkonstruktion
2.1.1 Beschreibung Test
2.1.2 Klassifikationen von Tests
2.1.3 Gütekriterien
2.1.4 Ablauf der Testplanung und Testkonstruktion
2.2 Grundlagen der Lernfähigkeit
2.2.1 Begriffsbestimmung Lernfähigkeit
2.2.2 Lerntests

3. Methodisches Vorgehen
3.1 Testplanung
3.2 Testkonstruktion

4. Diskussion

5. Fazit und Ausblick

Anhang

Literaturverzeichnis

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

Abbildungsverzeichnis

Abb.1: Gegenstandsbereich der Testtheorie

Abb.2: Planungsphasen

Abb.3: Konstruktionsphasen

Abb.4: Dimensionale Analyse des Konstruktes „Lernfähigkeit“

Abb.5: Abschnitt Fragebogen

1. Einleitung

Gerade in der heutigen Zeit kann nur der ständig lernende Mensch den Anforderungen seiner Umwelt gerecht werden. Vor allem im beruflichen Kontext wird deswegen umso mehr die Fähigkeit sowie die Bereitschaft Neues zu lernen vorausgesetzt.¹ In einer immer wachsenden und wandelnden Arbeitswelt scheint also die Kompetenz zur Lernfähigkeit vor allem auf Seiten der Arbeitnehmer aber auch seitens der Arbeitgeber unverzichtbar. Deswegen wird im Rahmen dieser Hausarbeit ein Test bzw. Fragebogen konzipiert, der das Konstrukt „Lernfähigkeit“ mit all seinen relevanten Aspekten misst. Ziel hierbei ist es, die Lernfähigkeit von BewerberInnen des Versicherungsunternehmens „Kraft“ zu beurteilen. Dadurch können die geeignetsten BewerberInnen systematisch selektiert respektive rekrutiert werden. Infolgedessen können Ressourcen, wie vor allem Zeit und Aufwand, seitens des Arbeitgebers „Kraft“ gespart werden. Die vorliegende Hausarbeit ist so konzipiert, dass zunächst allgemeine theoretische Grundlagen hinsichtlich der Testtheorie und Testkonstruktion sowie auch theoretische Grundlagen bezüglich des Konstruktes „Lernfähigkeit“ veranschaulicht werden. Vor allem die Möglichkeiten zur Erprobung der ersten Testversion als auch die Reihenfolge der Items bzw. Fragen werden hier näher betrachtet. Ferner werden in diesem Kapitel auch Aspekte beschrieben, welche die Länge der Tests beeinflussen. Im anschließenden Kapitel wird das methodische Vorgehen, also die Testplanung und die Testkonstruktion, mit all seinen Facetten veranschaulicht. Hier werden nochmals die genannten Schwerpunkte des theoretischen Teils praktisch veranschaulicht. Nach dem Praxisteil folgt eine Diskussion, bei der vor allem das methodische Vorgehen kritisch diskutiert wird. Im letzten Kapitel dieser Hausarbeit erfolgt dann ein Fazit und Ausblick.

2. Theoretische Grundlagen

2.1 Grundlagen der Testtheorie und Testkonstruktion

2.1.1 Beschreibung Test

Zunächst lässt sich feststellen, dass unter einem psychologischen Test ein wissenschaftliches Routineverfahren zur Erfassung eines oder mehrerer empirisch abgrenzbarer psychologischer Merkmale zu verstehen ist. Ein solcher Test verfolgt das Ziel, eine möglichst genaue quantitative Aussage über den Grad der individuellen Merkmalsausprägung des Testobjektes zu machen.² Solche Testobjekte sind in der Regel Einzelpersonen, können aber auch Gruppen oder Organisationen sein. Im Rahmen des Tests werden dem Testobjekt konkrete Stimuli vorgegeben, auf die er reagiert. Bilder, Aussagen oder Fragen stellen gängige Stimuli bei psychologischen Tests dar. Die Reaktion auf den Stimulus wird maßgeblich von dem Personenmerkmal beeinflusst. Aufgrund der Reaktion bzw. dem Verhalten können dann Rückschlüsse auf das Personenmerkmal geschlossen werden.³ Die folgende Abbildung veranschaulicht dies.

Abbildung in dieser Leseprobe nicht enthalten

Abb.1: Gegenstandsbereich der Testtheorie Quelle: Eigene Darstellung

Es gilt in diesem Zusammenhang anzumerken, dass zwischen dem Stimulus und der Reaktion kognitiven Prozesse, wie zunächst das Verständnis und das entsprechende Abrufen, Urteilen sowie Antworten stattfinden. Solche kognitiven Prozesse sind bei der Testkonstruktion zu beachten.⁴ Im Gegensatz zu reinen Naturwissenschaften sind in der Psychologie (meistens) latente und nicht­sichtbare Konstrukte Gegenstand der Forschung.

2.1.2 Klassifizierungen von Tests

Zunächst ist festzustellen, dass die dem jeweiligen Test zugrunde liegenden Theorien grundsätzlich in die klassische Testtheorie (KTT) und die Item­Response Theorie (IRT) unterteilt werden. Während es bei der KTT darum geht, lineare Zusammenhänge zwischen kontinuierlichen Itemvariablen und latenten Variablen herauszufinden, geht es bei der IRT darum, logistische Zusammenhänge zwischen kategorialen Itemvariablen und latenter Variablen herauszufinden. Die meisten heute gängigen Tests und Fragebögen liegen der KTT zugrunde.⁵

Die Tests selbst lassen sich unter anderem nach der Art des zu erfassenden Merkmals klassifizieren. Hier wird zwischen Leistungstests und Persönlichkeitstests differenziert, wobei unter Leistungstests beispielsweise Intelligenztests, Entwicklungstests oder Konzentrationstest fallen, während beispielsweise das Erfassen von Motiven, Einstellungen oder Eigenschaften den Persönlichkeitstests zuzuordnen sind. Leistungstests lassen sich nochmals in Speedtests (Schnelligkeits- oder Geschwindigkeitstests) und Powertests (Niveautests) gliedern. Persönlichkeitstests hingegen lassen sich nochmals in objektive und projektive Verfahren gliedern. Ferner lassen sich Tests auch nach der Art der Itembeantwortung unterteilen. Sofern die Antwortalternativen vorgegeben sind wird dies als „gebundene Itembeantwortung“ bezeichnet. Die Fragen sind demnach geschlossen und die Antwortformate entweder in dichotome oder Ratingskalen sozusagen verpackt. Wenn das Testobjekt bzw. der Proband selbst eine Antwort auf die Frage finden muss und entsprechend keine Antwortalternativen vorgegeben sind wird dies als „freie Itembeantwortung“ bezeichnet.⁶ Bei Fragebögen wird zudem nach dem Grad der Standardisierung differenziert. So existieren standardisierte, halbstandardisierte und nicht­standardisierte Fragebogen, wobei vor allem standardisierte Fragebögen in der quantitativen Forschung zum Einsatz kommen. Solche standardisierte Fragebögen gehen in der quantitativen Forschung mit einer gebundenen Itembeantwortungen einher.⁷ Ferner lassen sich Tests in statusdiagnostische und prozessdiagnostische Verfahren gliedern. Statusdiagnostische Tests gehen davon aus, dass die gemessene Lernfähigkeit (innerhalb seiner Bezugsgruppe) relativ gleich bleibt. Prozessdiagnostische Tests hingegen möchten ganz allgemein das Konstrukt als Prozess verstehen sowie bedeutsame Zeit- und Bedingungsvariablen, welche sich auf die Lernfähigkeit auswirken, erfassen. Bei der Prozessdiagnostik erfolgt eine mehrmalige Messung. Grundlegendes Ziel hierbei, unabhängig vom jeweiligen Forschungskontext, ist die Diagnose der Veränderung innerhalb eines Prozesses unter Berücksichtigung aller relevanten Variablen.⁸

2.1.3 Gütekriterien

Voraussetzung für die wissenschaftliche Erfassung und Interpretation von interindividuellen Unterschieden ist das Einhalten von Gütekriterien, wobei Objektivität, Reliabilität und Validität die Hauptgütekriterien darstellen. Unter Objektivität ist der Grad der Unabhängigkeit der Testergebnisse von der untersuchenden bzw. forschenden Person zu verstehen. Sie lässt sich nochmals in Durchführungsobjektivität, Auswertungsobjektivität und Interpretationsobjektivität gliedern. Unter Reliabilität ist die Genauigkeit einer Messung zu verstehen. Je größer die Einflüsse von zufälligen Messfehlern sind, desto weniger reliabel ist das Ergebnis. Die Reliabilität lässt sich nochmals in Retestreliabilität, Paralleltestreliabilität und Testhalbierungsreliabilität gliedern. Mit Validität ist die Gültigkeit gemeint. Sie gibt demnach Auskunft darüber, ob und inwieweit der Test das misst, was er vorgibt zu messen. Die Validität lässt sich nochmals in Inhaltsvalidität, Kriteriumsvalidität, Konstruktionsvalidität und Augenscheinvalidität gliedern. Ferner existieren noch weitere Unterformen der Validität, wie z.B. die Augenscheinvalidität. Neben diesen Hauptgütekriterien stellen Ökonomie, Nützlichkeit, Fairness, Zumutbarkeit und Unverfälschbarkeit Nebengütekriterien dar.⁹ Da die nähere Betrachtung dieser Nebengütekriterien sowie der jeweiligen Unterformen der Hauptgütekriterien den limitierten Rahmen dieser Hausarbeit überziehen würde, wird auf diese nicht näher eingegangen. Im Rahmen eines Tests sollten alle diese Gütekriterien möglichst eingehalten werden, wobei vor allem auf die Einhaltung der Validität zu achten ist, da dies das wichtigste Gütekriterium darstellt.¹⁰ Bei Nicht- Beachten der Hauptgütekriterien können Messfehler entstehen, welche das Ergebnis stark verzerren und entsprechend unbrauchbar machen.

2.1.4 Ablauf der Testplanung und Testkonstruktion

Testplanung

Bevor ein Test konstruiert wird erfolgt zunächst eine Planung hinsichtlich des gesamten Vorgehens. Hierbei wird das zu erfassende Merkmal zunächst operationalisiert. Im Rahmen der Operationalisierung findet eine dimensionale Analyse statt, bei der das zu erhebende Merkmal zunächst genauer eingegrenzt wird, bevor anschließend die Indikatoren abgeleitet werden. Hierbei wird also das Merkmal bzw. die Variable in seine Dimension(-en) und den dazugehörigen Indikatoren unterteilt, um es so letztendlich messbar zu machen. Wie bereits angedeutet wird im Rahmen der Operationalisierung zunächst die Art des Merkmals festgelegt. Es kann dabei je nach Intention bzw. Forschungskontext in qualitative oder quantitative Form erfasst werden. Sofern sich die Personen hinsichtlich ihrer Merkmalsausprägung in verschiedene ungeordnete Kategorien einteilen lassen wäre dies ein qualitatives Merkmal. Die dazugehörige Skala ist die Nominalskala. Sofern sich die Merkmalsausprägungen in geordnete Kategorien unterteilen lassen wäre dies ein quantitatives Merkmal. Die dazugehörigen Werte sind mindestens ordinalskaliert. Wenn bereits eine geeignete wissenschaftliche Operationalisierung des Konstruktes vorliegt kann ggfls. auf diese zurückgegriffen werden, was wiederum Zeit und Aufwand einspart.[11]

Nach der Operationalisierung wird die Testart festgelegt. Hierbei wird vor allem zwischen Leistungstests und Persönlichkeitstests unterschieden. Da die jeweiligen Testarten sowie deren Unterformen bereits in dem Kapitel „Klassifikation von Tests“ (2.1.2) erläutert wurden, wird hier nicht näher drauf eingegangen.

Nach der Festlegung der Testart wird der Geltungsbereich und die Zielgruppe festgelegt. Mit Geltungsbereich ist die Anwendungsmöglichkeit und der Einsatzbereich gemeint. Es sollte insbesondere darauf geachtet werden, dass die Informationen, die mit dem Fragebogen erfasst werden können, der ausreichenden Beantwortung der Fragestellung gerecht wird. Die Erschließung bzw. Festlegung des Geltungsbereiches betrifft Aspekte der Validität. Ferner wird zwischen Individualdiagnostik und Screeningverfahren unterschieden. Während ein Screeningverfahren nur grobe Informationen über das zu erfassende Merkmal liefert, wird bei der Individualdiagnostik wesentlich exakter gemessen. Auch die Enge bzw. Weite des Merkmals ist ein relevanter Aspekt. Diesbezüglich lässt sich feststellen, dass je enger ein Merkmal ist, desto genauer kann es erfasst werden. Allerdings ist dann auch der Geltungsbereich kleiner bzw. enger. Es ist in diesem Kontext anzumerken, dass bei einem engen Geltungsbereich die Kriteriumsvalidität gegeben ist. Je nach Zielgruppe werden auch die Items sowie die Antwortalternativen formuliert. Zielgruppen können entweder homogen (gleich) oder heterogen (verschieden) sein. Mit steigender Heterogenität wächst auch die Anforderung an die Testkonstruktion, da der Test für eine Vielzahl unterschiedlicher Testobjekte sozusagen zugänglich sein sollte. Aspekte, welche hinsichtlich der Zielgruppe relevant sein können, wären beispielsweise der Bildungsstand oder die Lesefähigkeit.[12]

Im Anschluss auf die Phase der Festlegung des Geltungsbereiches und der Zielgruppe folgt die Festlegung der Testlänge sowie der Testzeit. Während mit Testlänge die Anzahl der Items gemeint ist, ist die Testzeit durch die Bearbeitungszeit der Items gekennzeichnet. Die Testlänge ist hierbei abhängig vom Geltungsbereich und der Zielgruppe. So genügen bei sehr spezifischen und engen Konstrukten weniger Items, während bei breiten und unspezifischen Konstrukten mehr Items benötigt werden, was entsprechend die Testlänge steigen lässt. Es ist in diesem Kontext anzumerken, dass mit steigender Testlänge auch die Reliabilität steigt. Allerdings ist ab einer gewissen Anzahl der Testitems keine signifikante Steigerung der Reliabilität zu erwarten. Die Testlänge wird zudem durch die Gegebenheit beeinflusst, ob ein Persönlichkeitstest oder Leistungstest vorliegt. Bei Persönlichkeitstest sind die Items in der Regel zwar einfacher, die Testlänge jedoch wesentlich größer als bei Leistungstests. Hinsichtlich der Testzeit muss deswegen vor allem die Testart sowie der Geltungsbereich und die Zielgruppe berücksichtigt werden. Grundsätzlich ist jedoch damit zu rechnen, dass mit steigender Testzeit die Motivation und die merkmalsadäquate Beantwortung der Items bzw. die Bearbeitungsqualität sinkt.¹¹

Die letzte Planungsphase eines Tests wird als „Festlegung der Administrationsart “ bezeichnet. Hierunter ist die Art und Weise, wie ein Test dargeboten und durchgeführt werden soll, gemeint. Dies impliziert die Entscheidung bzw. Festlegung, ob ein Test am Computer, also digital (computerbasierte oder computeradministrierte Tests), oder mit Stift und Papier, also analog (Paper- Pencil- Test), durchgeführt werden soll. Ferner soll im Rahmen dieser Phase festgelegt werden, ob eine Einzel- oder Gruppentestung vorgenommen werden soll. Bei Einzeltestungen ermöglichen eine sehr genaue Überwachung der Testpersonen, benötigen allerdings für jede Testdurchführung einen Testleiter bzw. eine Testleiterin, was es wesentlich aufwändiger und unökonomischer als Gruppentestungen macht. Auch kann zwischen Fremd- und Selbsteinschätzung unterschieden werden. Fremdeinschätzungen sollten im Rahmen von Leistungstest vor allem bei Individualdiagnosen als auch dann zum Einsatz kommen, wenn nicht davon ausgegangen werden kann, dass die Testpersonen in der Lage sind, die Antworten selbst schriftlich zu fixieren. Im Rahmen von Persönlichkeitstest sollten Fremdeinschätzungen dann zum Einsatz kommen, wenn die Testperson nicht über ausreichend Selbstreflektion oder Einsicht verfügt, um die Items zu beantworten. Auch können Fremdeinschätzungen bei Persönlichkeitstests dann zum Einsatz kommen, wenn starke Antwortverzerrungen zu erwarten sind, wie z.B. bei Begutachtungsprozessen.¹² Die folgende Abbildung veranschaulicht nochmals die Phasen der Testplanung.

Abbildung in dieser Leseprobe nicht enthalten

Abb.2: Planungsphasen

Quelle: Eigene Darstellung in Anlehnung an Moosbrugger, Kelava (2020), S.41-54

[...]

¹ Vgl. Stangel- Meseke (2005), S.7

² Vgl. Lienert, Raatz (1998), S.1

³ Vgl. Kerlinger (1964), S.845

⁴ Vgl. Tourangeau, Rips, Rasinki (2000), S.u.

⁵ Vgl. Eid, Schmidt (2014), S.39

⁶ Vgl. Rentzsch, Schütz (2009), S.183-184

⁷ Vgl. Döring, Bortz (2016), S.399

⁸ Vgl. Stangel- Meseke (2005), S.26-31

⁹ Vgl. Moosbrugger, Kelava (2020), S.17-35

¹⁰ Vgl. Doff (2016), S.124

¹¹ Vgl. Moosbrugger, Kelava (2020), S.51-52

¹² Vgl. Moosbrugger, Kelava (2020), S.53-54; Pospechill (2010), S.36-38