Entwicklung und Erprobung eines lernzielorientierten Leistungstests 'Grundwissen Energie'

Inhaltsverzeichnis

1.Einleitung

2.Testentwurf

3.Konstruktion des lernzielorientierten Leistungstests
3.1.Aufgabenkonstruktion
3.2.Zusammenstellung der einzelnen Items zum Test
3.3.Festlegung der Aufgabenbewertung

4.Datenerhebung und Datenerfassung

5.Ergebnisse
5.1.Normalverteilung der erreichten Gesamtpunktzahl
5.2.Häufigkeitsverteilung der erreichten Gesamtpunktzahl
5.3.Häufigkeitsverteilung der einzelnen Items

6.Analyse des konstruierten Leistungstests
6.1.Objektivität
6.2.Reliabilität
6.3.Schwierigkeit
6.4.Trennschärfe
6.5.Validität

7. Vorschläge für eine Testrevision

8.Literaturverzeichnis

9.Anhang
9.1.Test zum Thema Wissen im Bereich nutzbarer Energien
9.2.Zusammenfassung der Feinlernziele
9.3.SPSS Ausgaben der Reliabilitätsanalyse

10. Erklärung

1. Einleitung

Im Rahmen eines Methodenpraktikums vom Institut für Psychologie Schwerpunkt Methoden wurde ein lernzielorientierter Leistungstest zum Thema „Grundwissen Energie“ entwickelt. Die Aufgabenschwerpunkte umfassten den Entwurf, die Konstruktion, die Erprobung sowie die Analyse der Testergebnisse. Die vorliegende Hausarbeit unternimmt den Versuch, anhand des im Methodenpraktikums entwickelten Leistungstests „Grundwissen Energie“, den wissenschaftlichen Forschungsablauf einer Testkonstruktion darzulegen.

Der Aufbau der Hausarbeit orientiert sich am Forschungsablauf einer Testkonstruktion und gliedert sich wie folgt:

Die Definition des Testziels, die Bestimmung der Testpopulation, des Testtyps und die Bestimmung der Teststruktur fallen in die Phase des Testentwurfs. Mit dieser Phase wird sich der erste Abschnitt dieser Arbeit befassen.

Im zweiten Abschnitt wird die Phase der Aufgabenkonstruktion behandelt. Anhand der entworfenen Teststruktur werden Fragen nach der Auswahl einzelner Aufgabenformen (offene vs. geschlossene), der Erstellung der einzelnen Items bezogen auf die ausgearbeitete Lernzielmatrix sowie der Bewertung der einzelnen Items betrachtet. Die Zusammenstellung aller konstruierten Items stellt den Leistungstest „Grundwissen Energie“ dar.

Daran anschließend finden sich die Datenerhebung, die Datenerfassung sowie einige deskriptive statistische Auswertungen der Ergebnisse. Die Durchführung und Ergebnisse der Reliabilitätsanalyse stellen den vierten Abschnitt dieser Hausarbeit dar. Hierbei wird näher auf die Hauptgütekriterien eines Tests – die Objektivität, die Reliabilität und der Validität – eingegangen.

Die Analyse der Erprobungsstichprobe verfolgt unter anderem den Zweck, den konstruierten Test im Hinblick auf eine höhere Reliabilität und Validität anzupassen. Die Ergebnisse der Aufgabenanalyse stellen daher Vorschläge einer Testrevision dar. Eine Zusammenfassung und Diskussion der Vorschläge für die Revision des im Methodenpraktikum entwickelten Leistungstests finden sich im abschließenden Abschnitt.

Das Literaturverzeichnis, der Anhang sowie die Erklärung zur erbrachten Eigenleistung schließen diese Hausarbeit ab.

2. Testentwurf

Vor der Konstruktion des Leistungstests muss sich der Testentwickler zuerst mit Fragen über die Planung und dem Entwurf des Messinstrumentes beschäftigen. In diesem Zusammenhang werden folgende Fragen bedeutsam:

Was für ein Test soll konstruiert werden? Ein Intelligenztest, ein Leistungstest oder ein Persönlichkeitstest? Ein Niveau- oder Geschwindigkeitstest? Was möchte ich mit dem Test messen? Welche Zielgruppe soll angesprochen werden? Findet sich in der Fachliteratur ein vergleichbarer Test, auf den aufgebaut werden kann? Welche formale und inhaltliche Struktur sollen die Fragen und Antworten besitzen?

Die erste Frage, was für ein Test konstruiert werden soll, wurde durch die Aufgabenstellung vorgegeben. Es handelt sich um einen lernziel- und kriteriumsorientierten Leistungstest zum Thema „Grundwissen Energie“.

Dabei handelt es sich um einen Niveautest, bei dem keine Zeitbegrenzung bei der Bearbeitung des Fragebogens bestand. Der Test wurde als Paper-Pencil-Test konstruiert. Testziel ist, den Kenntnisstand im Bereich Energiewissen zu erforschen. Durch den vorgegebenen Testtyp „Leistungstest“ ist der Validitätsbereich klar umgrenzt. Lienert sagt hierzu: „In diesen Fällen verbürgt der Testinhalt gewissermaßen die Validität des Testes. Was der Test prüft, sagt der Test selbst, er ist logisch valide.“ (1969, S. 53)

Unter Berücksichtigung der Möglichkeit im Rahmen des Methodenpraktikums wurden alle Personen die mindestens 18 Jahre alt sind als mögliche Zielgruppe ausgesucht.

Ein Gütekriterium für Tests ist die Nützlichkeit. In Vorbereitung auf das Methodenpraktikum wurde eine Literaturrecherche nach vergleichbaren Leistungstests zum Konstrukt „Energiewissen“ durchgeführt. Es wurden keine vergleichbaren Tests gefunden. Womit die Nützlichkeit des Leistungstest „Grundwissen Energie“ gegeben ist.

Die letzte Frage zielt auf die Überlegung ab, wie das Konstrukt „Energiewissen“ operationalisiert werden kann. Die Aufgabenstellung sah die Erstellung einer Lernzielmatrix vor. Die formale Form der Antworten – offene und geschlossene Antwortformen – wurde ebenfalls durch die Aufgabenstellung vorgegeben.

Der konstruierten Lernzielmatrix liegt die Taxonomie von Lernzielen im kognitiven Bereich von Bloom (1956) zu Grunde. Bloom und seine Mitarbeiter entwickelten die Matrixmethode nach Tyler weiter.^[1]

In der für den Leistungstest „Grundwissen Energie“ entwickelten Lernzielmatrix stellen die Spalten die drei kognitiven Bereiche Wissen, Verstehen und Anwenden dar. Der Inhalt der Lernziele geht vom Allgemeinen (z.B. bekannte Energieformen) über zu dem Speziellen (z.B. Treibhauseffekt) bis hin zur Umweltproblematik.

Mit Hilfe der erstellten Lernzielmatrix wurden die einzelnen Feinlernziele formuliert. Diese finden sich im Anhang dieser Hausarbeit. Um die Schwierigkeit des Testsbogens nicht zu schwer bzw. zu leicht zu wählen, wurde versucht eine Ausgeglichenheit bei der Verteilung der einzelnen Items in der Lernzielmatrix zu erhalten.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Verteilung der Feinlernziele in der erstellten Lernzielmatrix für das Konstrukt „Energiewissen“

Aufbauend auf den konstruierten Feinlernzielen wurden die Testaufgaben des Leistungstests „Grundwissen Energie“ erstellt.

3. Konstruktion des lernzielorientierten Leistungstests

Die Konstruktion des Leistungstests umfasste die Umwandlung der Teststruktur in konkrete Aufgaben, den provisorischen Testaufbau durch die Zusammenstellung aller Items zu einem gemeinsamen Test, sowie die Festlegung der Aufgabenbewertung.

3.1. Aufgabenkonstruktion

Die erstellten Feinlernziele aus der Phase des Testentwurfes stellen das Aufgabenkonzept für die konkreten Testaufgaben dar. Ausgehend von diesem Aufgabenkonzept wurden die einzelnen Testaufgaben formuliert.

Um eine inhaltliche Abgrenzung der einzelnen Aufgaben zu erreichen, wurden die Fragen zuerst umgangsprachlich formuliert. Daran schloss sich die Selektion des Aufgabentyps an. Diese erfolgte nach den Gesichtspunkten der Vor- und Nachteile einzelner Aufgabentypen bezüglich der Aufgabenreliabilität, -objektivität und -validität sowie der Auswertungsökonomie. Um eine geringe Ratewahrscheinlichkeit zu erreichen, wurden Antwort-Auswahl-Aufgaben mit 3 bis maximal 5 Auswahlantworten konstruiert.

Bei der endgültigen Formulierung der einzelnen Aufgaben wurde versucht, die Regeln für den sprachlichen Aufbau einer Testaufgabe möglichst gut umzusetzen.^[2] Besonderes Augenmerk lag dabei auf den folgenden Aspekten:

- möglichst kurze Formulierungen: Lange und komplexe Formulierungen können zu viele unterschiedliche, verwirrende Stimuli für den Befragten enthalten.
- nur einen sachlichen Inhalt oder Gedanke je Aufgabe
- Doppeldeutigkeit der Begriffe vermeiden
- Vermeidung eines Halo-Effektes: Es muss sichergestellt werden, dass der Kontext einer Frage sich nicht auf deren Beantwortung auswirkt. Ein hervorstechendes Einzelmerkmal beeinflusst neben der Beantwortung der aktuellen Frage auch die Beantwortung der Folgefragen.
- Vermeidung von hypothetischen Konstrukten und Suggestionsfragen
- Erschöpfende und disjunkte Antwortkategorien

3.2. Zusammenstellung der einzelnen Items zum Test

Bei der Zusammenstellung der einzelnen Aufgaben zu einem Test sind Gesichtspunkte bezüglich der Reihenfolge von Bedeutung. Je nach Reihenfolge können Positions- und Reihenfolgeeffekte auftreten.

Die Position kann infolge der Platzierung des Items im Test die Schwierigkeit oder ein anderes Merkmal des Items (zum Beispiel die Trennschärfe) verändern. Diese Positionierungseffekte sind besonders am Testanfang (mangelndes Instruktions-verständnis) oder am Testende (Ermüdung, Testmotivation wird geringer) zu finden.

Die Beantwortung eines Items kann durch ein zuvor bearbeitetes Item beeinflusst werden. Befragte wollen zum Beispiel Widersprüche in ihren Antworten vermeiden. Diesen Reihenfolgeeffekten wird bei vielen Leistungs- und Intelligenztest entgegen gewirkt, indem die Aufgaben nach aufsteigender Schwierigkeit geordnet sind.

Die Zusammenstellung der einzelnen Aufgaben erfolgte im konkreten Fall ohne eine Berücksichtigung der oben erwähnten Gesichtspunkte. In einer Testrevision sollte der konstruierte Leistungstest auf mögliche Positionierungs- und Reihenfolgeeffekte überprüft werden.

Lienert schlägt vor, dass bei der Zusammenfassung der einzelnen Items „leichte (RF-) und schwere (EG-) Aufgaben wechselweise aufeinander folgen.“^[3] (1969, S.37). Bei der Erstellung der Feinlernziele wurde versucht, diesem Aspekt Rechnung zu tragen. Die Aufgaben wurden so zusammengestellt, dass leichte und schwere Aufgaben wechselweise aufeinander folgen.

3.3. Festlegung der Aufgabenbewertung

In der Phase des Testentwurfes wurde eine Lernzielmatrix, beruhend auf der Lernzieltaxonomie von Bloom erstellt. Bloom klassifiziert die Lernziele auf verschiedenen Leistungsniveaus bzw. auf verschiedenen Levels der Komplexität. Der Grad an Komplexität der einzelnen Klassen (Leistungsniveau) nimmt nach oben hin zu. Dieser Ansatz findet sich bei der Auswahl der Aufgabenbewertung wieder. Aufgaben der Spalte Wissen werden mit einem Gewicht von 1 bewertet. Aufgaben aus der Spalte Verstehen besitzen nach Bloom einen höheren Komplexitätsgrad als die Wissensaufgaben, so dass diese Aufgaben mit einem Gewicht von 2 bewertet werden. Alle restlichen Aufgaben werden mit einem Gewicht von 3 bewertet.

Durch die Aufgabenteilung in der Arbeitsgruppe und die Unerfahrenheit seitens der Testentwickler kam es zu einer Redefinition der Zuordnung in der Lernzielmatrix. Die Verteilung der Gewichtung bei der Bewertung weicht dadurch von der zuvor erstellten Lernzielmatrix ab.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Einordnung der Feinlernziele nach Bewertungsgewicht

In einer Testrevision sollte dieses Bewertungsmuster überarbeitet werden, um Verteilungsirregularitäten zu vermeiden. Lienert bemerkt zum Stichwort Bewertungsmuster: „Um Verteilungsirregularitäten zu vermeiden, sollten jedoch nicht mehr als ein Viertel der Aufgaben mit 2 Punkten und nicht mehr als ein Achtel mit 3 Punkten verrechnet werden.“ (1969, S.61)

4. Datenerhebung und Datenerfassung

Die Datenerhebung erfolgte mit Hilfe des zuvor konstruierten Fragebogens. Die befragten Personen unterlagen keiner Kontrolle während der Befragung. Eventuelle Zusammenarbeit und Hilfestellung konnten daher nicht ausgeschlossen werden.

Es handelt sich um ein Niveautest (Power-Test). Es bestand keine Zeitbegrenzung bei der Bearbeitung des Fragebogens. Die durchschnittliche Bearbeitungszeit beträgt ca. 20 Minuten, wenn man davon ausgeht, dass eine Multiple-Choice-Aufgabe durchschnittlich eine Minute Bearbeitungsaufwand in Anspruch nimmt. Die tatsächlich benötigte Bearbeitungszeit wurde nicht erfasst.

Neben den während des Methodenpraktikums in Hagen-Holthausen aufgenommenen 14 Datensätzen wurden weitere Befragungen mit Hilfe des Fragebogens von jedem Kommilitonen der Arbeitsgruppe aufgenommen. Insgesamt umfasst die Erprobungsstichprobe 64 Datensätze.

Die Datenerfassung erfolgte mittels SPSS. Die Daten aus den verteilten Fragebögen wurden mit Hilfe einer Musterlösung in SPSS erfasst. Eine Musterlösung des Fragebogens findet sich im Anhang. An die Erfassung und Eingabe der Daten schloss sich eine Datenvalidierung an. Im Zuge dieser Datenbereinigung wurden Schreib-, Codier- und Übertragungsfehler behoben.

5. Ausfälle ergaben sich durch eine vorsätzliche Manipulierung der codierten Daten. Diese Fragebogenergebnisse wurden nicht mit Hilfe des Fragebogens „Grundwissen Energie“ aufgenommen, weswegen sie keine Berücksichtigung in der Datenmatrix erfahren haben. Es kam zum Ausfall von fünf Datensätzen.Ergebnisse

64 Fragebögen waren auswertbar. Das Durchschnittsalter der Befragten in der Stichprobe betrug 40,1 Jahre. Im Durchschnitt wurde eine Gesamtpunktzahl von 46,8 Punkten erreicht. Die Rücklaufquote konnte nicht ermittelt werden, da die Anzahl der verteilten Fragebögen nicht erfasst wurde.

5.1. Normalverteilung der erreichten Gesamtpunktzahl

Die Darstellung der Häufigkeitsverteilung für die erreichte Gesamtpunktzahl ergab erste Hinweise auf eine Normalverteilung der erreichten Punkte im Leistungstest „Grundwissen Energie“.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3 : Häufigkeitsdiagramm „Erreichte Gesamtpunkt“ mit Normalverteilungskurve

Das dargestellte Q-Q Diagramm zeigt einen nicht sehr engen Verlauf um die Normalitätsgerade. Bei einer Normalverteilung wird ein Verlauf, eng um die Normalitätsgerade dargestellt. Die erreichte Gesamtpunktzahl der Probanden kann daher nicht als hinreichend genau normalverteilt angesehen werden.^[4]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 4: Normal Q-Q Plots der erreichten Gesamtpunktzahl

5.2. Häufigkeitsverteilung der erreichten Gesamtpunktzahl

Mit Hilfe eines Box-Plot wurde eine Charakterisierung der Häufigkeits-Verteilung der erreichten Gesamtpunktzahl durchgeführt.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 5: Q-Q Plot

Spannweite: weiblich = 26 (Differenz zwischen 32 und 58), männlich 31 (Differenz zwischen 25 und 56). Die Mediane weichen geringfügig voneinander ab. Die Ergebnisse der männlichen Befragten sind durch Ausreißer und Extremwerte gekennzeichnet.

5.3. Häufigkeitsverteilung der einzelnen Items

Die Häufigkeitsverteilungen der Antworten auf die einzelnen Items sind auf dem im Anhang befindlichen Fragebogen eingetragen.

6. Analyse des konstruierten Leistungstests

6.1. Objektivität

Die Durchführungsobjektivität ist nicht vollständig gewährleistet. Den Probanden wurden die gleichen Testaufgaben vorgelegt, jedoch liegt keine Testinstruktion vor, mit der die standardisierte Durchführungsweise gewährleistet werden kann.

Die Auswertungsobjektivität ist durch die erstellte Musterlösung gegeben. Die Festlegung genauer Kriterien, die eine eindeutige Einstufung des Kurzaufsatz-Items (Frage 13 des Fragebogens „Grundwissen Energie“) zulassen, erhöhen die Auswertungsobjektivität zusätzlich. Die Festlegung dieser Kriterien sollte im Rahmen der Testrevision erfolgen.

Die Interpretationsobjektivität konnte nicht ermittelt werden. Diese Art der Objektivität „ist dann gegeben, wenn verschiedene Beurteiler das gleiche Auswertungsergebnis unabhängig voneinander in gleicher Weise interpretieren.“ (Birkel, 1976). Eine solche Beurteilung ist im Rahmen dieser Hausarbeit nicht erfolgt. Eine Testinstruktion, welche die Interpretationsobjektivität erhöht, sollte im Rahmen einer Testrevision erstellt werden.

6.2. Reliabilität

Die Interne Konsistenz wurde mit Hilfe des CRONBACH’s Alpha ermittelt. Sie liegt bei .56. Der entwickelte Leistungstest ist nicht reliabel. Der Ausschluss aller Items mit einem negativen Trennschärfe-Koeffizient erhöhte den Reliabilitätskoeffizienten auf .68. Werden in der Testrevision die Items mit negativen Trennschärfe-Koeffizienten ausgeschlossen, kann die Reliabilität für eine Testerprobung als ausreichend betrachtet werden.

6.3. Schwierigkeit

Der Schwierigkeitsindex dient der Messung und der Bewertung des Schwierigkeits-grades von Aufgaben, Fragen und Items im Kontext eines Testes. Eine Aufgabe erscheint im statistischen Sinne als „schwierig“, wenn vergleichsweise wenig Befragte sie bejahend beantworten. Der Schwierigkeitsindex ist bei dieser statistischen Betrachtung bei schwierigen Aufgaben niedrig, bei leichten hoch.

Der Schwierigkeitsindex lässt sich mit Hilfe der Formel berechnen:

Abbildung in dieser Leseprobe nicht enthalten

NR stellt die Anzahl der Probanden, welche die Aufgabe richtig beantwortet haben, dar. N ist die Stichprobengröße.^[5]

Der (Item-) Schwierigkeitsindex des im Methodenpraktikum erstellten Leistungstests beträgt 69,06%. Der Leistungstest muss als zu leicht bezeichnet werden. Der Schwierigkeitsindex der einzelnen Items liegt zwischen 4,69% und 98,44%. Die leichten Aufgaben, d.h. Aufgaben mit einem hohen Schwierigkeitsindex, überwiegen.

6.4. Trennschärfe

Die Trennschärfe eines Items kennzeichnet, wie gut oder wie schlecht das einzelne Item zwischen Probanden mit guten Leistungen und Probanden mit schlechten Leistungen differenziert. Die durchgeführte Reliabilitätsanalyse ermittelt für jedes Item einen korrigierten Trennschärfe-Koeffizienten, welcher mit der Technik des Trennschärfe-Koeffizienten berechnet wird.^[6]

Ein hoher Koeffizient differenziert die guten Probanden und die schlechten Probanden gut. Ein Trennschärfekoeffizient um Null bringt zum Ausdruck, dass die Aufgabe von guten und schlechten Probanden etwa gleich häufig richtig beantwortet wird. Ein negativer Koeffizient kennzeichnet ein nicht brauchbares Item. Das Item wird von guten Probanden verfehlt und von schlechten Probanden richtig beantwortet. Items mit geringer, negativer oder fehlenderer Trennschärfe sollten aus dem erstellten Fragebogen entfernt werden.

Insgesamt ist die Trennschärfe des Fragebogens als sehr gering einzuschätzen. Die Items 3_2, 6_2, 8_5, 10_3, 12 und 15_3 besitzen einen negativen Trennschärfe- Koeffizienten. In der Testrevision sollten diese Items daher unbedingt hinsichtlich der Formulierung, Auswahl von Distraktoren etc. bearbeitet werden. Ein Ausschluss dieser Items sollte in Betracht gezogen werden. Eine Bewertung der restlichen Items aus dem Fragebogen wird an dieser Stelle nicht vorgenommen. Durch die große Anzahl von Items mit einem negativen Trennschärfe-Koeffizienten, sollten zuerst diese Items in der Testrevision berücksichtigt werden. Eine weitere Erprobungsstichprobe nach der Testrevision liefert aussagekräftigere Werte zu den restlichen Items.

6.5. Validität

Konstruktvalidität: Durch die Aufteilung in drei Schwerpunktgebiete (allgemeine Fragen, spezielle Fragen zum Treibhauseffekt, Fragen zur Umweltproblematik) wurde versucht, die Kenntnisse im Bereich „Energiewissen“ zu messen. Dabei besitzen die leichten Aufgaben zu Beginn des Tests einen Motivationsaspekt. Der Proband sollte für die weitere Beantwortung der Fragen motiviert werden. Die Aufgabenstellungen wurden möglichst einfach und kurz gehalten, um nicht die Lesefähigkeit oder Aufnahmefähigkeit der Probanden zu messen.

Die Inhaltsvalidität konnte nicht festgestellt werden. Hierfür ist eine externe Validitätsprüfung erforderlich. Der konstruierte Leistungstest wird Experten vorgelegt, die beurteilen sollen, inwieweit die Testaufgaben eine repräsentative Auswahl aus dem zu erfassenden Konstrukt „Energiewissen“ darstellen.

Die Übereinstimmungsgültigkeit konnte nicht ermittelt werden. Eine Literaturrecherche im Vorfeld des Methodenpraktikums lieferte keinen vergleichbaren Leistungstest zum Konstrukt „Energiewissen“.

7. Vorschläge für eine Testrevision

Um die Durchführungsobjektivität bei einer Testrevision zu gewährleisten, wird die Erstellung einer Testinstruktion empfohlen. Eine Testinstruktion ermöglicht es, den entwickelten Test unter standardisierten Bedingungen durchzuführen.^[7]

Die Zusammenstellung der einzelnen Aufgaben zum Leistungstest „Grundwissen Energie“ berücksichtigte die Empfehlung von Lienert, leichte und schwere Aufgaben wechselweise aufeinander folgen zulassen. Positionseffekte und Reihenfolgeeffekte wurden nicht gesondert berücksichtigt. Eine Überprüfung des Tests auf diese Effekte wird daher empfohlen. Um z.B. eine Demotivierung der Probanden zu verhindern, wird empfohlen, das Kurzaufsatz-Item mittig im Testbogen einzufügen und weitere leichte bis mittelschwere, motivierende Testaufgaben in den Test zu integrieren. Eine Erweiterung des Tests mit weiteren Testaufgaben verringert zudem die Ratewahrscheinlichkeit und erhöht die zu erwartende Reliabilität.

In der Reliabilitätsanalyse wurde das Kurzaufsatz-Item (Frage 13 im Fragebogen) nicht berücksichtigt. In der Kürze der Zeit konnten keine genauen Kriterien für die Bewertung des Items zusammengestellt werden. Dies sollte in jedem Falle in einer Testrevision erfolgen.

Weiterhin wird für eine Testrevision empfohlen, das gewählte Bewertungsmuster zu überarbeiten. Durch die Gewichtung der einzelnen Items nach Komplexitätsgrad (Wissen, Verstehen, Anwenden) können Verteilungsirregularitäten auftreten.

Die Durchführung der Reliabilitätsanalyse lieferte für einige Items des Leistungstest einen negativen Trennschärfe-Koeffizienten. Betroffen sind die Items 3_2, 6_2, 8_5, 10_3, 12 und 15_3. Es wird empfohlen diese Items hinsichtlich der Auswahl der Antwortform, der Aufgabenformulierung, der Auswahl von Distraktoren und der Auswahl von Antwortintervallen zu überprüfen.

Beispielhaft werden für die drei folgenden Items Verbesserungsvorschläge dargestellt:

- Item 3_2: „Regenerative Energien sind Energien, die in nicht absehbarer Zeit ausgeschöpft sind!“ - Diese Formulierung kann zu Verwirrungen führen. Eine Alternative zur obigen Formulierung wäre: „...sind Energien, die in absehbarer Zeit nicht ausgeschöpft sind!“. Die Alternative besitzt eine eindeutigere Formulierung.

- Item 6 ist eine Zuordnungsaufgabe mit 7 Auswahlmöglichkeiten. Mögliche Verbesserungsvorschläge sind:

- Minderung der Auswahlantworten und/oder eine Zusammenfassung der Auswahlantworten in Intervalle, so das max. 5 Auswahlantworten zur Verfügung stehen.^[8]
- Eine Betrachtung des Trends. Eine Zusammenfassung der vorgegebenen Auswahlantworten in Intervalle unterstützt diese Möglichkeit.

- Item 11: „Füllen Sie die Lücke im folgenden Satz: 20% der Erdbevölkerung, die in den Industrieländern lebt, verbraucht in etwa ...% der heutigen Energieproduktion.“ Hier tritt ein Suggestionseffekt ein. Der Proband ist versucht, aufgrund seines Vollständigkeitsdenkens, 80% einzutragen. Dieser Wert entspricht jedoch auch der richtigen Antwort. Eine bessere Formulierung könnte lauten: „ Füllen Sie die Lücke im folgenden Satz: 1/5 der Erdbevölkerung, die in den Industrieländern lebt, verbraucht in etwa ...% der heutigen Energieproduktion.“

8. Abschließend wird darauf hingewiesen, dass der Stichprobenumfang von 64 Probanden keine repräsentative Stichprobe darstellt.Literaturverzeichnis

BIRKEL, P. und INGENKAMP, K. (1976): Hilfen zur Auswahl von Schultests. Mainz

ECKSTEIN, P. P. (2000): Angewandte Statistik mit SPSS – Praktische Einführung für Wirtschaftswissenschaftler. 3. Auflage. Wiesbaden: Betriebswirtschaftlicher Verlag Dr. Th. Gabler GmbH.

HILKE, R. (1980): Grundlagen normorientierter und kriteriumorientierter Tests – Eine kritische Auseinandersetzung mit der klassischen Testtheorie und den logischen Testmodellen. Bern/Stuttgart/Wien: Verlag Hans Huber.

LIENERT, G. A. (1969): Testaufbau und Testanalyse. 3.Auflage. Weinheim/Berlin/Basel: Verlag Julius Beltz.

PORST, R. (2000): Question Wording – Zur Formulierung von Fragebogen-Fragen. Mannheim: ZUMA Zentrum für Umfragen, Methoden und Analysen, How-To-Reihe, Nr.2.

ROST, J. (2004): Lehrbuch Testtheorie – Testkonstruktion. 2. Auflage. Bern/Göttingen/Toronto/Seattle: Verlag Hans Huber.

SCHNELL, R., HILL, P. B. und ESSER, E. (1999): Methoden der empirischen Sozialforschung. München/Wien: R.Oldenburg Verlag.

STANGL, Taller (2004): Lernzieltaxonomie URL:

http://www.stangl-taller.at/ARBEITSBLAETTER/LERNZIELE/

9. Anhang

Im Anhang dieser Hausarbeit befinden sich die nachfolgenden Unterlagen:

- der konstruierte lernzielorientierte Leistungstest „Grundwissen Energie“ mit Musterlösung und eingetragenen Antwort-Häufigkeiten der einzelnen Items .
- die in der Phase des Testentwurfes erstellten und zusammengefassten Feinlernziele. Auf diese bauen die einzelnen Testfragen auf.
- die Musterlösung zum Leistungstest „Grundwissen Energie“.
- ein Ausdruck der SPSS Ausgabe der Reliabilitätsanalyse.

9.1. Test zum Thema Wissen im Bereich nutzbarer Energien

Methodenpraktikum Holthausen 26.3.2004 – 28.03.04, Arbeitsgruppe 3

Laufende Nr.______

Geschlecht:

- männlich (Häufigkeit: 36)

- weiblich (Häufigkeit: 28)

Alter:_____ (Durchschnittsalter: 40,1)

1. Welche der aufgeführten Energieformen kennen Sie?

Bitte kreuzen Sie an!

(Häufigkeit keine Auswahl: ... 1x)

Abbildung in dieser Leseprobe nicht enthalten

2. Ordnen Sie die folgenden Energien den oben genannten Energieformen zu!

Kennzeichnen Sie mit a), b), c)!

Abbildung in dieser Leseprobe nicht enthalten

3. Welcher der folgenden Definitionen würden Sie zustimmen?

Bitte ankreuzen!

Regenerative Energien sind:

- Energien, die keine nachhaltigen Umweltschäden anrichten!

(Distraktor, Häufigkeit: ausgewählt = 28x, nicht ausgewählt = 36x)

- Energien, die in nicht absehbarer Zeit ausgeschöpft sind!

(Richtigantwort, Häufigkeit: ausgewählt = 31x, nicht ausgewählt = 33x)

- Energien, die im Laufe der Evolution entstanden sind!

(Distraktor, Häufigkeit: ausgewählt = 57x, nicht ausgewählt = 7x)

- wieder aufladbare Batterien/Akkus!

(Distraktor, Häufigkeit: ausgewählt = 53x, nicht ausgewählt = 11x)

4. Bitte kreuzen sie an ob die Aussage zutrifft oder nicht!

1. Atomar Energie ist eine nicht regenerative Energie!

Abbildung in dieser Leseprobe nicht enthalten

2. Nicht regenerative Energien schaden nachhaltig der Umwelt!

Abbildung in dieser Leseprobe nicht enthalten

(Häufigkeit fehlende Auswahl = 1x)

3. Moderne Filteranlagen reduzieren den Ausstoß von CO2 bei der Verbrennung fossiler Energien um 80%!

Abbildung in dieser Leseprobe nicht enthalten

5. Wie hoch schätzen Sie den Anteil regenerativer Energien am gesamt Energieverbrauch in Deutschland ein?

6. Wie viele Jahre reichen die fossilen / konventionellen Energiereserven nach dem heutigen Erkenntnisstand?

Bitte ordnen sie zu!

Abbildung in dieser Leseprobe nicht enthalten

7. Welche der genannten Beschreibungen trifft auf den Begriff

„Treibhauseffekt“ zu?

- Eine Vermischung von Luftschichten ist nicht möglich, aufgrund einer Inversions-Wetterlage!

(Distraktor, Häufigkeit: ausgewählt = 3x, nicht ausgewählt = 61x)

- Durch einen erhöhten CO2 Ausstoß kommt es zu einer gesteigerten Erderwärmung!

(Richtigantwort, Häufigkeit: ausgewählt = 62x, nicht ausgewählt = 2x)

- Der „Treibhauseffekt“ führt zu einer gesteigerten Photosyntheseleistung der Pflanzen!

(Distraktor, Häufigkeit: ausgewählt = 4x, nicht ausgewählt = 60x)

8. Welche Auswirkungen hat der Treibhauseffekt?

Mehrfachnennung möglich!

- Zunahme von Sturm- und Unwetterschäden

(Richtigantwort, Häufigkeit: ausgewählt = 55x, nicht ausgewählt = 9x)

- Verminderte Wolkenbildung in der Stratosphäre

(Distraktor, Häufigkeit: ausgewählt = 10x, nicht ausgewählt = 54x)

- Versinken von Küstenregionen im Meer

(Richtigantwort, Häufigkeit: ausgewählt = 52x, nicht ausgewählt = 12x)

- Ausdehnung der Wüstengebiete

(Richtigantwort, Häufigkeit: ausgewählt = 46x, nicht ausgewählt = 18x)

- Erdbeben nehmen zu

(Distraktor, Häufigkeit: ausgewählt = 4x, nicht ausgewählt = 60x)

9. Welche Faktoren sind für den Treibhauseffekt verantwortlich?

Mehrfachnennung möglich!

- Vernichtung des Tropenwaldes

(Richtigantwort, Häufigkeit: ausgewählt = 51x, nicht ausgewählt = 13x)

- Atmosphärische Indifferenzen

(Distraktor, Häufigkeit: ausgewählt = 5x, nicht ausgewählt = 59x)

- Luftverschmutzung durch Energieproduktion

(Richtigantwort, Häufigkeit: ausgewählt = 53x, nicht ausgewählt = 11x)

- Produktion und Anwendung von FCKW

(Richtigantwort, Häufigkeit: ausgewählt = 49x, nicht ausgewählt = 15x)

- Erhöhter Elektrosmog

(Distraktor, Häufigkeit: ausgewählt = 6x, nicht ausgewählt = 58x)

10. Wie hoch schätzen Sie den prozentualen Anteil der Energieproduktion am

Treibhauseffekt ein?

Abbildung in dieser Leseprobe nicht enthalten

11. Füllen Sie die Lücke im folgenden Satz:

20% der Erdbevölkerung, die in den Industrieländern lebt, verbraucht in etwa …80…% der heutigen Energieproduktion

12. Wissen Sie wie sich der Energieverbrauch pro Kopf in den letzten 50 Jahren in den Industrieländern entwickelt hat?

Abbildung in dieser Leseprobe nicht enthalten

13. Können Sie zu jeder dieser Komponenten zum Energieeinsparen ein Beispiel

nennen?

Wärmeenergie:

Stromverbrauch:

Wasserverbrauch:

14. Wissen Sie, mit welcher Art von Energie Ihr Haushalt versorgt wird?

Abbildung in dieser Leseprobe nicht enthalten

15. Was berücksichtigt die neue Energiesparverordnung (01.02.2002)?

- nur die Wärmeschutzverordnung

(Distraktor, Häufigkeit: ausgewählt = 5x, nicht ausgewählt = 53x, fehlend = 6)

- nur die Heizungsanlagentechnik

(Distraktor, Häufigkeit: ausgewählt = 11, nicht ausgewählt = 47x, fehlend = 6)

- das gesamte Gebäude in allen seinen energetischen Auswirkungen

(Richtigantwort, Häufigkeit: ausgewählt = 42x, nicht ausgewählt = 16, fehlend = 6x)

9.2. Zusammenfassung der Feinlernziele

Thema: Kenntnisse im Bereich nutzbare Energien

Grobziel: Kenntnisstand

Abbildung in dieser Leseprobe nicht enthalten

9.3. SPSS Ausgaben der Reliabilitätsanalyse

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

Abbildung in dieser Leseprobe nicht enthalten

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

Abbildung in dieser Leseprobe nicht enthalten

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

Correlation Matrix

Abbildung in dieser Leseprobe nicht enthalten

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

Correlation Matrix

Abbildung in dieser Leseprobe nicht enthalten

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

Correlation Matrix

Abbildung in dieser Leseprobe nicht enthalten

* * * Warning * * * Determinant of matrix is close to zero: 4,067E-33

Statistics based on inverse matrix for scale ALPHA are meaningless and printed as .

Abbildung in dieser Leseprobe nicht enthalten

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A)

Item-total Statistics

Abbildung in dieser Leseprobe nicht enthalten

10. Erklärung

Hiermit erkläre ich, dass ich die vorliegende Hausarbeit mit dem Thema

Entwicklung und Erprobung eines lernzielorientierten Leistungstests „Grundwissen Energie“

ohne fremde Hilfe erstellt habe. Alle verwendeten Quellen wurden angegeben. Ich versichere, dass ich bisher keine Hausarbeit oder Prüfungsarbeit mit gleichem oder ähnlichem Thema an der FernUniversität oder einer anderen Hochschule eingereicht habe.

Herzogenrath / 10.05.2004

Unterschrift

[...]

---

^[1] Tyler schlug vor, die in einem Lernziel enthaltenen Inhalte von den ebenfalls im Lernziel angesprochenen Verhaltensweisen zu trennen und eine zweidimensionale Matrix aufzustellen. In den Zeilen dieser Matrix sind die Inhalte und in den Spalten die Verhaltensweisen des Lernziels eingetragen. Aufbauend auf die von Tyler vorgeschlagenen Inhalts-Verhaltensmatrix, formulierten Bloom und seine Mitarbeiter eine umfangreiche Taxonomie für die Klassifizierung von Lernzielen auf verschiedenen Leistungsniveaus. Die kognitiven Lernziele werden dabei in sechs Klassen eingeteilt, wobei der Komplexitätsgrad der einzelnen Klassen (Leistungsniveau) nach oben zunimmt. Als erste und nicht komplexe Verhaltensweise sieht Bloom die Wiedergabe von Wissen. Daran anschließend Verstehen, Anwendung, Analyse, Synthese und die Bewertung. Weiterführende Informationen zur Lernzieltaxonomie finden sich bei Hilke(1980) und Stangl (2004).

^[2] Vertiefende Literatur und Beispiele zur Anwendung und Bedeutung der sprachlichen Regeln bei der Aufgabenformulierung finden sich in Rost (2004), Porst (2000) und Lienert (1969).

^[3] RF steht für Richtig-Falsch. Bei einer RF Aufgabe kann der Proband zwischen einer richtigen und einer falschen Antwort auswählen. EG steht bei Lienert für Ergänzungsaufgabe. Bei diesem Aufgabetyp soll die Aufgabe durch Eintragung eines Wortes oder durch eine kurze Darstellung (z.B. ein Symbol, eine Zeichnung) vervollständigt werden.

^[4] Eine Interpretation des in Abbildung 5 dargestellten Q-Q Diagramms unterliegt der Objektivität des Betrachters. Eckstein weist darauf hin: „Mitunter ist eine angestrebte Entscheidung darüber, ob für eine Grundgesamtheit ein spezielles Verteilungsgesetz oder eine Normalverteilung unterstellt werden kann, mit Hilfe eines aus der Stichprobe konstruierten Q-Q Plot bzw. P-P Plot nicht ohne Weiteres zu beantworten.“ Die in der Hausarbeit verworfene Verteilungshypothese “Die erreichte Gesamtpunktzahl im konstruierten Leistungstest ist in der Grundgesamtheit normalverteilt.“ sollte daher durch einen K-S-Anpassungstest ergänzt werden.

^[5] Diese einfache Formel vernachlässigt eine Zufallskorrektur. Der ermittelte Schwierigkeitsindex ohne Zufallskorrektur ist somit identisch mit dem arithmetischen Mittelwert des Items.

^[6] In der Literatur finden sich zwei unterschiedliche Techniken: Trennschärfe-Indizes und Trennschärfe-Koeffizienten. Auf die Unterschiede dieser beiden Techniken wird in dieser Hausarbeit nicht näher eingegangen.

Eine Zusammenfassung beider Techniken finden sich in Schnell, Hill, Esser (1999). Detaillierte Beschreibungen zum Trennschärfe-Indiz finden sich bei Lienert (1969) und Eckstein (1980).

^[7] Die Durchführungsobjektivität wurde in der Probeerhebung durch die gemeinsame Entwicklung des Tests in der Arbeitsgruppe realisiert. Eine genaue Testinstruktion war bei der Erprobung nicht erforderlich. Die Testleiter stellten gleichzeitig die Mitglieder der Arbeitsgruppe dar, wodurch die äußeren Bedingungen der Testsituation möglichst gleich gehalten werden konnten.

^[8] Birkel bemerkt zur Anzahl der Auswahlmöglichkeiten: „Die Anzahl der Auswahlantworten sollte nicht größer sein als 5. Das hängt einerseits mit der Ratewahrscheinlichkeit, andererseits ...“ (1976, S.41).