Entwicklung und Erprobung eines lernzielorientierten Leistungstests „Grundwissen Energie“

Hausarbeit zu den Fernstudienkursen

03261 Einführung in die psychologische Forschungspraxis

04771 Beschreibende und schließende Statistik

angefertigt im Magister-Hauptfach

Soziale Verhaltenswissenschaften / Grundstudium

für das Fach Methoden

von Cornelia Müller

vorgelegt am: 10.05.2004

0. Inhaltsverzeichnis

1.Einleitung ... 4

2.Testentwurfv 5

3.Konstruktion des lernzielorientierten Leistungstests ... 7

3.1.Aufgabenkonstruktion ... 7

3.2.Zusammenstellung der einzelnen Items zum Test ... 8

3.3.Festlegung der Aufgabenbewertung ... 9

4.Datenerhebung und Datenerfassung ... 10

5.Ergebnisse  ... 12

5.1.Normalverteilung der erreichten Gesamtpunktzahl ... 12

5.2.Häufigkeitsverteilung der erreichten Gesamtpunktzahl  ... 13

5.3.Häufigkeitsverteilung der einzelnen Items  ... 14

6.Analyse des konstruierten Leistungstests ... 14

6.1.Objektivität ... 14

6.2.Reliabilität  ... 14

6.3.Schwierigkeit ... 15

6.4.Trennschärfe ... 15

6.5.Validität  ... 16

7. Vorschläge für eine Testrevision ... 17

8.Literaturverzeichnis ... 21

9.Anhang ... 22

9.1.Test zum Thema Wissen im Bereich nutzbarer Energien  ... 23

9.2.Zusammenfassung der Feinlernziele ... 28

9.3.SPSS Ausgaben der Reliabilitätsanalyse ... 30

10. Erklärung ... 34

1.  Einleitung

Im Rahmen eines Methodenpraktikums vom Institut für Psychologie Schwerpunkt Methoden wurde ein lernzielorientierter Leistungstest zum Thema „Grundwissen Energie“ entwickelt. Die Aufgabenschwerpunkte umfassten den Entwurf, die Konstruktion, die Erprobung sowie die Analyse der Testergebnisse. Die vorliegende Hausarbeit unternimmt den Versuch, anhand des im Methodenpraktikums entwickelten Leistungstests „Grundwissen Energie“, den wissenschaftlichen Forschungsablauf einer Testkonstruktion darzulegen.

Der Aufbau der Hausarbeit orientiert sich am Forschungsablauf einer Testkonstruktion und gliedert sich wie folgt:

Die Definition des Testziels, die Bestimmung der Testpopulation, des Testtyps und die Bestimmung der Teststruktur fallen in die Phase des Testentwurfs. Mit dieser Phase wird sich der erste Abschnitt dieser Arbeit befassen.[cmueller1] 

Im zweiten Abschnitt wird die Phase der Aufgabenkonstruktion behandelt. Anhand der entworfenen Teststruktur werden Fragen nach der Auswahl einzelner Aufgabenformen (offene vs. geschlossene), der Erstellung der einzelnen Items bezogen auf die ausgearbeitete Lernzielmatrix sowie der Bewertung der einzelnen Items betrachtet. Die Zusammenstellung aller konstruierten Items stellt den Leistungstest „Grundwissen Energie“ dar.

Daran anschließend finden sich die Datenerhebung, die Datenerfassung sowie einige deskriptive statistische Auswertungen der Ergebnisse. Die Durchführung und Ergebnisse der Reliabilitätsanalyse stellen den vierten Abschnitt dieser Hausarbeit dar. Hierbei wird näher auf die Hauptgütekriterien eines Tests – die Objektivität, die Reliabilität und der Validität – eingegangen.

Die Analyse der Erprobungsstichprobe verfolgt unter anderem den Zweck, den konstruierten Test im Hinblick auf eine höhere Reliabilität und Validität anzupassen. Die Ergebnisse der Aufgabenanalyse stellen daher Vorschläge einer Testrevision dar. Eine Zusammenfassung und Diskussion der Vorschläge für die Revision des im Methodenpraktikum entwickelten Leistungstests finden sich im abschließenden Abschnitt.

Das Literaturverzeichnis, der Anhang sowie die Erklärung zur erbrachten Eigenleistung schließen diese Hausarbeit ab.

2.  Testentwurf

Vor der Konstruktion des Leistungstests muss sich der Testentwickler zuerst mit Fragen über die Planung und dem Entwurf des Messinstrumentes beschäftigen. In diesem Zusammenhang werden folgende Fragen bedeutsam:

Was für ein Test soll konstruiert werden? Ein Intelligenztest, ein Leistungstest oder ein Persönlichkeitstest? Ein Niveau- oder Geschwindigkeitstest? Was möchte ich mit dem Test messen? Welche Zielgruppe soll angesprochen werden? Findet sich in der Fachliteratur ein vergleichbarer Test, auf den aufgebaut werden kann? Welche formale und inhaltliche Struktur sollen die Fragen und Antworten besitzen?

Die erste Frage, was für ein Test konstruiert werden soll, wurde durch die Aufgabenstellung vorgegeben. Es handelt sich um einen lernziel- und kriteriumsorientierten Leistungstest zum Thema „Grundwissen Energie“.

Dabei handelt es sich um einen Niveautest, bei dem keine Zeitbegrenzung bei der Bearbeitung des Fragebogens bestand. Der Test wurde als Paper-Pencil-Test konstruiert. Testziel ist, den Kenntnisstand im Bereich Energiewissen zu erforschen. Durch den vorgegebenen Testtyp „Leistungstest“ ist der Validitätsbereich klar umgrenzt. Lienert sagt hierzu: „In diesen Fällen verbürgt der Testinhalt gewissermaßen die Validität des Testes. Was der Test prüft, sagt der Test selbst, er ist logisch valide.“ (1969, S. 53)

Unter Berücksichtigung der Möglichkeit im Rahmen des Methodenpraktikums wurden alle Personen die mindestens 18 Jahre alt sind als mögliche Zielgruppe ausgesucht.

Ein Gütekriterium für Tests ist die Nützlichkeit. In Vorbereitung auf das Methodenpraktikum wurde eine Literaturrecherche nach vergleichbaren Leistungstests zum Konstrukt „Energiewissen“ durchgeführt. Es wurden keine vergleichbaren Tests gefunden. Womit die Nützlichkeit des Leistungstest „Grundwissen Energie“ gegeben ist.

Die letzte Frage zielt auf die Überlegung ab, wie das Konstrukt „Energiewissen“ operationalisiert werden kann. Die Aufgabenstellung sah die Erstellung einer Lernzielmatrix vor. Die formale Form der Antworten – offene und geschlossene Antwortformen – wurde ebenfalls durch die Aufgabenstellung vorgegeben.

Der konstruierten Lernzielmatrix liegt die Taxonomie von Lernzielen im kognitiven Bereich von Bloom (1956) zu Grunde. Bloom und seine Mitarbeiter entwickelten die Matrixmethode nach Tyler weiter.[1]

In der für den Leistungstest „Grundwissen Energie“ entwickelten Lernzielmatrix stellen die Spalten die drei kognitiven Bereiche Wissen, Verstehen und Anwenden dar. Der Inhalt der Lernziele geht vom Allgemeinen (z.B. bekannte Energieformen) über zu dem Speziellen (z.B. Treibhauseffekt) bis hin zur Umweltproblematik.

Mit Hilfe der erstellten Lernzielmatrix wurden die einzelnen Feinlernziele formuliert. Diese finden sich im Anhang dieser Hausarbeit. Um die Schwierigkeit des Testsbogens nicht zu schwer bzw. zu leicht zu wählen, wurde versucht eine Ausgeglichenheit bei der Verteilung der einzelnen Items in der Lernzielmatrix zu erhalten.

Abbildung 1: Verteilung der Feinlernziele in der erstellten Lernzielmatrix für das Konstrukt „Energiewissen“

Aufbauend auf den konstruierten Feinlernzielen wurden die Testaufgaben des Leistungstests „Grundwissen Energie“ erstellt.

3.  Konstruktion des lernzielorientierten Leistungstests

Die Konstruktion des Leistungstests umfasste die Umwandlung der Teststruktur in konkrete Aufgaben, den provisorischen Testaufbau durch die Zusammenstellung aller Items zu einem gemeinsamen Test, sowie die Festlegung der Aufgabenbewertung.

3.1.  Aufgabenkonstruktion

Die erstellten Feinlernziele aus der Phase des Testentwurfes stellen das Aufgabenkonzept für die konkreten Testaufgaben dar. Ausgehend von diesem Aufgabenkonzept wurden die einzelnen Testaufgaben formuliert.

Um eine inhaltliche Abgrenzung der einzelnen Aufgaben zu erreichen, wurden die Fragen zuerst umgangsprachlich formuliert. Daran schloss sich die Selektion des Aufgabentyps an. Diese erfolgte nach den Gesichtspunkten der Vor- und Nachteile einzelner Aufgabentypen bezüglich der Aufgabenreliabilität, -objektivität und -validität sowie der Auswertungsökonomie. Um eine geringe Ratewahrscheinlichkeit zu erreichen, wurden Antwort-Auswahl-Aufgaben mit 3 bis maximal 5 Auswahlantworten konstruiert.

Bei der endgültigen Formulierung der einzelnen Aufgaben wurde versucht, die Regeln für den sprachlichen Aufbau einer Testaufgabe möglichst gut umzusetzen.[2] Besonderes Augenmerk lag dabei auf den folgenden Aspekten:

•  möglichst kurze Formulierungen: Lange und komplexe Formulierungen können zu viele unterschiedliche, verwirrende Stimuli für den Befragten enthalten.
• nur einen sachlichen Inhalt oder Gedanke je Aufgabe
• Doppeldeutigkeit der Begriffe vermeiden
• Vermeidung eines Halo-Effektes: Es muss sichergestellt werden, dass der Kontext einer Frage sich nicht auf deren Beantwortung auswirkt. Ein hervorstechendes Einzelmerkmal beeinflusst neben der Beantwortung der aktuellen Frage auch die Beantwortung der Folgefragen.
• Vermeidung von hypothetischen Konstrukten und Suggestionsfragen
• Erschöpfende und disjunkte Antwortkategorien

3.2.  Zusammenstellung der einzelnen Items zum Test

Bei der Zusammenstellung der einzelnen Aufgaben zu einem Test sind Gesichtspunkte bezüglich der Reihenfolge von Bedeutung. Je nach Reihenfolge können Positions- und Reihenfolgeeffekte auftreten.

Die Position kann infolge der Platzierung des Items im Test die Schwierigkeit oder ein anderes Merkmal des Items (zum Beispiel die Trennschärfe) verändern. Diese Positionierungseffekte sind besonders am Testanfang (mangelndes Instruktions-verständnis) oder am Testende (Ermüdung, Testmotivation wird geringer) zu finden.

Die Beantwortung eines Items kann durch ein zuvor bearbeitetes Item beeinflusst werden. Befragte wollen zum Beispiel Widersprüche in ihren Antworten vermeiden. Diesen Reihenfolgeeffekten wird bei vielen Leistungs- und Intelligenztest entgegen gewirkt, indem die Aufgaben nach aufsteigender Schwierigkeit geordnet sind.

Die Zusammenstellung der einzelnen Aufgaben erfolgte im konkreten Fall ohne eine Berücksichtigung der oben erwähnten Gesichtspunkte. In einer Testrevision sollte der konstruierte Leistungstest auf mögliche Positionierungs- und Reihenfolgeeffekte überprüft werden.

Lienert schlägt vor, dass bei der Zusammenfassung der einzelnen Items „leichte

(RF-) und schwere (EG-) Aufgaben wechselweise aufeinander folgen.“[3] (1969, S.37). Bei der Erstellung der Feinlernziele wurde versucht, diesem Aspekt Rechnung zu tragen. Die Aufgaben wurden so zusammengestellt, dass leichte und schwere Aufgaben wechselweise aufeinander folgen.

3.3.  Festlegung der Aufgabenbewertung

In der Phase des Testentwurfes wurde eine Lernzielmatrix, beruhend auf der Lernzieltaxonomie von Bloom erstellt. Bloom klassifiziert die Lernziele auf verschiedenen Leistungsniveaus bzw. auf verschiedenen Levels der Komplexität. Der Grad an Komplexität der einzelnen Klassen (Leistungsniveau) nimmt nach oben hin zu. Dieser Ansatz findet sich bei der Auswahl der Aufgabenbewertung wieder. Aufgaben der Spalte Wissen werden mit einem Gewicht von 1 bewertet. Aufgaben aus der Spalte Verstehen besitzen nach Bloom einen höheren Komplexitätsgrad als die Wissensaufgaben, so dass diese Aufgaben mit einem Gewicht von 2 bewertet werden. Alle restlichen Aufgaben werden mit einem Gewicht von 3 bewertet.

Durch die Aufgabenteilung in der Arbeitsgruppe und die Unerfahrenheit seitens der Testentwickler kam es zu einer Redefinition der Zuordnung in der Lernzielmatrix. Die Verteilung der Gewichtung bei der Bewertung weicht dadurch von der zuvor erstellten Lernzielmatrix ab.

Abbildung 2: Einordnung der Feinlernziele nach Bewertungsgewicht

In einer Testrevision sollte dieses Bewertungsmuster überarbeitet werden, um Verteilungsirregularitäten zu vermeiden. Lienert bemerkt zum Stichwort Bewertungsmuster: „Um Verteilungsirregularitäten zu vermeiden, sollten jedoch nicht mehr als ein Viertel der Aufgaben mit 2 Punkten und nicht mehr als ein Achtel mit 3 Punkten verrechnet werden.“ (1969, S.61)

4.  Datenerhebung und Datenerfassung

Die Datenerhebung erfolgte mit Hilfe des zuvor konstruierten Fragebogens. Die befragten Personen unterlagen keiner Kontrolle während der Befragung. Eventuelle Zusammenarbeit und Hilfestellung konnten daher nicht ausgeschlossen werden.

Es handelt sich um ein Niveautest (Power-Test). Es bestand keine Zeitbegrenzung bei der Bearbeitung des Fragebogens. Die durchschnittliche Bearbeitungszeit beträgt ca. 20 Minuten, wenn man davon ausgeht, dass eine Multiple-Choice-Aufgabe durchschnittlich eine Minute Bearbeitungsaufwand in Anspruch nimmt. Die tatsächlich benötigte Bearbeitungszeit wurde nicht erfasst.

Neben den während des Methodenpraktikums in Hagen-Holthausen aufgenommenen 14 Datensätzen wurden weitere Befragungen mit Hilfe des Fragebogens von jedem Kommilitonen der Arbeitsgruppe aufgenommen. Insgesamt umfasst die Erprobungsstichprobe 64 Datensätze.

Die Datenerfassung erfolgte mittels SPSS. Die Daten aus den verteilten Fragebögen wurden mit Hilfe einer Musterlösung in SPSS erfasst. Eine Musterlösung des Fragebogens findet sich im Anhang. An die Erfassung und Eingabe der Daten schloss sich eine Datenvalidierung an. Im Zuge dieser Datenbereinigung wurden Schreib-, Codier- und Übertragungsfehler behoben.

Ausfälle ergaben sich durch eine vorsätzliche Manipulierung der codierten Daten. Diese Fragebogenergebnisse wurden nicht mit Hilfe des Fragebogens „Grundwissen Energie“ aufgenommen, weswegen sie keine Berücksichtigung in der Datenmatrix erfahren haben. Es kam zum Ausfall von fünf Datensätzen.

5. Ergebnisse

64 Fragebögen waren auswertbar. Das Durchschnittsalter der Befragten in der Stichprobe betrug 40,1 Jahre. Im Durchschnitt wurde eine Gesamtpunktzahl von 46,8 Punkten erreicht. Die Rücklaufquote konnte nicht ermittelt werden, da die Anzahl der verteilten Fragebögen nicht erfasst wurde.

5.1.  Normalverteilung der erreichten Gesamtpunktzahl

Die Darstellung der Häufigkeitsverteilung für die erreichte Gesamtpunktzahl ergab erste Hinweise auf eine Normalverteilung der erreichten Punkte im Leistungstest „Grundwissen Energie“.

Abbildung 3 : Häufigkeitsdiagramm „Erreichte Gesamtpunkt“ mit Normalverteilungskurve

Das dargestellte Q-Q Diagramm zeigt einen nicht sehr engen Verlauf um die Normalitätsgerade. Bei einer Normalverteilung wird ein Verlauf, eng um die Normalitätsgerade dargestellt. Die erreichte Gesamtpunktzahl der Probanden kann daher nicht als hinreichend genau normalverteilt angesehen werden.[4]

Abbildung 4: Normal Q-Q Plots der erreichten Gesamtpunktzahl

5.2.  Häufigkeitsverteilung der erreichten Gesamtpunktzahl

Mit Hilfe eines Box-Plot wurde eine Charakterisierung der Häufigkeits-Verteilung der erreichten Gesamtpunktzahl durchgeführt.

Abbildung 5: Q-Q Plot

Spannweite: weiblich = 26 (Differenz zwischen 32 und 58), männlich 31 (Differenz zwischen 25 und 56). Die Mediane weichen geringfügig voneinander ab. Die Ergebnisse der männlichen Befragten sind durch Ausreißer und Extremwerte gekennzeichnet.

5.3.  Häufigkeitsverteilung der einzelnen Items

Die Häufigkeitsverteilungen der Antworten auf die einzelnen Items sind auf dem im Anhang befindlichen Fragebogen eingetragen.

6.  Analyse des konstruierten Leistungstests

6.1.  Objektivität

Die Durchführungsobjektivität ist nicht vollständig gewährleistet. Den Probanden wurden die gleichen Testaufgaben vorgelegt, jedoch liegt keine Testinstruktion vor, mit der die standardisierte Durchführungsweise gewährleistet werden kann.

Die Auswertungsobjektivität ist durch die erstellte Musterlösung gegeben. Die Festlegung genauer Kriterien, die eine eindeutige Einstufung des Kurzaufsatz-Items (Frage 13 des Fragebogens „Grundwissen Energie“) zulassen, erhöhen die Auswertungsobjektivität zusätzlich. Die Festlegung dieser Kriterien sollte im Rahmen der Testrevision erfolgen.

Die Interpretationsobjektivität konnte nicht ermittelt werden. Diese Art der Objektivität „ist dann gegeben, wenn verschiedene Beurteiler das gleiche Auswertungsergebnis unabhängig voneinander in gleicher Weise interpretieren.“ (Birkel, 1976). Eine solche Beurteilung ist im Rahmen dieser Hausarbeit nicht erfolgt.  Eine Testinstruktion, welche die Interpretationsobjektivität erhöht, sollte im Rahmen einer Testrevision erstellt werden.

6.2.  Reliabilität

Die Interne Konsistenz wurde mit Hilfe des CRONBACH’s Alpha ermittelt. Sie liegt bei .56. Der entwickelte Leistungstest ist nicht reliabel. Der Ausschluss aller Items mit einem negativen Trennschärfe-Koeffizient erhöhte den Reliabilitätskoeffizienten auf .68. Werden in der Testrevision die Items mit negativen Trennschärfe-Koeffizienten ausgeschlossen, kann die Reliabilität für eine Testerprobung als ausreichend betrachtet werden.

6.3.  Schwierigkeit

Der Schwierigkeitsindex dient der Messung und der Bewertung des Schwierigkeits-grades von Aufgaben, Fragen und Items im Kontext eines Testes. Eine Aufgabe erscheint im statistischen Sinne als „schwierig“, wenn vergleichsweise wenig Befragte sie bejahend beantworten. Der Schwierigkeitsindex ist bei dieser statistischen Betrachtung bei schwierigen Aufgaben niedrig, bei leichten hoch.

Der Schwierigkeitsindex lässt sich mit Hilfe der Formel berechnen:

N_R stellt die Anzahl der Probanden, welche die Aufgabe richtig

beantwortet haben, dar. N ist die Stichprobengröße.[5]

Der (Item-) Schwierigkeitsindex des im Methodenpraktikum erstellten Leistungstests

beträgt 69,06%. Der Leistungstest muss als zu leicht bezeichnet werden. Der Schwierigkeitsindex der einzelnen Items liegt zwischen 4,69% und 98,44%. Die leichten Aufgaben, d.h. Aufgaben mit einem hohen Schwierigkeitsindex, überwiegen.

6.4.  Trennschärfe

Die Trennschärfe eines Items kennzeichnet, wie gut oder wie schlecht das einzelne Item zwischen Probanden mit guten Leistungen und Probanden mit schlechten Leistungen differenziert. Die durchgeführte Reliabilitätsanalyse ermittelt für jedes Item einen korrigierten Trennschärfe-Koeffizienten, welcher mit der Technik des Trennschärfe-Koeffizienten berechnet wird.[6]

Ein hoher Koeffizient differenziert die guten Probanden und die schlechten Probanden gut. Ein Trennschärfekoeffizient um Null bringt zum Ausdruck, dass die Aufgabe von guten und schlechten Probanden etwa gleich häufig richtig beantwortet wird. Ein negativer Koeffizient kennzeichnet ein nicht brauchbares Item. Das Item wird von guten Probanden verfehlt und von schlechten Probanden richtig beantwortet. Items mit geringer, negativer oder fehlenderer Trennschärfe sollten aus dem erstellten Fragebogen entfernt werden.

Insgesamt ist die Trennschärfe des Fragebogens als sehr gering einzuschätzen. Die Items 3_2, 6_2, 8_5, 10_3, 12 und 15_3 besitzen einen negativen Trennschärfe- Koeffizienten. In der Testrevision sollten diese Items daher unbedingt hinsichtlich der Formulierung, Auswahl von Distraktoren etc. bearbeitet werden. Ein Ausschluss dieser Items sollte in Betracht gezogen werden. Eine Bewertung der restlichen Items aus dem Fragebogen wird an dieser Stelle nicht vorgenommen. Durch die große Anzahl von Items mit einem negativen Trennschärfe-Koeffizienten, sollten zuerst diese Items in der Testrevision berücksichtigt werden. Eine weitere Erprobungsstichprobe nach der Testrevision liefert aussagekräftigere Werte zu den restlichen Items.   

6.5.  Validität

Konstruktvalidität: Durch die Aufteilung in drei Schwerpunktgebiete (allgemeine Fragen, spezielle Fragen zum Treibhauseffekt, Fragen zur Umweltproblematik) wurde versucht, die Kenntnisse im Bereich „Energiewissen“ zu messen. Dabei besitzen die leichten Aufgaben zu Beginn des Tests einen Motivationsaspekt. Der Proband sollte für die weitere Beantwortung der Fragen motiviert werden. Die Aufgabenstellungen wurden möglichst einfach und kurz gehalten, um nicht die Lesefähigkeit oder Aufnahmefähigkeit der Probanden zu messen.

Die Inhaltsvalidität konnte nicht festgestellt werden. Hierfür ist eine externe Validitätsprüfung erforderlich. Der konstruierte Leistungstest wird Experten vorgelegt, die beurteilen sollen, inwieweit die Testaufgaben eine repräsentative Auswahl aus dem zu erfassenden Konstrukt „Energiewissen“ darstellen.

Die Übereinstimmungsgültigkeit konnte nicht ermittelt werden. Eine Literaturrecherche im Vorfeld des Methodenpraktikums lieferte keinen vergleichbaren Leistungstest zum Konstrukt „Energiewissen“.

7.  Vorschläge für eine Testrevision

Um die Durchführungsobjektivität bei einer Testrevision zu gewährleisten, wird die Erstellung einer Testinstruktion empfohlen. Eine Testinstruktion ermöglicht es, den entwickelten Test unter standardisierten Bedingungen durchzuführen.[7]

Die Zusammenstellung der einzelnen Aufgaben zum Leistungstest „Grundwissen Energie“ berücksichtigte die Empfehlung von Lienert, leichte und schwere Aufgaben wechselweise aufeinander folgen zulassen. Positionseffekte und Reihenfolgeeffekte wurden nicht gesondert berücksichtigt. Eine Überprüfung des Tests auf diese Effekte wird daher empfohlen. Um z.B. eine Demotivierung der Probanden zu verhindern, wird empfohlen, das Kurzaufsatz-Item mittig im Testbogen einzufügen und weitere leichte bis mittelschwere, motivierende Testaufgaben in den Test zu integrieren. Eine Erweiterung des Tests mit weiteren Testaufgaben verringert zudem die Ratewahrscheinlichkeit und erhöht die zu erwartende Reliabilität.

In der Reliabilitätsanalyse wurde das Kurzaufsatz-Item (Frage 13 im Fragebogen) nicht berücksichtigt. In der Kürze der Zeit konnten keine genauen Kriterien für die  Bewertung des Items zusammengestellt werden. Dies sollte in jedem Falle in einer Testrevision erfolgen.

Weiterhin wird für eine Testrevision empfohlen, das gewählte Bewertungsmuster zu überarbeiten. Durch die Gewichtung der einzelnen Items nach Komplexitätsgrad (Wissen, Verstehen, Anwenden) können Verteilungsirregularitäten auftreten.

Die Durchführung der Reliabilitätsanalyse lieferte für einige Items des Leistungstest einen negativen Trennschärfe-Koeffizienten. Betroffen sind die Items 3_2, 6_2, 8_5, 10_3, 12 und 15_3. Es wird empfohlen diese Items hinsichtlich der Auswahl der Antwortform, der Aufgabenformulierung, der Auswahl von Distraktoren und der Auswahl von Antwortintervallen zu überprüfen.

Beispielhaft werden für die drei folgenden Items Verbesserungsvorschläge dargestellt:

·  Item 3_2: „Regenerative Energien sind Energien, die in nicht absehbarer Zeit ausgeschöpft sind!“ - Diese Formulierung kann zu Verwirrungen führen. Eine Alternative zur obigen Formulierung wäre: „...sind Energien, die in absehbarer Zeit nicht ausgeschöpft sind!“ . Die Alternative besitzt eine eindeutigere Formulierung.

·  Item 6 ist eine Zuordnungsaufgabe mit 7 Auswahlmöglichkeiten. Mögliche Verbesserungsvorschläge sind:

-  Minderung der Auswahlantworten und/oder eine Zusammenfassung der Auswahlantworten in Intervalle, so das max. 5 Auswahlantworten zur Verfügung stehen.[8]

-  Eine Betrachtung des Trends. Eine Zusammenfassung der vorgegebenen Auswahlantworten in Intervalle unterstützt diese Möglichkeit.

·  Item 11: „Füllen Sie die Lücke im folgenden Satz: 20% der Erdbevölkerung, die in den Industrieländern lebt, verbraucht in etwa ...% der heutigen Energieproduktion.“ Hier tritt ein Suggestionseffekt ein. Der Proband ist versucht, aufgrund seines Vollständigkeitsdenkens, 80% einzutragen. Dieser Wert entspricht jedoch auch der richtigen Antwort. Eine bessere Formulierung könnte lauten: „Füllen Sie die Lücke im folgenden Satz: 1/5 der Erdbevölkerung, die in den Industrieländern lebt, verbraucht in etwa ...% der heutigen Energieproduktion.“

Abschließend wird darauf hingewiesen, dass der Stichprobenumfang von 64 Probanden keine repräsentative Stichprobe darstellt.

Literaturverzeichnis

BIRKEL, P. und INGENKAMP, K. (1976): Hilfen zur Auswahl von Schultests. Mainz

ECKSTEIN, P. P. (2000): Angewandte Statistik mit SPSS – Praktische Einführung für Wirtschaftswissenschaftler. 3. Auflage. Wiesbaden: Betriebswirtschaftlicher Verlag Dr. Th. Gabler GmbH.

HILKE, R. (1980): Grundlagen normorientierter und kriteriumorientierter Tests – Eine kritische Auseinandersetzung mit der klassischen Testtheorie und den logischen Testmodellen. Bern/Stuttgart/Wien: Verlag Hans Huber.

LIENERT, G. A. (1969): Testaufbau und Testanalyse. 3.Auflage. Weinheim/Berlin/Basel: Verlag Julius Beltz.

PORST, R. (2000): Question Wording – Zur Formulierung von Fragebogen-Fragen. Mannheim: ZUMA Zentrum für Umfragen, Methoden und Analysen, How-To-Reihe, Nr.2.

ROST, J. (2004): Lehrbuch Testtheorie – Testkonstruktion. 2. Auflage. Bern/Göttingen/Toronto/Seattle: Verlag Hans Huber.

SCHNELL, R., HILL, P. B. und ESSER, E. (1999): Methoden der empirischen Sozialforschung. München/Wien: R.Oldenburg Verlag.

STANGL, Taller (2004): Lernzieltaxonomie URL:

http://www.stangl-taller.at/ARBEITSBLAETTER/LERNZIELE/

---

9.  Anhang

Im Anhang dieser Hausarbeit befinden sich die nachfolgenden Unterlagen:

-  der konstruierte lernzielorientierte Leistungstest „Grundwissen Energie“ mit Musterlösung und eingetragenen Antwort-Häufigkeiten der einzelnen Items .

-  die in der Phase des Testentwurfes erstellten und zusammengefassten Feinlernziele. Auf diese bauen die einzelnen Testfragen auf.

-  die Musterlösung zum Leistungstest „Grundwissen Energie“.

-  ein Ausdruck der SPSS Ausgabe der Reliabilitätsanalyse.

9.1.  Test zum Thema Wissen im Bereich nutzbarer Energien

Methodenpraktikum Holthausen 26.3.2004 – 28.03.04, Arbeitsgruppe 3

Laufende Nr.______

Geschlecht:

• männlich  (Häufigkeit: 36)
• weiblich  (Häufigkeit: 28)

Alter:_____  (Durchschnittsalter: 40,1)

Welche der aufgeführten Energieformen kennen Sie?

Bitte kreuzen Sie an! 

  (Häufigkeit keine Auswahl: .......  1x) 

a)  Atomar  (Häufigkeit eine Auswahl: ..........  3x)

b)  Fossile  (Häufigkeit zwei ausgewählt: .....  5x)

c)  Regenerative  (Häufigkeit drei ausgewählt: .......  55x)

1. Ordnen Sie die folgenden Energien den oben genannten Energieformen zu!

Kennzeichnen Sie mit a), b), c)!

Wind  ___c___ .................. (Häufigkeit: a = 0x, b = 3x, c = 59x)

Öl ___b___......................... (Häufigkeit: a = 1x, b = 62x, c = 1x)

Gas ___b____..................... (Häufigkeit: a = 0x, b = 62x, c = 2x)

Geothermie ___c_____...... (Häufigkeit: a = 4x, b = 12x, c = 42x)

Photovoltaik ___c_____..... (Häufigkeit: a = 11x, b = 2x, c = 45x)

Welcher der folgenden Definitionen würden Sie zustimmen?

Bitte ankreuzen!

Regenerative Energien sind:

o  Energien, die keine nachhaltigen Umweltschäden anrichten! 

  (Distraktor, Häufigkeit: ausgewählt = 28x, nicht ausgewählt = 36x)

o  Energien, die in nicht absehbarer Zeit ausgeschöpft sind!

(Richtigantwort, Häufigkeit: ausgewählt = 31x, nicht ausgewählt = 33x)

o  Energien, die im Laufe der Evolution entstanden sind!

(Distraktor, Häufigkeit: ausgewählt = 57x, nicht ausgewählt = 7x)

o  wieder aufladbare Batterien/Akkus!

(Distraktor, Häufigkeit: ausgewählt = 53x, nicht ausgewählt = 11x)

  4.  Bitte kreuzen sie an ob die Aussage zutrifft oder nicht!

  1. Atomar Energie ist eine nicht regenerative Energie! 

o  Ja  (Richtigantwort,  Häufigkeit = 48x)

o  Nein  (Distraktor,  Häufigkeit = 14x)

   (Häufigkeit fehlende Auswahl = 2x) 

2. Nicht regenerative Energien schaden nachhaltig der Umwelt! 

o  Ja  (Richtigantwort,  Häufigkeit = 45x)

o  Nein  (Distraktor,  Häufigkeit = 18x)

   (Häufigkeit fehlende Auswahl = 1x) 

  3. Moderne Filteranlagen reduzieren den Ausstoß von CO2  bei

  der Verbrennung  fossiler Energien um 80%!

o  Ja  (Distraktor,  Häufigkeit = 28x)

o  Nein  (Richtigantwort,  Häufigkeit = 34x)

   (Häufigkeit fehlende Auswahl = 2x) 

Wie hoch schätzen Sie den Anteil regenerativer Energien am gesamt Energieverbrauch in Deutschland ein?

-------------8------%

Wie viele  Jahre reichen die fossilen / konventionellen Energiereserven nach dem heutigen Erkenntnisstand? Bitte ordnen sie zu! 

17  43  66  91  140  169  185

a)  Erdöl:  __43____  (Häufigkeiten:  17 = 3x, 43 = 19x, 66 = 14x, 91 = 6x,    140 = 7x, 169 = 2x, 185 = 7x,  fehlend = 6x)

b)  Erdgas:__140____ (Häufigkeiten:  17 = 0x, 43 = 6x, 66 = 10x, 91 = 12x,   140 = 11x, 169 = 11x, 185 = 7x,   fehlend = 6x)

c)  Kohle: ___17___(Häufigkeiten:  17 = 3x, 43 = 15x, 66 = 5x, 91 = 12x,   140 = 10x, 169 = 3x, 185 = 8x,  fehlend = 8x)

Welche der genannten Beschreibungen trifft auf den Begriff

  „Treibhauseffekt“ zu?

o  Eine Vermischung von Luftschichten ist nicht möglich, aufgrund einer Inversions-Wetterlage!

  (Distraktor, Häufigkeit: ausgewählt = 3x, nicht ausgewählt = 61x)

o  Durch einen erhöhten CO2 Ausstoß kommt es zu einer gesteigerten Erderwärmung!

  (Richtigantwort, Häufigkeit: ausgewählt = 62x, nicht ausgewählt = 2x)

o  Der „Treibhauseffekt“ führt zu einer gesteigerten Photosyntheseleistung der Pflanzen!

  (Distraktor, Häufigkeit: ausgewählt = 4x, nicht ausgewählt = 60x)

1. Welche Auswirkungen hat der Treibhauseffekt?

  Mehrfachnennung möglich!

o  Zunahme von Sturm- und Unwetterschäden

  (Richtigantwort, Häufigkeit: ausgewählt = 55x, nicht ausgewählt = 9x)

o  Verminderte Wolkenbildung in der Stratosphäre

  (Distraktor, Häufigkeit: ausgewählt = 10x, nicht ausgewählt = 54x)

o  Versinken von Küstenregionen im Meer

  (Richtigantwort, Häufigkeit: ausgewählt = 52x, nicht ausgewählt = 12x)

o  Ausdehnung der Wüstengebiete

(Richtigantwort, Häufigkeit: ausgewählt = 46x, nicht ausgewählt = 18x)

o  Erdbeben nehmen zu

  (Distraktor, Häufigkeit: ausgewählt = 4x, nicht ausgewählt = 60x)

  9.  Welche Faktoren sind für den Treibhauseffekt verantwortlich?

  Mehrfachnennung möglich!

o  Vernichtung des Tropenwaldes

  (Richtigantwort, Häufigkeit: ausgewählt = 51x, nicht ausgewählt = 13x)

o  Atmosphärische Indifferenzen

  (Distraktor, Häufigkeit: ausgewählt = 5x, nicht ausgewählt = 59x)

o  Luftverschmutzung durch Energieproduktion

  (Richtigantwort, Häufigkeit: ausgewählt = 53x, nicht ausgewählt = 11x)

o  Produktion und Anwendung von FCKW

  (Richtigantwort, Häufigkeit: ausgewählt = 49x, nicht ausgewählt = 15x)

o  Erhöhter Elektrosmog

  (Distraktor, Häufigkeit: ausgewählt = 6x, nicht ausgewählt = 58x)

  10. Wie hoch schätzen Sie den prozentualen Anteil der Energieproduktion am

  Treibhauseffekt ein?

o  0 bis < 25%   (Distraktor, Häufigkeiten: ausgewählt = 9,

  nicht ausgewählt = 55)

o  25 bis < 50%  (Distraktor, Häufigkeiten: ausgewählt = 23,

  nicht ausgewählt = 41) 

o  50 bis < 75%  (Richtigantwort, Häufigkeiten: ausgewählt = 14,

  nicht ausgewählt = 50)

o  75 bis < 100%  (Distraktor, Häufigkeiten: ausgewählt = 14,

  nicht ausgewählt = 50) 

o  100%  (Distraktor, Häufigkeiten: ausgewählt = 1,

  nicht ausgewählt = 63)

11.  Füllen Sie die Lücke im folgenden Satz:

20% der Erdbevölkerung, die in den Industrieländern lebt, verbraucht in etwa  …80…% der heutigen Energieproduktion

12.  Wissen Sie wie sich der Energieverbrauch pro Kopf in den letzten 50 Jahren in  den Industrieländern entwickelt hat?

o  Rückläufig..................... (Distraktor, Häufigkeit: ausgewählt = 9)

o  konstant......................... (Distraktor, Häufigkeit: ausgewählt = 0)

o  leicht angestiegen.......... (Distraktor, Häufigkeit: ausgewählt = 3)

o  verdoppelt...................... (Richtigantwort, Häufigkeit: ausgewählt = 22)

o  mehr als verdoppelt....... (Distraktor, Häufigkeit: ausgewählt = 38)

13.  Können Sie zu jeder dieser Komponenten zum Energieeinsparen ein Beispiel nennen?

Wärmeenergie:

Stromverbrauch:

Wasserverbrauch:

14. Wissen Sie, mit welcher Art von Energie Ihr Haushalt versorgt wird?

• regenerative.................. (Richtigantwort, Häufigkeit: ausgewählt = 4)
• nicht regenerative......... (Richtigantwort, Häufigkeit: ausgewählt = 26)
• Energiemix................... (Richtigantwort, Häufigkeit: ausgewählt = 22)
• weiß nicht..................... (Distraktor, Häufigkeit: ausgewählt = 11)

  (Häufigkeit fehlende Auswahl = 1)

15. Was berücksichtigt die neue Energiesparverordnung (01.02.2002)?

• nur die Wärmeschutzverordnung

(Distraktor, Häufigkeit: ausgewählt = 5x,   nicht ausgewählt = 53x,    fehlend = 6)

• nur die Heizungsanlagentechnik

(Distraktor, Häufigkeit: ausgewählt = 11,   nicht ausgewählt = 47x,   fehlend = 6)

• das gesamte Gebäude in allen seinen energetischen Auswirkungen

(Richtigantwort, Häufigkeit: ausgewählt = 42x,  nicht ausgewählt = 16,  fehlend = 6x)

9.2.  Zusammenfassung der Feinlernziele

Thema: Kenntnisse im Bereich nutzbare Energien

Grobziel: Kenntnisstand

Nr.	Feinlernziel	Itembank. Nr.	Unteritems	Level
1	Welche Energieformen sind bekannt? (Wissen)	1	1	1
2	Definition regenerative Energieformen (Verstehen)	2,3	2.1. bis 2.5. 3.1. bis 3.4.	2
3	Definition nicht regenerative Energieformen (Verstehen)	2,4	2.1. bis 2.5. 4.1. bis 4.3.	2
4	Mengenverständnis konventionelle Energieformen (Wissen)	5	5	1
5	Mengenverständnis neue Energieformen (Wissen)	5	5	1
6	Problematik Energiebestand (Wissen)	6	6.1. bis 6.3.	1
7	Definition Treibhauseffekt (Anwendung)	7	7.1. bis 7.3.	3
8	Ursache Treibhauseffekt (Anwendung)	9, 10	9.1. bis 9.5. 10.1. bis 10.5.	3
9	Auswirkungen Treibhauseffekt (Anwendung)	8	8.1. bis 8.5.	3
10	Energiehunger Welt (Typ nicht angegeben)	11	11	1
11	Umweltschutz: Rangfolge schädlicher Energieformen (Skala) (Verstehen)		Rausgefallen (Schwierigkeiten bei sprachlicher Formulierung)	2
12	Entwicklung Energieverbrauch (Verstehen)	12	12.1. bis 12.5.	2
13	Energiesparverhalten, Was tun um zu Sparen? (Anwendung)	13	13.1. bis 13.3.	3
14	Woher kommt Ihre Energie? (Typ nicht angegeben)	14	14	1
15	Abgasnorm (Typ nicht angegeben)	15	15.1. bis 15.3.	1
	Summe der Items	15

9.3.  SPSS Ausgaben der Reliabilitätsanalyse

  R E L I A B I L I T Y  A N A L Y S I S  -  S C A L E  (A L P H A)

  1.  F1  Welche der aufgeführten Energieformen kennen Sie?

  2.  F2_1  Wind

  3.  F2_2  Öl

  4.  F2_3  Gas

  5.  F2_4  Geothermie

  6.  F2_5  Photovoltaik

  7.  F3_2  Energien, die in nicht absehbarer Zeit ausgeschöpft sind!

  8.  F4_1  Atomar Energie ist eine nicht regenerative Energie!

  9.  F4_2  Nicht regenerative Energien schaden nachhhaltig der Umwelt!

 10.  F4_3  Moderne Filteranlagen reduzieren den Ausstoß von CO2 bei der

 11.  F5  Wie hoch schätzen Sie den Anteil regenerativer Energien am

 12.  F6_1  Erdöl

 13.  F6_2  Erdgas

 14.  F6_3  Kohle

 15.  F7_2  Durch einen erhöhten CO2 Ausstoß kommt es zu einer gesteigerten

 16.  F8_1  Zunahme von Sturm- und Umweltschäden

 17.  F8_2  Verminderte Wolkenbildung in der Stratosphäre

 18.  F8_3  Versinken von Küstenregionen im Meer

 19.  F8_4  Ausdehnung der Wüstengebiete

 20.  F8_5  Erdbeben nehmen zu

 21.  F9_1  Verrichtung des Tropenwaldes

 22.  F9_2  Atmosphärische Indifferenzen

 23.  F9_3  Luftverschmutzung durch Energieproduktion

 24.  F9_4  Produktion und Anwendung von FCKW

 25.  F9_5  Erhöhter Elektrosmog

 26.  F10_3  Wie hoch schätzen Sie, den .... 50 bis kleiner 75 %

 27.  F11  20% der Erdbevölkerung, die in den Industrieländern lebt

 28.  F12  Wissen Sie wie sich der Energieverbrauch pro Kopf in den

 29.  F14  Wissen Sie mit welcher Art von Energie Ihr Haushalt versorgt

 30.  F15_3  das gesamte Gebäude in allen seinen energetischen Auswirkungen

  R E L I A B I L I T Y  A N A L Y S I S  -  S C A L E  (A L P H A)

  Mean  Std Dev  Cases

  1.  F1  ,9844  ,1250  64,0

  2.  F2_1  ,9219  ,2705  64,0

  3.  F2_2  ,9688  ,1754  64,0

  4.  F2_3  ,9688  ,1754  64,0

  5.  F2_4  ,6563  ,4787  64,0

  6.  F2_5  ,7031  ,4605  64,0

  7.  F3_2  ,5156  ,5037  64,0

  8.  F4_1  ,7500  ,4364  64,0

  9.  F4_2  ,7188  ,4532  64,0

 10.  F4_3  ,5313  ,5030  64,0

 11.  F5  ,5781  ,4978  64,0

 12.  F6_1  ,2969  ,4605  64,0

 13.  F6_2  ,1563  ,3660  64,0

 14.  F6_3  ,0469  ,2130  64,0

 15.  F7_2  ,9688  ,1754  64,0

 16.  F8_1  ,8594  ,3504  64,0

 17.  F8_2  ,8438  ,3660  64,0

 18.  F8_3  ,8125  ,3934  64,0

 19.  F8_4  ,7188  ,4532  64,0

 20.  F8_5  ,9375  ,2440  64,0

 21.  F9_1  ,7969  ,4055  64,0

 22.  F9_2  ,9219  ,2705  64,0

 23.  F9_3  ,8281  ,3803  64,0

 24.  F9_4  ,7656  ,4270  64,0

 25.  F9_5  ,9063  ,2938  64,0

 26.  F10_3  ,2188  ,4167  64,0

 27.  F11  ,5313  ,5030  64,0

 28.  F12  ,3438  ,4787  64,0

 29.  F14  ,8125  ,3934  64,0

 30.  F15_3  ,6563  ,4787  64,0

  R E L I A B I L I T Y  A N A L Y S I S  -  S C A L E  (A L P H A)

  Correlation Matrix

  F1  F2_1  F2_2  F2_3  F2_4

F1  1,0000

F2_1  -,0367  1,0000

F2_2  -,0226  ,6170  1,0000

F2_3  -,0226  ,2823  -,0323  1,0000

F2_4  -,0912  ,1571  -,1300  ,2482  1,0000

F2_5  -,0819  ,3206  ,0799  ,0799  ,3938

F3_2  -,1221  -,0491  ,0056  -,1741  -,1090

F4_1  -,0727  ,1008  ,1037  -,1037  -,1140

F4_2  ,2014  ,0769  ,0874  -,1124  -,0137

F4_3  -,1183  -,0401  -,1687  ,0112  ,0453

F5  ,1475  ,1050  ,0284  ,2103  ,2477

F6_1  ,0819  ,0617  -,0799  ,1167  ,1823

F6_2  ,0542  -,3558  -,1700  -,1700  -,2322

F6_3  ,0279  ,0646  ,0398  ,0398  ,0049

F7_2  -,0226  ,2823  -,0323  ,4839  ,0591

F8_1  -,0510  -,1178  -,0727  ,1857  -,1035

F8_2  -,0542  -,1253  -,0773  -,0773  ,2322

F8_3  ,2623  ,0093  -,0863  -,0863  ,0737

F8_4  ,2014  ,3359  ,2871  ,2871  -,0869

F8_5  -,0325  ,1654  -,0464  ,3246  -,0510

F9_1  -,0636  ,2872  ,1325  ,1325  ,2070

F9_2  -,0367  -,0847  -,0523  -,0523  ,0345

F9_3  ,2765  ,1760  ,1562  -,0818  ,1063

F9_4  -,0697  ,3887  ,3246  ,1126  ,0655

F9_5  -,0405  ,1061  -,0578  ,2503  ,3315

F10_3  ,0667  -,1276  -,1222  -,1222  -,0149

F11  -,1183  ,1932  ,1912  ,1912  ,3090

F12  ,0912  ,0881  ,1300  -,2482  -,0996

F14  ,2623  ,0093  -,0863  -,0863  ,1580

F15_3  ,1741  ,1571  ,0591  -,1300  -,0390

  R E L I A B I L I T Y  A N A L Y S I S  -  S C A L E  (A L P H A)

  Correlation Matrix

  F2_5  F3_2  F4_1  F4_2  F4_3

F2_5  1,0000

F3_2  ,0545  1,0000

F4_1  ,0987  ,0181  1,0000

F4_2  ,2781  ,1586  -,0401  1,0000

F4_3  ,0750  ,1547  ,3254  ,1088  1,0000

F5  ,4144  -,1316  ,0913  ,0990  -,0416

F6_1  ,3474  -,1230  -,1777  ,0261  -,0064

F6_2  -,0029  -,0135  ,0497  ,0778  -,0269

F6_3  ,1441  -,0809  -,0427  -,0257  -,0880

F7_2  ,0799  -,1741  -,1037  -,1124  ,0112

F8_1  -,0661  -,1223  ,1816  -,0531  ,1604

F8_2  ,2855  -,0727  ,2485  ,0179  ,1132

F8_3  ,2136  ,1752  -,2774  ,1447  ,1103

F8_4  ,1260  ,0891  ,0401  ,0725  -,1001

F8_5  -,0265  ,0081  -,1491  -,1615  ,0162

F9_1  ,1820  -,0231  ,1570  ,2025  ,0705

F9_2  -,0617  ,0674  -,0336  -,0526  ,1932

F9_3  ,3385  -,1101  ,0239  -,0086  -,0960

F9_4  ,1249  ,0542  -,1491  -,1820  -,2241

F9_5  ,2603  ,0101  -,0619  ,0373  ,0201

F10_3  ,0129  -,0165  -,1309  -,0053  -,0331

F11  ,3491  -,0333  ,0362  -,0305  -,1922

F12  -,1778  -,0885  -,0380  ,0869  ,0206

F14  ,1260  ,0150  ,1849  ,1447  ,1905

F15_3  ,0338  -,0432  -,1140  ,0595  -,2843

  R E L I A B I L I T Y  A N A L Y S I S  -  S C A L E  (A L P H A)

  Correlation Matrix

  F5  F6_1  F6_2  F6_3  F7_2

F5  1,0000

F6_1  ,3473  1,0000

F6_2  ,1933  ,3797  1,0000

F6_3  ,1894  ,1795  -,0954  1,0000

F7_2  ,2103  ,1167  -,1700  ,0398  1,0000

F8_1  ,0185  ,1645  ,1741  -,1229  ,1857

F8_2  ,1552  ,1854  ,0667  ,0954  -,0773

F8_3  ,0760  ,1369  ,0965  -,0829  -,0863

F8_4  ,3101  ,1783  -,0179  ,1387  ,2871

F8_5  -,0899  ,0265  -,2444  ,0573  ,3246

F9_1  -,0381  ,1581  -,1036  ,1120  -,0907

F9_2  -,0129  ,1892  -,0351  ,0646  -,0523

F9_3  ,2817  ,2960  ,0820  ,1010  -,0818

F9_4  -,0245  ,1980  -,1683  -,0518  ,1126

F9_5  ,1594  ,0917  -,3045  ,0713  ,2503

F10_3  -,0837  ,2353  ,1887  -,1173  -,1222

F11  ,2754  ,2677  -,0269  ,0602  ,0112

F12  -,1811  -,1103  -,2208  ,3064  -,0591

F14  -,0051  ,2245  ,0965  -,0829  -,0863

F15_3  ,0479  -,0338  ,0396  ,1605  -,1300

  F8_1  F8_2  F8_3  F8_4  F8_5

F8_1  1,0000

F8_2  -,0503  1,0000

F8_3  -,1943  -,0965  1,0000

F8_4  ,0469  ,1137  ,1447  1,0000

F8_5  -,1044  -,1111  ,0413  ,1256  1,0000

F9_1  ,2426  ,2106  ,0560  ,2025  -,1304

F9_2  -,1178  ,1954  ,1585  -,0526  -,0752

F9_3  ,0540  ,1461  ,4178  ,2677  ,0535

F9_4  -,0116  -,1365  -,0768  ,1461  ,0095

F9_5  ,0241  ,1569  -,0172  ,0373  ,3599

F10_3  ,1053  -,1887  ,0605  -,1734  -,1757

F11  ,1604  ,2857  ,0301  ,2481  ,0162

F12  -,0858  -,2322  -,1580  -,2058  -,2208

F14  ,1511  ,3445  ,0769  ,0556  -,1240

F15_3  -,0089  -,1302  -,0948  ,0595  -,0510

  R E L I A B I L I T Y  A N A L Y S I S  -  S C A L E  (A L P H A)

  Correlation Matrix

  F9_1  F9_2  F9_3  F9_4  F9_5

F9_1  1,0000

F9_2  -,1470  1,0000

F9_3  ,0788  -,1326  1,0000

F9_4  ,0874  -,0236  ,0412  1,0000

F9_5  -,0291  ,1061  ,1376  -,0514  1,0000

F10_3  ,0793  ,0132  ,0407  ,1143  -,0891

F11  -,0073  ,1932  ,3190  ,2194  ,2350

F12  ,0383  ,0881  -,1935  ,0121  -,2187

F14  ,2550  ,1585  ,0995  -,0768  ,1202

F15_3  ,0434  -,2107  ,1935  ,2208  -,1199

  F10_3  F11  F12  F14  F15_3

F10_3  1,0000

F11  -,1089  1,0000

F12  -,0647  -,1772  1,0000

F14  -,0363  ,1103  -,1580  1,0000

F15_3  -,0149  -,1524  ,0390  -,0105  1,0000

 * * * Warning * * * Determinant of matrix is close to zero:  4,067E-33

  Statistics based on inverse matrix for scale ALPHA

  are meaningless and printed as  .

  N of Cases =  64,0

  N of

Statistics for  Mean  Variance  Std Dev  Variables

  Scale  20,7188  9,9196  3,1495  30

Item Means  Mean  Minimum  Maximum  Range  Max/Min  Variance

  ,6906  ,0469  ,9844  ,9375  21,0000  ,0672

  R E L I A B I L I T Y  A N A L Y S I S  -  S C A L E  (A L P H A)

Item-total Statistics

  Scale  Scale  Corrected

  Mean  Variance  Item-  Squared  Alpha

  if Item  if Item  Total  Multiple  if Item

  Deleted  Deleted  Correlation  Correlation  Deleted

F1  19,7344  9,8172  ,1108  .  ,5594

F2_1  19,7969  9,2755  ,3465  .  ,5380

F2_2  19,7500  9,7460  ,1305  .  ,5575

F2_3  19,7500  9,7460  ,1305  .  ,5575

F2_4  20,0625  9,0119  ,2361  .  ,5413

F2_5  20,0156  8,2061  ,5691  .  ,4906

F3_2  20,2031  9,8152  -,0473  .  ,5844

F4_1  19,9688  9,6498  ,0293  .  ,5699

F4_2  20,0000  9,2698  ,1611  .  ,5524

F4_3  20,1875  9,5516  ,0370  .  ,5719

F5  20,1406  8,5990  ,3675  .  ,5198

F6_1  20,4219  8,4382  ,4745  .  ,5056

F6_2  20,5625  9,8690  -,0362  .  ,5743

F6_3  20,6719  9,6843  ,1433  .  ,5560

F7_2  19,7500  9,8095  ,0722  .  ,5606

F8_1  19,8594  9,6148  ,0838  .  ,5609

F8_2  19,8750  9,2857  ,2242  .  ,5453

F8_3  19,9063  9,4196  ,1430  .  ,5546

F8_4  20,0000  8,8254  ,3301  .  ,5281

F8_5  19,7813  10,0149  -,1002  .  ,5733

F9_1  19,9219  8,9938  ,3131  .  ,5329

F9_2  19,7969  9,7517  ,0561  .  ,5623

F9_3  19,8906  8,8926  ,3891  .  ,5249

F9_4  19,9531  9,4740  ,1002  .  ,5603

F9_5  19,8125  9,4881  ,1908  .  ,5506

F10_3  20,5000  9,9365  -,0725  .  ,5816

F11  20,1875  8,6310  ,3505  .  ,5224

F12  20,3750  10,5238  -,2683  .  ,6124

F14  19,9063  9,1022  ,2792  .  ,5378

F15_3  20,0625  9,8373  -,0489  .  ,5828

Reliability Coefficients  30 items

Alpha =  ,5620  Standardized item alpha =  ,5687

 

10.  Erklärung

Hiermit erkläre ich, dass ich die vorliegende Hausarbeit mit dem Thema

Entwicklung und Erprobung eines lernzielorientierten Leistungstests „Grundwissen Energie“

ohne fremde Hilfe erstellt habe. Alle verwendeten Quellen wurden angegeben. Ich versichere, dass ich bisher keine Hausarbeit oder Prüfungsarbeit mit gleichem oder ähnlichem Thema an der FernUniversität oder einer anderen Hochschule eingereicht habe.

Herzogenrath / 10.05.2004

Unterschrift

---

[1] Tyler schlug vor, die in einem Lernziel enthaltenen Inhalte von den ebenfalls im Lernziel angesprochenen Verhaltensweisen zu trennen und eine zweidimensionale Matrix aufzustellen. In den Zeilen dieser Matrix sind die Inhalte und in den Spalten die Verhaltensweisen des Lernziels eingetragen. Aufbauend auf die von Tyler vorgeschlagenen Inhalts-Verhaltensmatrix, formulierten Bloom und seine Mitarbeiter eine umfangreiche Taxonomie für die Klassifizierung von Lernzielen auf verschiedenen Leistungsniveaus. Die kognitiven Lernziele werden dabei in sechs Klassen eingeteilt, wobei der Komplexitätsgrad der einzelnen Klassen (Leistungsniveau) nach oben zunimmt. Als erste und nicht komplexe Verhaltensweise sieht Bloom die Wiedergabe von Wissen. Daran anschließend Verstehen, Anwendung, Analyse, Synthese und die Bewertung. Weiterführende Informationen zur Lernzieltaxonomie finden sich bei Hilke(1980) und Stangl (2004).

[2] Vertiefende Literatur und Beispiele zur Anwendung und Bedeutung der sprachlichen Regeln bei der Aufgabenformulierung finden sich in Rost (2004), Porst (2000) und Lienert (1969).

[3] RF steht für Richtig-Falsch. Bei einer RF Aufgabe kann der Proband zwischen einer richtigen und einer falschen Antwort auswählen. EG steht bei Lienert für Ergänzungsaufgabe. Bei diesem Aufgabetyp soll die Aufgabe durch Eintragung eines Wortes oder durch eine kurze Darstellung (z.B. ein Symbol, eine Zeichnung) vervollständigt werden.

[4] Eine Interpretation des in Abbildung 5 dargestellten Q-Q Diagramms unterliegt der Objektivität des Betrachters. Eckstein weist darauf hin: „Mitunter ist eine angestrebte Entscheidung darüber, ob für eine Grundgesamtheit ein spezielles Verteilungsgesetz oder eine Normalverteilung unterstellt werden kann, mit Hilfe eines aus der Stichprobe konstruierten Q-Q Plot bzw. P-P Plot nicht ohne Weiteres zu beantworten.“ Die in der Hausarbeit verworfene Verteilungshypothese “Die erreichte Gesamtpunktzahl im konstruierten Leistungstest ist in der Grundgesamtheit normalverteilt.“ sollte daher durch einen K-S-Anpassungstest ergänzt werden.

[5] Diese einfache Formel vernachlässigt eine Zufallskorrektur. Der ermittelte Schwierigkeitsindex ohne Zufallskorrektur ist somit identisch mit dem arithmetischen Mittelwert des Items.

[6] In der Literatur finden sich zwei unterschiedliche Techniken: Trennschärfe-Indizes und Trennschärfe-Koeffizienten. Auf die Unterschiede dieser beiden Techniken wird in dieser Hausarbeit nicht näher eingegangen.

Eine Zusammenfassung beider Techniken finden sich in Schnell, Hill, Esser (1999). Detaillierte Beschreibungen zum Trennschärfe-Indiz finden sich bei Lienert (1969) und Eckstein (1980).

[7] Die Durchführungsobjektivität wurde in der Probeerhebung durch die gemeinsame Entwicklung des Tests in der Arbeitsgruppe realisiert. Eine genaue Testinstruktion war bei der Erprobung nicht erforderlich. Die Testleiter stellten gleichzeitig die Mitglieder der Arbeitsgruppe dar, wodurch die äußeren Bedingungen der Testsituation möglichst gleich gehalten werden konnten.

[8] Birkel bemerkt zur Anzahl der Auswahlmöglichkeiten: „Die Anzahl der Auswahlantworten sollte nicht größer sein als 5. Das hängt einerseits mit der Ratewahrscheinlichkeit, andererseits ...“ (1976, S.41).