Diagnostik, Rückmeldung und Evaluation

1. Diagnostik:

- Definition Diagnose: Die Bewertung einer Person, indem man systematisch Informationen über diese sammelt und aufbereitet und durch ein vorgegebenes Klassifikationssystem.

- Ziel von pädagogisch-psychologischer Diagnostik:
Im Hinblick auf die Pädagogik dient die Diagnostik der Optimierung des pädagogischen Handelns (sie ist eine Entscheidungsgrundlage).

- Ziel von leistungsbezogener Diagnostik:
Das individuelle Lernen soll optimiert werden durch
- die Analyse von Lernprozessen
- die Feststellung von Lernergebnissen
- die Ermittlung der Voraussetzungen und Bedingungen, die ein
ein Schüler im Hinblick aufs Lernen erbringen sollte

- Zentrale Entscheidungsbereiche der pädagogisch-psychologischen Diagnostik:
- Selektion durch Schullaufbahnentscheidungen
(Welche Schulform ist angemessen?, Sollte ein Kind von der
Einschulung zurückgestellt werden?)
- Placement durch Interventionsentscheidungen
(Besteht eine Lese-Rechtschreibschwäche, die zu behandeln ist?, Liegt
eine Hochbegabung vor, auf die reagiert werden sollte?)
- Erfassung von Lern- und Entwicklungsumwelten
(Wie schätzen die Schüler das Schul- oder Klassenklima?)
- Überwachung des Lernverlaufs und kontinuierliche Einschätzung der
Lernergebnisse

- Selektionsdiagnostik vs. Modifikationsdiagnostik:
Die diagnostischen Strategien nach Pawlik:
- Selektionsdiagnostik
Ziel: die Auswahl (einer geeigneten Lernumwelt für eine Person z.B.: die passende Schulform), Klassifikation und Platzierung von Personen
- Modifikationsdiagnostik
Ziel: Entscheidungen über die Maßnahmen zur Veränderung der
Person treffen (Herstellung einer spezifisch geeigneten Umwelt für
eine Person, z.B.: spezifische Lernhilfen und Beratungsangebote)

Statusdiagnostik vs. Prozessdiagnostik:
- Statusdiagnostik
Sie soll den Zustand einer Person bzw. deren Aspekte des Verhaltens
und Erlebens (die für die pädagogische Entscheidung relevant sind)
erfassen.
Die Statusdiagnostik wird als Voraussetzung für
Selektionsentscheidungen genutzt.
Das Zustandsmerkmal der Person ist vergleichsweise stabil.
Statusdiagnostik am Ende eines Treatments = summative Diagnostik
- Prozessdiagnostik
Sie soll die Veränderung einer Person (im Hinblick auf die Aspekte
des Verhaltens und Erlebens, die für die pädagogische Entscheidung
relevant sind) erfassen.
Die Prozessdiagnostik wird als Voraussetzung für Entscheidungen im
im Rahmen einer Modifikationsstrategie genutzt.
Das Merkmal lässt sich in überschaubaren Zeiträumen verändern.
Prozessdiagnostik im Verlauf des Treatments = formative Diagnostik

2. Funktionen der Leistungsbeurteilung:

a) Pädagogisch-didaktische Funktionen (Optimierung von Lehr-Lernprozessen)
- Informationsfunktion (den erreichten Lernstand selber realistisch
einschätzen)
- Lehr-Lern-Diagnose (Die Diagnose des aktuellen Lernstands wird
als Basis für die weitere Planung und Gestaltung von Lehr-
Lernprozessen genutzt)

b) Gesellschaftliche, politische und schulorganisatorische Funktionen
- Selektionsfunktion (optimale Platzierung befähigter Anwärter auf
bestimmte Positionen und Laufbahnen)
- Sozialisierungsfunktion (die Vorbereitung nachwachsender
Generationen auf die leistungsorientierte Gesellschaft)
- Kontrollfunktion (Überwachung der Resultate von
Bildungsprozessen durch Lehrer, Schulen und Schulsystemen)

3. Grundbegriffe:

- Variable: (wird auch Konstrukt genannt)
ist das Merkmal oder die Eigenschaft eines Objektes oder einer Person, welche
in mindestens zwei verschiede Arten auftreten kann:
- direkt beobachtbare Variablen (= manifeste Variablen), z.B.:
Größe oder Geschlecht
- nicht-direkt beobachtbare Variablen (= latente Variablen), z.B.:
Intelligenz und Zufriedenheit
Die Merkmale die wir messen wollen, liegen beobachtbaren
Verhalten zugrunde: Beispiel
- die gute Leistung in einer Klausur als Indikator für
sprachliche oder mathematischen Kompetenz
- wenn man regelmäßig seine Hausaufgaben erledigt und/oder
regelmäßig im Unterricht mitarbeitet ist es ein Indikator für
Disziplin und/oder Leistungsbereitschaft
à Beispiel zu einer Variable
Die Sprachkompetenz ist zum Beispiel unsere Variable und hat folgende
Dimensionen: Wortschatz, Hörverstehen, Grammatik. Die sogenannten Items
erklären die Dimensionen näher, d.h. im Hinblick auf den Wortschatz wäre ein Item zum Beispeil „Das Kind verwendet eine Vielfalt von Wörtern“ oder im Hinblick auf die Grammatik „Das Kind verwendet komplexe fehlerfreie Sätze“.

- Item:
Items sind die Grundbausteine eines Tests oder eines Messverfahrens. Items sind die Reize, auf die Personen reagieren sollen. Items können zum Beispiel auditiv, visuell oder Kombinationen davon sein.
Die Art der zu registrierenden Reaktion kann sein:
- schriftliche oder mündliche Äußerungen
- Zeichnungen
- kreuze in einem Fragebogen
- Mimik und Gestik

- Messen:
Verschiedenen Stufen, Größen oder Variablen werden Zahlenwerte zugeordnet.
(Zuordnung von Zahlen zu Objekten)

- Operationalisierung:
Erfassung einer abstrakten/theoretischen Variable anhand eines konkret messbaren
Merkmals
Beispiel: Mathematischen Begabung kann zum Beispiel anhand der erreichten
Punktzahl in einem mathematischen Kompetenztest oder anhand der Halbjahresnote in Mathe festgestellt werden

- Test:
Ist ein Verfahren, was die Ausprägung einer Variable erfasst (z.B.: Intelligenztest). Ein Test besteht aus einer Reihe von Items.
Ein Test untersucht Persönlichkeitsmerkmale und möchte eine möglichst genaue Auskunft im Hinblick auf die individuelle Merkmalsausprägung geben.

4. Statistische Grundlagen:

- Skalenniveaus:
Das Skalenniveau (siehe die 4 Skalen weiter unten) wird dadurch ermittelt, inwiefern die Aussagen über die Messobjekte (z.B.: ist der Schüler intelligent, so ist er in allen Fächern gut) und die Aussagen über die zugeordneten Zahlen (in welcher Relation steht die Aussage von oben (gleich(es stimmt)/ungleich
(Intelligenz nur auf bestimmte Fächer bezogen))).
- unterschiedliche Skalenniveaus:
à Nominalskala (gleich/ungleich?)
(ja oder nein)
(Die Zuordnung muss eindeutig sein, z.B.: Herkunftsland,
Studienfach, Geschlecht, Postleitzahl, Muttersprache der
der Kinder, Familienstand)
à Ordinal-, Rangskala (kleiner/größer?)
(nicht alles gleich)
(Abstände zwischen verschiedenen Rangplätzen sind nicht
gleich, z.B.: Rangplätze bei Sportwettbewerben,
Ziffern- und Schulnoten, Schulabschlüsse wie HS, MSA,
GY, Politiker (höherer Wert, umso beliebterer der Politiker))
à Intervallskala (Abstand?)
(Beispiele: Temperatur Celsius/Fahrenheit, Kalenderzeit, IQ)
à Verhältnis-, Proportionalsskala/metrisch (Verhältnisse?)
(Beispiele: Längenmessung und Gewichtsmessung,
Intelligenzquotient, Einkommen in Euro, Zahl gelöster
Aufgaben im Vokabeltest)

- Wovon hängt das Skalenniveau ab?
à vom untersuchten Merkmal selbst (Das Geschlecht kann zum
Beispiel nur der Nominalskala zugeordnet werden)
à von der Operationalisierung (Feststellung) des Merkmals (die
Schulleistung lässt sich zum Beispiel unterschiedlich erfassen):
a) „sitzen geblieben“ vs. „nicht sitzengeblieben“ = nominal
b) Schulnoten = ordinal
c) erreichte Punktzahl in einer Klausur = metrisch
Punkte entsprechen Noten

- Maßen der zentralen Tendenz (Modus, Median, Arithmetisches Mittel(= Mittelwert)):
- Modalwert/Modus:
à Der in einer Verteilung am häufigsten vorkommende Wert
à geht bei Nominalskala nicht
- Median:
à halbiert eine Verteilung in zwei Hälfte
à geht nur bei Intervallskala und Verhältnis-, Proportionalskala
(metrisch)
à bei gerader Fallzahl (zum Beispiel 16, 18 oder 20 Schüler) ist
der Median gleich dem Mittelwert
- Mittelwert:
à Durchschnittswert einer Verteilung (zum Beispiel Summe der
Punkte geteilt durch die Anzahl der Schüler) (Man teilt die Summe
aller Werte durch die Anzahl aller Werte)
à geht nur bei Verhältnis-, Proportionalskala (metrisch)

- Verteilungen:
- Normalverteilung:
Bedeutet, dass Merkmale sowie Kennwerte annähernd normalverteilt sind
(X-Achse = Merkmalsausprägung, Y-Achse = Häufigkeit)
- Eigenschaften der Normalverteilung:
- die Verteilung ist wie ein Hügel (Glocke)
- die Verteilung ist symmetrisch
- Modalwert, Median und Mittelwert fallen zusammen
- der Strich vom Hügel berührt nie die X-Achse (Verteilung nähert
sich asymptotisch der X-Achse)
- Stichprobe und Grundgesamtheit:
- Grundgesamtheit (Population) sind alle potenziell untersuchbare
Personen oder Objekte die ein gemeinsames Merkmal oder
Merkmalsmuster aufweisen (z.B.: alle Grundschüler und
Grundschülerinnen in Deutschland, alle 8-jährigen Kinder in Berlin).
Man beschreibt die Grundgesamtheit mit Hilfe des Mittelwertes (m)
und der Standardabweichung (s). Es handelt sich um Parameter.
- Stichprobe: Teilmenge von Grundgesamtheit (z.B.: 500 Schüler und
Schülerinnen aus Grundschulen in Deutschland).
Beschreibung anhand von Mittelwert (X mit Querstrich drüber,
Standardabweichung s)

- Lineartransformationen:
- Standardnormalverteilung (z-Verteilung): alle Normalverteilungen lassen sich
in eine einheitliche Verteilung, die Standardnormalverteilung, umwandeln.
Dieser Vorgang nennt sich z-Transformation. Die Standardnormalverteilung
hat den Mittelwert 0 und die Standardabweichung 1. Die Standardnormal-
verteilung spielt beim vereinheitlichen von Tests und bei der
Interpretation von Testergebnissen einzelner Personen eine entscheidende
Rolle.
Da die Standardnormalverteilung die Streuung = 1, handelt es sich bei
z-Werten um Einheiten der Standardabweichung. (Beispiel: Ein z = 1,29
bedeutet, dass der Messwert der jeweiligen Person 1,29 Standardab-
weichungen über dem Mittelwert liegt.)
- Umwandlung in IQ-Werte: Kennwerte der IQ-Skala:
- Mittelwert = 100
- Standardabweichung = 15
Bei der Umwandlung von Rohwerten in IQ-Werte handelt es sich um eine
lineare Transformation.
- Umwandlung in T-Werte: T-Werte werden häufig für die Normierung von
standardisierten Schulleistungstests verwendet. Kennwerte der T-Skala:
- Mittelwert = 50
- Standardabweichung = 10
Bei der Umwandlung von Rohwerten in T-Werte handelt es sich um eine
lineare Transformation.
- Streudiagramm: Die Verteilung zweier metrischer Variablen können durch
ein Streudiagramm grafisch dargestellt werden. (z.B.: Welche Note wird bei
einer Klausur erwartet? 3! à Mittelwert; Andere erreichbare Noten , wie z.B.
1 und 2 sowie 4 und 5 und 6 entsprechen der Streuung bzw. Standardab-
weichung! à Standardabweichung)
Wenn die Pünktchen im Streudiagramm doll zusammen liegen bedeutet das
z.B. eine angenehme Arbeitsatmosphäre, liegen sie weit auseinander gilt
das Gegenteil.
Korrelation = beschreibt den Zusammenhang bzw. die Beziehung zwischen
zwei Variablen/Merkmalen.
Korrelationskoeffizient/-wert (r): r ist ein Effektmaß (ob etwas einen
kleinen, mittleren oder großen Effekt hat)
- r = 1 perfekter Zusammenhang zwischen den Merkmalen
(beide Merkmale steigen, je mehr desto mehr)
- r = -1 schlechtester Zusammenhang (ein Merkmal sinkt eins
steigt, je mehr desto weniger)
- r = 0 kein Zusammenhang
„Correlation does not imply causation“!
- Egal wie die Korrelation zwischen den Variablen ist, diese werden sich
nie gegenseitig beeinflussen können
- Die Höhe des Korrelationskoeffizienten (wie groß r ist) ist nicht von der
Wahl der Metrik für die Variablen abhängig (bei Metrik hätten die Variablen
immer einen gleichgroßen Abstand)

5. Gütekriterien für diagnostische Verfahren:

(alles, was mit messen zu tun hat, z.B. Leistung oder Motivation)

- (sind unabdingbar und sollte jeder Test erfüllen)

- Hauptgütekriterium Objektivität
- Ein Test muss objektiv sein, sonst ist er ungültig
- Eine Person muss sich objektiv verhalten, sonst ist der Test ungültig
- wenn etwas nicht objektiv ist, haben alle Kriterien die danach kommen auch
keinen Sinn mehr, d.h. man muss sie gar nicht erst untersuchen
- es gibt drei Arten der Objektivität:
a) Durchführungsobjektivität
- die Durchführung einer diagnostischen Untersuchung darf
nicht von Untersucher zu Untersucher variieren.
- die Durchführungsobjektivität wird zum Beispiel
gewährleistet durch:
- konstante Rahmenbedingungen z.B. während eines
Tests (gleiche Bearbeitungszeiten, gleiche Instruktion,
gleiche Hilfestellungen, gleiche Störeinflüsse wie z.B.
Lernablenkung, Unterbrechung, Tageszeit/Ermüdung,
Lichtverhältnisse)
- keine Bevorzugung oder Benachteiligung von Personen
oder Personengruppen bei der Durchführung des Tests
- Testdurchführung z.B. mit Hilfe von Computern
- Reduktion der sozialen Interaktion auf ein Minimum
- den Aufgabentyp im Test (z.B. die Formulierung von
Aufgaben vor dem eigentlichen Test üben bzw.
erwähnt haben)
- die Durchführungsobjektivität ist bei Interviews und
mündlichen Leistungen eingeschränkt
- Wie lässt sich bei einer mündlichen Prüfung die Objektivität gewährleisten?
- Leas Antworten:
- durch einen einheitlichen Zeitrahmen
- indem man Protokoll führt
- gleiche Fragen werden verwendet
- es gibt mindestens zwei Prüfer
- die Art der Hilfestellung wird festgelegt (nachfragen)
- Temperatur, Licht und Lautstärke sind gleich bzw. ideal

b) Auswertungsobjektivität
- der selbe Testleister muss unabhängig vom Auswerter der
selbe Punktwert zugeordnet werden
- die Auswertungsobjektivität wird zum Beispiel
gewährleistet durch:
- klare Auswertungsregeln für offene Antworten
- Auswertungsschablonen bei richtig/falsch oder
Multiple-Choice-Aufgaben
- die Prüfung der Übereinstimmung der
Auswertungserbenissen von unabhängigen Bewertern
- durch eine computergesteuerten Testauswertung
- die Auswertungsobjektivität ist z.B. bei offenen Antworten
und ganzheitlichen Leistungen (z.B. Aufsatz oder Referat)
eingeschränkt
- Wie könnte man die Auswertungobjektivität bei Klassenarbeiten
gewährleisten und überprüfen?
- Leas Antworten:
- durch einen Erwartungshorizont
- beim Korrigieren nicht auf die Namen der Schüler schauen
- durch einen Zweitkorrekteur
c) Interpretationsobjektivität
- aus den gleichen ausgewerteten Ergebnissen sollten
unabhängig vom Auswerter die gleichen diagnostischen
Schlüsse gezogen werden (mehrere Personen werden mit dem
gleichen Maßstab kontrolliert)
- die Interpretationsobjektivität wird zum Beispiel
gewährleistet durch:
- Normwerte bei standardisierten Tests
- eindeutige Benotungsmodelle bei Klassenarbeiten
- kriterielle Standards

- Hauptgütekriterium Reliabilität
- die Reliabilität ist die Zuverlässigkeit eines Messverfahrens bzw. die
Präzision und die Genauigkeit der Messung unabhängig davon, was
tatsächlich gemessen wird
- je höher die Reliabilität desto besser die Testzuverlässigkeit
- anhand der Reliabilität wird der Messfehler bestimmt (ab ca. r = 0,80 =
gute Reliabilität, ab ca. r = 0,90 = sehr gute Reliabilität) (wiederholte
Messungen liefern ein genaueres Ergebnis ab, als eine große Messung)
- je größer die Anzahl der Items desto reliabler ist der Test (je mehr Items es
also gibt desto größer ist die Reliabilität und desto mehr wird der
Standardmessfehler reduziert)
- Standardmessfehler (SE) (jede Messung ist messfehlerbehaftet, T = true
score, E = Error à Messfehler)
- Messfehler ist eine Zufallsvariable und ist immer unsystematisch
- unsystematische Messfehler: diese sind eine durch Ungenauigkeit des
Tests bedingte Abweichung zwischen gezeigter und wahrer Leistungsfähigkeit
- Konfidenzintervall/Vertrauensintervall (bestimmter Bereich wird
angeschaut Beispiel: Punkte von 0-100; Wie viele Schüler bzw. wie hoch ist die Wahrscheinlichkeit, dass der Bereich von 83-97 Punkten erreicht wird)
- Vertrauensintervall: Das VI gibt an in welchem Messbereich das wahre
Leistungsvermögen einer Person mit einer gewissen
Irrtumswahrscheinlichkeit liegt (jede Messung stellt als nur eine Annäherung
an den wahren Wert, also eine Schätzung, dar)
- je unzuverlässiger der Test ist desto breiter ist das VI
- es gibt 4 Arten der Reliabilität:
a) Wiederholungsreliabilität
- mehrfache Testung mit derselben Testform
- gibt Auskunft über die Stabilität der gemessenen Leistungen
- Probleme:
- Erinnerungs-, Übungseffekte
b) Paralleltestreliabilität
- mehrfache Testung mit parallelformen eines Test
(A und B Klausuren, die gleichzeitig stattfinden)
- gibt Auskunft darüber inwieweit die beiden Paralleltest
gleichwertig sind
- Problem:
- die Konstruktion ist sehr aufwendig aber nützlich
zur Vermeidung von Abschreiben
c) Split-half-Reliabilität
- einmalige Testvorgabe
- Aufteilung des Test in zwei Testhälften (z.B. gerade vs.
ungerade Aufgabennummern bzw. erste vs. zweite Testhälfte)
d) innere Konsistenz
- gibt Auskunft über die Homogenität eines Tests
- einmalige Testvorgabe
- Verwendung ist sinnvoll wenn alle Items eines Test das gleiche
Merkmal messen sollen

[...]