Inhaltsverzeichnis

Seite   

1  Einleitung  1

2  Methodik der PISA-Studie  1

2.1  Grundlagen  1

2.2  Konstruktion des Tests  2

2.3  Testaufgaben  3

2.3.1  Reading Literacy  3

2.3.2  Mathematical Literacy und Problemlösen  4

2.3.3  Scientific Literacy  5

3  Anmerkungen zur Methodik  7

3.1  negativ  7

3.1.1  Testkonzeption  7

3.1.2  Auswertung  9

3.1.3  Kompetenzstufenmodell  10

3.2  positiv  12

4  Aussagekraft  13

5  Auswertung der Daten  15

5.1  Allgemeines  15

5.2  Sozialer Status  17

5.3  Innerdeutsches Nord-Süd-Gefälle  18

6  Interpretation der Daten  19

6.1  Öffentliche Debatte  19

6.2  Wichtigste Einflussfaktoren  20

6.3  Migrationshintergrund  20

6.4  Schulform  22

7  Veränderungen als Reaktion auf die PISA-Ergebnisse  23

8  Fazit/Ausblick  24

Literaturverzeichnis   

Abbildungsverzeichnis   

Anhang   

1 Einleitung

Das manches im deutschen Bildungssystem im Argen lag, war weithin bekannt - ein markantes Schlagwort für den pädagogischen Notstand zwischen Flensburg und Füssen fehlte allerdings noch, bis im Jahr 2000 die Ergebnisse der ersten PISA-Studie in die Öffentlichkeit getragen wurden. Seither steht die Abkürzung im Volksmund für die Schieflage der hiesigen Schulen, das angebliche Versagen von Eltern, Lehrern und Pennälern sowie die Reformunfähigkeit der politischen Entscheider. PISA musste für vieles herhalten, was sich durch das üppige Zahlenmaterial scheinbar logisch beweisen ließ: Mal wurde die Gesamtschule verteufelt, mal hoch gelobt, mal die frühe Trennung der Kinder nach ihren Fähigkeiten angeprangert und mal die schlechte Integrationsleistung des deutschen Bildungssystems gerügt. Finnland wurde bejubelt, die asiatischen Teilnehmerstaaten spielten in gänzlich der deutschen Schulrealität entrückten Ligen. Gleichzeitig schossen die Kritiker aus allen Rohren, um den „Mythos PI-SA“ zu verunglimpfen und ihm die Glaubwürdigkeit zu entziehen. Die vorliegende Arbeit soll die geäußerten Beanstandungen zusammentragen und so einen Überblick über die Schwachpunkte der PISA-Untersuchungen liefern. Gleichzeitig fällt das Schlaglicht auf die Frage, für welche Schlüsse das Zahlenmaterial festen Grund bietet und welcher Korrelation die Kausalität fehlt.

2 Methodik der PISA-Studie

2.1 Grundlagen

Das „Programme for International Student Assessment“ (PISA) ist eine internationale Schulleistungsuntersuchung, die seit dem Jahr 2000 in dreijährigem Turnus in den meisten der 30 Mitgliedsstaaten der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) und einer zunehmenden Anzahl von Partnerstaaten durchgeführt wird. Die Studie hat zum Ziel, die Leistungsfähigkeit verschiedener nationaler Bildungssysteme im internationalen Vergleich durch die Messung von alltags- und berufsrelevanten Kompetenzen 15jähriger Schüler zu untersuchen. Das Alter der Probanden wurde so gewählt, um festzustellen, wie gut junge Menschen gegen Ende ihrer obligatorischen Schulzeit auf die Herausforderungen der heutigen Gesellschaft vorbereitet sind. 1

Das PISA-Konsortium verzichtet auf „transnationale curriculare Validität“. Stattdessen führt es ein „didaktisches und bildungstheoretisches Konzept mit sich, das normativ ist“ ² . Es wird

¹ vgl. Wuttke, Fehler, Verzerrungen, Unsicherheiten in der PISA-Auswertung, S. 104

² PISA-E 2000, S. 19

1

also nicht die Schnittmenge der in den teilnehmenden Ländern angewandten Lehrpläne abgeprüft, sondern die Kompetenzen anhand von Aufgaben, die im Sinne des Literacy-Konzepts gestaltet sind, getestet. Die Untersuchung findet in einer Größenordnung von etwa 5000 Teilnehmern pro Land statt. Hierbei gliedert sich die Studie in drei große Teilbereiche, nämlich „Reading Literacy“, „Mathematical Literacy“ und „Scientific Literacy“. Das Programm findet turnusmäßig alle drei Jahre statt und untersucht stets einen der genannten Bereiche schwerpunktmäßig.

Das Konzept der OECD sieht ausdrücklich die Möglichkeit vor, dass Teilnehmerstaaten den internationalen Test um nationale Komponenten erweitern. Für den Bundesländervergleich PISA-E ergänzte Deutschland beispielsweise die drei Bereiche durch eigene Aufgaben und setzte eigene Schwerpunkte, nämlich im Jahr 2000 mit dem Komplex „Lernstrategien und selbstständiges Lernen“, 2003 durch das Modul „Problemlösen“ und 2006 mit Fragen zum Thema „Informationstechnische Grundbildung“. Zudem beantworteten die deutschen Probanden einen Schülerfragebogen mit Hintergrundfragen über ihre Herkunft und ihre Lebensumstände.

2.2 Konstruktion des Tests

Die ersonnenen Testfragen wurden ihrer Schwierigkeit nach geordnet. Diese Sortierung erfolgt durch Erhebung der relativen Häufigkeit der falschen Lösung. ³ Je höher also eine Aufgabe auf dieser Skala angesiedelt ist, desto schwieriger ist sie. Um die Skala der Aufgabenschwierigkeiten über ihre Hilfsfunktion im Staaten-Ranking hinaus nutzen zu können, wurde sie willkürlich in fünf Kompetenzstufen und eine darunter liegende Inkompetenzstufe geteilt. Anhand der auf einer bestimmten Stufe typischerweise lösbaren Aufgaben wurde eine verbale Beschreibung der erforderlichen Schülerkompetenz erarbeitet. ⁴ Die Aufgaben in einer Kompetenzstufe werden daraufhin untersucht, welche Kompetenzen zu ihrer Lösung benötigt werden. Diese Kompetenzen beschreiben nun das Anforderungsniveau dieser Kompetenzstufe. ⁵ Die Obergrenze einer Stufe ergibt sich daraus, dass die Probanden, die auf der Untergrenze dieser Stufe angesiedelt sind, 50% aller Aufgaben auf dieser Stufe lösen. ⁶ Stufe I erfasst grundlegende Fähigkeiten, im Bereich Mathematical Literacy beispielsweise die Berechnung einer Rechtecksfläche, deren Beherrschung etwa gegen Ende der Grundschulzeit erwartet

³ vgl. Bender, Andere Sicht auf PISA, S. 50

⁴ vgl. OECD 2004, S. 45 ff.

⁵ vgl. Meyerhöfer, Tests im Test, S. 97

⁶ vgl. Bender, Andere Sicht auf PISA, S. 52 f.

2

wird. Das Erreichen der Stufe V hingegen erfordert differenzierte Kenntnisse und Lösungsstrategien. So muss bei einer Aufgabe dieses Kompetenzniveaus beispielsweise erkannt werden, dass die in der Aufgabenstellung beschriebene Situation sich in einen mathematischen Sachverhalt übersetzten lässt, welcher in seiner Grundstruktur auf eine lineare sowie exponentielle Wachstumsfunktion zurückgeführt werden kann. Erst nach Aufstellen der Funktion konnte das weitere Wachstum berechnet werden. 7

Die Ergebnisdarstellung erfolgt mit Hilfe der Normalverteilung. Bestimmte Intervalle der Punkteskala entsprechen jeweils den verschiedenen Kompetenzstufen, Schwierigkeits- und Kompetenzwerteskala werden nachträglich so skaliert, dass die Kompetenzwerte im OECD-Staatenmittel den Mittelwert 500 Punkte und die Standardabweichung 100 haben, 68,3% der Testergebnisse liegen damit im Bereich von 400 bis 600 Punkten. Die Intervalle auf der Skala entsprechen nun den verschiedenen Kompetenzstufen. Der Bereich zwischen 480 und 550 Punkten steht beispielsweise für Leistungen auf dem Kompetenzniveau III, der Stufe V entsprechen Punktewerte über 625, während ein Ergebnis von unter 335 Punkten besagt, dass im entsprechenden Test die Kompetenzstufe I nicht erreicht wurde. 8

2.3 Testaufgaben

2.3.1 Reading Literacy

Unter Lesefähigkeit versteht das Literacy-Konzept die Fähigkeit, „geschriebene Texte unterschiedlicher Art mit ihren Aussagen, ihren Absichten und ihrer formalen Struktur zu verstehen, sie in einen größeren Zusammenhang einzuordnen, sowie in der Lage zu sein, Texte für verschiedene Zwecke sachgerecht zu nutzen“ ⁹ .

Zentrale Grundlage für die internationale Testentwicklung sind die theoretischen Annahmen zur Struktur der Lesekompetenz. Die Konzeption von PISA beruht auf einem pragmatischen Strukturmodell, das auf die Vorarbeiten von Kirsch und Mosenthal zurückgreift. Dieses Modell beruht auf dem Prinzip „Arbeiten mit Texten“, was bedeutet, dass der Text auch bei der Beantwortung der Fragen ständig verfügbar bleibt. Daher stehen die Verstehensleistungen im Mittelpunkt, wobei hierbei zwischen grob textimmanenten und wissensbasierten Verstehensleistungen unterschieden wird. Im Gegensatz zum internationalen Testteil wurden bei PISA-E abweichend vom Kirsch/Mosenthal-Modell Texte eingesetzt, bei denen der Testphase eine

⁷ Die oben beschriebene Aufgabe ist im Anhang wiedergegeben, siehe Anlage 1

⁸ vgl. PISA-E 2000, S. 47

⁹ vgl. PISA 2000 - Bericht des dt. Konsortiums, S. 22

3

Lernphase voraus ging. Hierdurch sollte vordergründig die Kompetenz, Inhalte von Texten zu behalten bzw. eine sinnvolle Textrepräsentation im Gedächtnis aufzubauen, getestet werden. ¹⁰ Neben fortlaufenden Texttypen bezieht PISA nicht fortlaufende Texte ein, dazu gehören Formulare, Grafiken, Karten, Diagramme, Tabellen usw., die in unterschiedliche textliche Zusammenhänge eingebettet sind. Etwa zwei Drittel des Testteils „Reading Literacy“ sind fortlaufende Texte, der Rest sind nicht-lineare Texte. Nur 12% der Texte sind literarischer Art. Die Verstehensleistungen beschränken sich folglich auf das Erfassen des Sachgehalts, denn ästhetische Leseweisen gibt es bei PISA nicht. ¹¹ Damit unterscheidet sich der Test sehr stark vom herkömmlichen Schulunterricht, welcher größten Wert auf die literarische Qualität der gelesenen Texte legt. Innerhalb des PISA-Tests ist die jeweilige Schöpfungshöhe der eingesetzten Texte irrelevant.

Abbildung 1:

2.3.2 Mathematical Literacy und Problemlösen

Der Kunstbegriff der Mathematical Literacy wurde durch das PISA-Konsortium wie folgt definiert: „Mathematische Grundbildung ist die Fähigkeit einer Person, die Rolle zu erkennen und zu verstehen, die Mathematik in der Welt spielt, fundierte mathematische Urteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens dieser Person als konstruktivem, engagiertem und reflektierendem Bürger entspricht“ ¹² Im Rahmen der PISA-Untersuchungen liegt der Schwerpunkt demnach auf der funktionalen Anwendung von mathematischen Kenntnissen in unterschiedlichen Kontexten und auf unterschiedliche,

¹⁰ vgl. PISA 2000 - Bericht des dt. Konsortiums, S. 24

¹¹ vgl. Messner, PISA und Allgemeinbildung, S. 403

¹² vgl. Internationales Rahmenkonzept Mathe, S. 2

4

Reflexion und Einsicht erfordernde Weise. Damit folgt das Test-Konsortium auch hier stringent der Leitlinie, nicht die Lehrplaninhalte abprüfen zu wollen, sondern das Vorhandensein der für die Lebensrealität nützlichen Kenntnisse zu untersuchen. Der größte Bestandteil der Mathematical Literacy ist die Kompetenz zum Modellieren, was im weitesten Sinne mit Problemlösen umschrieben werden kann und erklärtermaßen mit Aufgabenlösen zu identifizieren ist. Ein wichtiger Standard ist die „Vorbereitung auf offene Aufgabenstellungen, da realistische Probleme und Aufgaben in der Regel nicht gut definiert sind“ ¹³ . Das abgeprüfte analytische Problemlösen will das Konsortium verstanden wissen als Aufgabe zur „Analyse gegebener oder erschließbarer Informationen und dem Entwickeln einer Lösung“ passend zu einer „verbal, oft auch unter Nutzung von Graphiken, beschriebenen Ausgangslage […] ergebenen Problemstellung.“ Die Bedingung ist, dass „der Lösungsweg nicht unmittelbar erkennbar ist.“ 14

Die Aufgaben - mehrheitlich aus dem Bereich Multiple Choice - werden nach mathematischen Leitideen kategorisiert. Kamen im ersten PISA-Zyklus nur Problemstellungen aus den beiden Gebieten „Raum und Form“ sowie „Veränderung und Wachstum“ zum Einsatz, so sind für die Folgeauflagen auch die Bereiche „Zufall“, „Abhängigkeit und Beziehungen“ und einige mehr vorgesehen. Obgleich erkannt wurde, dass so genannte „eingekleidete Aufgaben“ an Authentizität verlieren ¹⁵ , wurden die als „Situationen“ titulierten Aufgabenkontexte wortreich dargestellt. Mithin wurde die Gefahr in Kauf genommen, dass Probanden aufgrund ihrer unzureichenden sprachlichen Fähigkeiten von der Demonstration ihres mathematischen Könnens ausgeschlossen werden.

2.3.3 Scientific Literacy

Neben Lese- und Rechenfähigkeit sieht das vom PISA-Konsortium entworfene Anforderungsprofil auch das Beherrschen grundlegender naturwissenschaftlicher Zusammenhänge als bedeutsam für die Teilhabe an der Gesellschaft an. Naturwissenschaftliche Grundbildung ist demnach „ein unverzichtbar wichtiger Aspekt der Allgemeinbildung“ ¹⁶ . Naturwissenschaftliche Kompetenz solle flexibel in unterschiedlichen Situationen genutzt und angewendet werden können. Das naturwissenschaftliche Wissen müsse daher insbesondere anschlussfähig sein, also Kompetenzen umfassen, die für die Aneignung neuer Wissensbestände bzw. für

¹³ PISA-E 2000, S. 25

¹⁴ PISA 2003 - Bericht des dt. Konsortiums, S. 148 f.

¹⁵ vgl. Internationales Rahmenkonzept Mathe, S. 5

¹⁶ PISA 2000 - Bericht des dt. Konsortiums, S. 192

5

eine Auseinandersetzung mit den Naturwissenschaften über die Lebensspanne erforderlich sind.

Sich daran orientierend wurde folgende Definition entworfen: Naturwissenschaftliche Grundbildung [Scientific Literacy, d.Verf.] ist ein „Verständnis grundlegender naturwissenschaftlicher Konzepte, die Vertrautheit mit naturwissenschaftlichen Denk- und Arbeitsweisen sowie die Fähigkeit, dieses Konzept- und Prozesswissen vor allem bei der Beurteilung von naturwissenachftlich-technischen Sachverhalten anzuwenden“. ¹⁷ Bezogen auf die Zielgruppe der Untersuchung, 15-jährige Jugendliche, ist der Bezugspunkt eine konzeptuelle und prozedurale naturwissenschaftliche Grundbildung. „Sie schließt die Fähigkeit ein, Fragestellungen zu erkennen, die naturwissenschaftlich beantwortet werden können, Informationen und Daten zu interpretieren sowie Schlussfolgerungen kritisch zu prüfen.“ ¹⁸ Drei Aspekte bestimmen die Erfassung naturwissenschaftlicher Grundbildung im Rahmen der PISA-Untersuchungen: Naturwissenschaftliche Prozesse (die Fähigkeit, Nachweise zu erbringen und zu interpretieren sowie ihren Implikationen entsprechend zu handeln), naturwissenschaftliche Konzepte (Verknüpfungen, mit deren Hilfe verwandte Phänomene verstanden werden können) und naturwissenschaftliche Anwendungsbereiche (dem Alltag entnommene komplexere Angelegenheiten mit naturwissenschaftlichem Hintergrund). 60 Prozent der insgesamt 13 in diesem Bereich international eingesetzten Aufgaben wurden im Multiple-Choice-Format gestellt, die übrigen mussten frei beantwortet werden. ¹⁹ Die Aufgaben sind so konzipiert, dass jeweils ein Text vorgegeben wird, aus dem dann einige Aufträge in Aufgabenform für Schülerinnen und Schüler abgeleitet wurden. Das Hauptaugenmerk liegt dabei auf der Beherrschung von Prozessen, dem Verständnis von Konzepten und auf der Fähigkeit, innerhalb eines Bereiches mit unterschiedlichen Situationen umzugehen. Es handelte sich um realistische Fragestellungen und Probleme, die sich nicht immer nur von den gerade behandelten engen stofflichen Inhalten ableiten ließen. Außerdem war ein fachübergreifendes Denken zwischen den Naturwissenschaften und Geographie zur Lösung der Aufgaben häufig erforderlich. Bei der Umschreibung der Kompetenzstufen orientierte sich das Konsortium an den Definitionen der anderen Wissensbereiche. Ein entscheidender Schritt ist folglich das Erreichen der Stufe III, ab der davon gesprochen werden kann, dass Schülerinnen und Schüler in der Lage sind, in der Schule vorgestellte naturwissenschaftlichen Konzepte für ihre Antworten nutzen

¹⁷ PISA 2000 - Bericht des dt. Konsortiums, S. 26

¹⁸ PISA 2000 - Bericht des dt. Konsortiums, S. 198

¹⁹ vgl. PISA 2000 - Bericht des dt. Konsortiums, S. 202

6

zu können. Unterhalb stellt die Beantwortung der Fragen lediglich die Wiedergabe von Alltagswissen dar.

Auch im Bereich der Naturwissenschaften stellt die Lesefertigkeit - wie bereits für den Bereich der Mathematik erwähnt - eine Kernvoraussetzung zum Verständnis und zur Beantwortung der gestellten Fragen dar.

3 Anmerkungen zur Methodik

3.1 negativ

3.1.1 Testkonzeption

Bereits die Konzeption der PISA-Tests stößt in der Literatur auf erbitterte Kritik. Meyerhöfer weist darauf hin, dass schon bei der Grundkonstruktion des Tests der Charakter der Aufgaben als didaktische Instrumente mit dem Charakter der Aufgaben als Messinstrumente vermischt wird. Seiner Meinung nach liegt das daran, dass beteiligte Didaktiker die Aufgaben als Instrument zur didaktischen Instruktion von Lehrern ansehen. Gerade die internationalen Aufgaben werden als vorbildlich für den Unterricht gehandelt und stellen einen neuen mathematikdidaktischen „Habitus“ dar, obwohl seiner Meinung nach „bei mehreren Aufgaben eine Missachtung des Mathematischen bei gleichzeitiger Überbetonung des Fachsprachlichen“ vorliegt sowie die Annährung an das Reale gänzlich misslingt. ²⁰ Ein Projekt wie PISA kann auch aus Benders Sicht den selbst gestellten Anforderungen des PISA-Konsortiums nicht entsprechen. Bender meint, dass weder die Aufgaben auf Mathematisierbarkeit zu prüfen sind noch das Erkennen und Verstehen der Rolle der Mathematik aufgezeigt werden kann. Dies sei bei einem Testformat mit etwa der Hälfte Multiple-Choice-Aufgaben nicht verwunderlich. Außerdem stellen die kleinen „Häppchenaufgaben“ kein authentisches Sachproblem dar, schon gar nicht eines aus der Lebensrealität der 15-Jährigen selbst. 21

Bender merkt außerdem an, dass es bei dem Test unbeabsichtigt unter anderem darum ginge, „extrinsische Fähigkeiten“ abzuprüfen. Der Großteil der Testaufgaben kam aus dem angelsächsischen Bereich. Die Eindeutigkeit zahlreicher Aufgaben wurde seiner Meinung nach durch misslungene Formulierungen und Übersetzungsfehler verfehlt. Hinzu kommt die Tatsache, dass die übersetzten Ausgaben tendenziell längere Aufgabentexte beinhalteten (in Frankreich waren die Aufgabentexte etwa um 12% länger als die englischen Uraufgaben) ²² , was

²⁰ vgl. Meyerhöfer, Tests im Test, S. 95 f.

²¹ vgl. Bender, Andere Sicht auf PISA, S. 46 f.

²² vgl. Wuttke, Fehler, Verzerrungen, Unsicherheiten in der PISA-Auswertung, S. 123

7