Inhalt

1.  Einleitung  3

2.  Das Gewicht der PISA-Studie  4

2.1  Die Vorgeschichte der Studie und die Effekte der Vorgeschichte  4

2.2  Durchführung und Wirkungen der Studie  7

2.2.1  Technische Daten und organisatorische Aspekte der Studie  7

2.2.2  Die Reaktionen von Öffentlichkeit und Fachwelt  10

2.2.3  Zur Ernsthaftigkeit bei den Getesteten  15

2.3  Exemplarische Untersuchung: Studieren der Studie im Auszug  16

3.  Zusammenfassung  22

4.  Literaturverzeichnis  23

2

1. Einleitung

Die internationale Vergleichsstudie hat in den teilnehmenden Industrienationen für einen erheblichen Gesprächsbedarf gesorgt; dies vor allem in den Ländern, deren Ergebnisse nicht im Bereich des Erwarteten bzw. Erhofften lagen. Das Interesse an den Resultaten beschränkte sich nicht allein auf die international angelegte PISA-Studie, die im Jahr 2000 begonnen wurde und von diesem Zeitpunkt an im Drei-Jahres-Zyklus insgesamt dreimal durchgeführt werden sollte. (So erfolgte bereits im Jahr 2003 der zweite Teil der internationalen Erhebung und der dritte findet derzeit statt.) Auch die national begleitenden Testverfahren (in Deutschland etwa ‚PISA-E’, in Österreich: ‚PISA Plus’) fanden starke Beachtung, wobei zwischen den Reaktionen der öffentlichen Meinung und denen der Fachwelt zu unterscheiden ist und wiederum in den Ländern mit den schlechteren Ergebnissen die stärkeren Auseinandersetzungen um diese Thematik zu verzeichnen sind. In der vorliegenden Arbeit soll zunächst einmal auf die Geschichte internationaler Bildungstests geblickt werden, um in Abgrenzung zu früheren Erhebungen einige Besonderheiten der PISA-Studie herauszuheben. Auch die Gemeinsamkeiten sollen unter diesem Aspekt eine Rolle spielen, lässt sich doch eine gewisse ‚Erhebungstradition’ seit den 60-er Jahren ausmachen, in der bestimmte Eigenheiten der PISA-Studie zu dem geworden sind, was sie heute sind.

Der Mittelteil dieser Untersuchung konzentriert sich auf die Durchführung und Wirkung der Studie. Zum einen werden die technischen Merkmale und die Vielfältigkeit der organisatorischen Aspekte in einer groben Darstellung betrachtet, wobei auch auf die Inhalte und Ziele der Erhebung eingegangen werden soll. Zum anderen geht es in einem weiteren Punkt um die Reaktionen, die durch die Testergebnisse hervorgerufen wurden. Bei dieser Darstellung soll zwischen den Reaktionen der Öffentlichkeit und denen der Fachwelt unterschieden werden. Es scheint, als ob die ersten Wirkungen in Fachwelt und öffentlicher Wahrnehmung nicht allzu weit auseinander gingen und die Studie selbst oft für ein unhinterfragbares Medium genommen wurde, so dass sich zunächst bezüglich des Stellenwerts der Studie keine kritischen Stimmen geäußert haben. Es soll untersucht werden, wieweit eine Kritik an den wesentlichen Merkmalen des Tests, die in der jüngsten Literatur aufgekommen ist, zutreffend ist und inwiefern etwaige Rechtfertigungsversuche für schlechtes Abschneiden Halt finden oder zu verwerfen sind. Im dritten Abschnitt des Hauptteils, der sich der exemplarischen Auseinandersetzung mit einer der im Test befindlichen Aufgaben zu einem literarischen Text widmet, soll unter literaturdidaktischer

3

Perspektive ein kleiner Ausschnitt der Aufgabenstellung kritisch beleuchtet werden, um ein Bild der differenzierteren Verhandlung des Testverfahrens im Bereich der Lesekompetenz zu ermöglichen.

Das Resümee schließlich stellt die Hauptaspekte der vorliegenden Arbeit zusammen und versucht vor dem Hintergrund der erarbeiteten Komplexe, eine zutreffende Einschätzung darüber zu geben, welches Gewicht der Studie zuzusprechen ist.

2. Der Stellenwert der PISA-Studie

2.1 Die Vorgeschichte der Studie und die Effekte der Vorgeschichte

Internationale Vergleichsstudien gibt es nicht erst seit PISA. Bereits 1959-1960 hat die IEA (Internation Association for the Evaluation of Educational Achievement) eine erste Vergleichsstudie auf internationaler Ebene durchgeführt, an der insgesamt zwölf Staaten beteiligt waren. Es handelt sich hierbei um „The Pilot Twelve-Country Study.“ Hier wurden fünf Bildungsbereiche untersucht und die Zielgruppe waren 13-jährige Schülerinnen und Schüler.

The study was conducted in order to investigate the feasibility of undertaking more extensive investigations of educational achievement. Testing was carried out in the five areas of mathematics, reading comprehension, geography, science, and non-verbal ability. ¹ Es folgten 1963-1967 bzw. 1977-1981 die Studien FIMS (First International Mathematics Study) und SIMS (Second International Mathematics Study) für den Mathematikbereich sowie die beiden Naturwissenschaftsstudien FISS (First International Science Study) und SISS (Second International Science Study) in den Zeiträumen 1968-1972 und 1982-1986. Eine Studie, die die beiden Erhebungsbereiche Mathematik und Naturwissenschaften vereint, fand mit TIMSS 1994/95 statt. Sie war, betreffend der einbezogenen Staaten, mit Abstand die umfangreichste und umfasste mit über 40 Ländern allein für die Untersuchung der Mittelstufe die größte Anzahl der teilnehmenden Staaten vor der PISA 2000-Erhebung. ² Der allgemeine Zweck von Schulleistungsstudien wird hierin gesehen:

Internationale, nationale und regionale Schulleistungsmessungen geben Hinweise über die Leistungen der Schülerinnen und Schüler und ermöglichen Rückschlüsse auf die Effektivität [des] Schulsystems. Die öffentliche Aufmerksamkeit kann eine Neuorientierung des Bildungssystems bewirken, mit dem Ziel, offensichtliche Mängel zu beseitigen. 3

¹ Homepage der IEA: The Pilot Twelve-Country Study. URL: http://www.iea.nl/pilot_twelve-country.html

² Homepage der IEA. TIMSS1995. URL: http://www.iea.nl/timss1995.html

³ Hanna Kiper, Ulrich Kattmann: Basiskompetenzen im Vergleich- Übersicht über Ergebnisse der PISA-Studie

2000. In: PISA 2000 als Herausforderung. Perspektiven für Lehren und Lernen. Hrsg. v. B. Moschner u.

denselben. Baltmannsweiler 2003, S.15.

4

Worin äußert sich die Effektivität eines Schulsystems? Ausgehend von einer der sog. Basiskompetenzen, die der PISA-Studie zugrunde liegen, dem Konzept der Lesekompetenz, stellt Ina Karg den Zusammenhang mit nationalen Erhebungen in den USA her, die bereits in den 80-er Jahren stattgefunden haben. ⁴ Sie beruft sich dabei zunächst auf Kirsch und Jungblut (1986), die in ihrem Bericht „Profiles of America’s Young Adults“ über Textverstehensleistungen von jungen US-Amerikanern im Alter von 21-25 Jahren informieren:

The investigators in this study have produced a “profile of adult literacy” that provides four perspectives on how well young adults aged 21 through 25 years perform literacy tasks involving the use of prose materials (which predominate in home and school settings), documents (like forms, procedural guides, manuals, and so forth that are widely used in commercial and civil life in the United States), quantitative literacy materials (in which reading and mathematics are intertwined, as in reading a menu and calculating the cost of a meal), and materials used by fourth, eighth, and eleventh grade students in school. 5

Für die Formulierung des literacy-Konzepts macht Karg geltend, dass sie in diesem Bericht identisch ist mit der in einem späteren Bericht derselben Autoren („Adult Literacy in America“) zu einer weiteren Erhebung: 6

Using printed and written information to function in society, to achieve one’s goals, and to develop one’s knowledge and potential. 7

Der Terminus “function in society” fällt in der Berichterstattung IALS 2000 (International Adult Literacy Survey) weg und im Haupttest Englisch findet sich folgende Definition: Reading literacy is defined as the ability to understand, use, and reflect on written texts in order to achieve one’s goals, to develop one’s knowledge and potential, and to participate effectively in society. ⁸ Der Nützlichkeitsaspekt erhält bei PISA Deutschland ebenfalls einen prominenten Stellenwert:

Lesekompetenz ist mehr als nur lesen zu können. Unter Lesekompetenz versteht PISA die Fähigkeit, geschriebene Texte unterschiedlicher Art in ihren Aussagen, ihren Absichten und ihrer formalen

⁴ Ina Karg: Mythos PISA. Vermeintliche Vergleichbarkeit und die Wirklichkeit eines Vergleichs. Göttingen

2005, S. 103f.

⁵ Thomas G. Sticht. Foreword. In: Literacy. Profiles of America’s Young Adults. Irwin S. Kirsch, Ann

Jungeblut. (NAEP, 1986) URL: http://www.ets.org/Media/Research/pdf/LITERACY_PROFILES.pdf -

Download v. 15.04.06, S. V.

⁶ Karg, S. 104.

⁷ Irwin S. Kirsch, Ann Jungeblut: Literacy. Profiles of America’s Young Adults. Hrsg. v. NAEP. Princeton 1986.

URL: http://www.ets.org/Media/Research/pdf/LITERACY_PROFILES.pdf - Download v. 15.04.06, S. 3; und:

Irwin S. Kirsch, Ann Jungeblut u. a.: Adult Literacy in America. A First Look at the Findings of the National

Adult Literacy Survey. (NCES, 1993) URL: http://nces.ed.gov/pubs93/93275.pdf - Download v. 15.04.06, S. 2.

⁸ Baljit Gill, Mark Dunn, Eileen Goddard: Student achievement in England. Results in reading, mathematical and

scientific literacy among 15-year-olds from OECD PISA 2000 study. London 2002. URL:

http://www.statistics.gov.uk/downloads/theme_education/PISA_2000.pdf - Download v. 15.04.06, S. 160.

5

Struktur zu verstehen und in einen größeren Zusammenhang einordnen zu können, sowie in der Lage zu sein, Texte für verschiedene Zwecke sachgerecht zu nutzen. ⁹ Karl Holle bestätigt den Zweckcharakter der deutschen Definition von Leseverständnis: Die deutschen Autoren verstehen ‚Lesekompetenz’ nicht nur als eine bestimmte Fähigkeit als solche, sondern auch als ‚Hilfsmittel’, eine ‚Bedingung’ und eine ‚Voraussetzung’ für etwas anderes. ¹⁰ Als Fähigkeit „für das Erreichen persönlicher Ziele“ stehe auch die englische Variante der Definition von reading literacy. Hier jedoch schränkt Holle, im Gegensatz zu Karg, ein: Reading literacy ist [...] nicht wie in der deutschen Konzeptualisierung eine kognitive Fähigkeit, im engeren Sinne, die als abstrakte Möglichkeit für das Erreichen bestimmter Ziele instrumentalisiert werden kann, sondern eine bestimmte sozio-kognitive Handlungsfähigkeit, die sich mehr oder weniger gut und effektiv praktizieren lässt. 11

Laut Kark jedoch fungiere Nützlichkeit, und zwar in den Definitionen beider Sprachen, als wesentliches Element eines Bildungsbegriffs und manifestiere sich in der Testkonstruktion. ¹² Sich auf diese Feststellung stützend entwickelt sie eine dezidierte Kritik an den einzelnen Aufgaben des Tests, mit dessen Hilfe „Rückschlüsse auf die Effektivität“ des jeweilig untersuchten Schulsystems ermöglicht werden sollen. Wichtig an ihrer (zutreffenden) Darstellung ist, dass eine bestimmte Entwicklung des literacy-Konzepts den Definitionen von Lesekompetenz, wie sie in PISA 2000 vorgefunden werden, vorausgeht, die ihre Ursprünge „im amerikanischen Pragmatismus“ haben könnte. Die Rückführung auf diese Wurzeln unternehme sie allerdings nicht, versucht aber einen Abgleich mit dem Leseverstehensbegriff und (u.a.) der Umsetzung im PISA-Aufgabenkatalog. ¹³ Das Hauptaugenmerk der vorliegenden Untersuchung wird auf dem Bereich der Lesekompetenz liegen; mit dieser Zielsetzung wird die Kritik Kargs an den Aufgabenstellungen in Kapitel 2.3 wieder aufgegriffen.

Dass in der Konzeption des PISA-Tests auf Textsorten zurückgegriffen wird, die nicht den Gegenständen des in Deutschland üblichen Deutschunterrichts entsprechen, meint Wolfgang Eichler:

⁹ C. Artelt, J. Baumert, E. Klieme u. a.: PISA 2000. Zusammenfassung zentraler Befunde. Hrsg. v. denselben.

Max-Planck-Institut für Bildungsforschung. Berlin 2001. URL:

http://www.mpib-berlin.mpg.de/pisa/ergebnisse.pdf - Download v. 15.04.06, S. 11.

¹⁰ Karl Holle: Prävention von Leseschwierigkeiten oder wieso das Lesen lernen nicht nur ein

grundschuldidaktisches Problem ist. In: Deutschdidaktik nach der PISA-Studie. Hrsg. v. M. Kämper-van den

Boogaart. Frankfurt, Berlin u. a. 2004 (Beiträge zur Literatur- und Mediendidaktik, Bd. 6), S. 19.

¹¹ Holle, S. 19.

¹² Sie ist nicht die einzige: „In kaum einer Reaktion von Seiten der Deutsch-, insbesondere der Literaturdidaktik

fehlt der Hinweis auf das mit dieser Definition vorgegebene pragmatisch eingegrenzte Verständnis von

Lesekompetenz, welches vornehmlich auf den kognitiven Prozess der Informationsentnahme ausgerichtet sei, die

motivational-emotionale Dimension des Lesens hingegen außer Acht lasse [...]“ Wieler bezieht sich u. a. auf

Spinner, der sich in der Tat ähnlich in seinem Beitrag derselben Publikation äußert (S. 240). Petra Wieler:

Varianten des Literacy-Konzepts und ihre Bedeutung für die Deutschdidaktik. In: Deutschdidaktik nach PISA.

Hrsg. v. Ulf Abraham, Albert Bremerich-Vos u.a. Freiburg im Breisgau 2003, S. 47.

¹³ Karg, S. 105. (FN 182)

6

Die Schülerinnen und Schüler werden in den Tests von PISA praktisch ausschließlich mit sogenannten Sachtexten konfrontiert und dabei zu 38 % mit einem Texttyp, den wir im Deutschunterricht so gut wie gar nicht unterrichten [...] und den die Autoren der PISA-Studie als „nichtkontinuierlichen“ Texttyp bezeichnen. 14

Ähnlich äußert sich Konrad Adam: Was zähle, sei abfragbares, praktisch anwendbares, fachlich isoliertes Wissen: also gerade das nicht, was nach deutscher Tradition als Merkmal für Bildung gelte.

Originalität und Kombinationsvermögen, der Rückgriff auf Abgelegenes, das Denken in Zusammenhängen und Strukturen, all das kommt in der Studie kaum vor. ¹⁵ Derlei Befunde werden in Abschnitt 2.2.2 weiterverfolgt.

2.2 Durchführung und Wirkungen der Studie

2.2.1 Technische Daten und organisatorische Aspekte der Studie

Um zu einer Basis für die Hauptaspekte der vorliegenden Schrift zu gelangen, werden in diesem Kapitel die methodischen Grundlagen der Testdurchführung in einem Aufriss behandelt. Zunächst ist eine deskriptive Darstellung notwendig, um von hieraus eine kritische Haltung zum Untersuchungsgegenstand selbst zu ermöglichen, die in den nachfolgenden Abschnitten des Hauptteils entwickelt werden soll.

In der von der OECD initiierten PISA-Studie (Programme for International Student Assessment) geht es darum, sog. ‚Basiskompetenzen’ bei einer exemplarischen Auswahl von 15-jährigen Schülerinnen und Schülern zu testen, um den OECD-Mitgliedstaaten Daten zur Verfügung zu stellen, die Aussagen über die „Funktions- und Leistungsfähigkeit“ ihrer jeweiligen Bildungssysteme zulassen. Bei den zu ermittelnden Basiskompetenzen handelt es sich um den Bereich der „Lesekompetenz“ (Reading Literacy), der in Abschnitt 2.1 bereits angesprochen wurde und das Hauptuntersuchungsfeld der vorliegenden Arbeit darstellt, und als weitere Bereiche „Mathematische Grundbildung“ (Mathematical Literacy) und „Naturwissenschaftliche Grundbildung“ (Scientific Literacy). Als integraler Bestandteil von PISA wird die Untersuchung fächerübergreifender Kompetenzen bezeichnet. ¹⁶ Die PISA-Studie wurde

¹⁴ Wolfgang Eichler: „Mit Goethe hab ich keinen Plan“ - Bildungstraditionen im Deutschunterricht. In: PISA

2000 als Herausforderung. Perspektiven für Lehren und Lernen. Hrsg. v. B. Moschner u. a. Baltmannsweiler

2003, S. 91.

¹⁵ Konrad Adam: Die deutsche Bildungsmisere. PISA und die Folgen. Berlin, München 2002, S. 9.

¹⁶ Jürgen Baumert, Cordula Artelt: Konzeption und technische Grundlagen der Studie. In: PISA 2000 - Ein

differenzierter Blick auf die Länder der Bundesrepublik Deutschland. Hrsg. v. Deutschen PISA-Konsortium.

Opladen 2003, S. 13.

7