Qualitative Forschung am Beispiel von PISA und TIMMS - Ein Vergleich

Inhaltsverzeichnis

1. Einleitung

2. Evaluation
2.1. Definition von Evaluation
2.2. Ziele von Evaluation
2.3. Mögliche Schwerpunkte von Evaluation

3. Empirische Forschungsmethoden
3.1. die Qualitative Methode
3.2. die Quantitative Methode

4. PISA
4.1. Was ist PISA?
4.2. PISA 2000
4.2.1. Ziele der Studie und der Erweiterung der Studie in Deutschland
4.2.2. Erhebungsinstrumente und Datenerhebung
4.2.3. die Stichproben

5. TIMSS
5.1. Was ist TIMSS?
5.2. TIMSS II
5.2.1. Ziele der internationalen Studie und der Erweiterung für Deutschland
5.2.2. Erhebungsinstrumente und Datenerhebung
5.2.3. Die Stichproben

6. Vergleich der beiden Gesamt-Studien in Deutschland und Fazit
6.1. Tabellarischer Vergleich anhand der Merkmale der quantitativen Methode
6.2. Unterschiede und Gemeinsamkeiten der beiden Studien
6.3. Persönliches Fazit zu dieser Arbeit

7. Literaturverzeichnis

Abbildungsverzeichnis

1. Einleitung

Die Idee zu dieser Arbeit kam während eines Kompaktseminars mit dem Thema Selbst- und Fremdevaluation auf. Im Seminar wurden verschiedene Evaluationsmethoden behandelt. In meiner wissenschaftlichen Hauarbeit habe ich eine qualitative Analyse von Interviews mit quantitativen Aspekten durchgeführt und interessiere mich seither sehr für Evaluation und damit zusammenhängende Forschungs-Studien wie etwa PISA, IGLU oder TIMSS. Um auch etwas mehr mit der quantitativen Evaluationsmethode vertraut zu werden möchte ich mich in dieser Arbeit nun der Analyse von zwei quantitativen Studien widmen und diese miteinander vergleichen. Ausgewählt habe ich hierfür die PISA-Studie und die TIMSS-Studie. Verglichen werden sollen hier jedoch nicht Inhalte oder Ergebnisse der beiden Studien sondern die Evaluation selbst, also Erhebungsmethoden, Zeiträume, Ziele, etc.

2. Evaluation

2.1. Definition von Evaluation

Evaluation (Evaluierung) bedeutet allgemein die Beschreibung , Analyse und Bewertung von Prozessen und Organisationseinheiten , insbesondere im Bildungsbereich , in den Bereichen Gesundheit und Entwicklungshilfe , der Verwaltung , der Marktforschung oder der Wirtschaft . Evaluation kann sich sowohl auf den Kontext (Voraussetzungen, Rahmenbedingungen), die Struktur, den Prozess als auch das Ergebnis (Produkt) beziehen. Anders als Grundlagenforschung orientiert sich Evaluation an den konkreten Fragen von Entscheidungsträgern, z. B. in der Bildungspolitik und -verwaltung, aber auch von Lehrern, Schülern und Eltern. Damit ist sie auf ein breiteres Spektrum an Methoden angewiesen, um zeitgerecht hilfreiche Information bereit zu stellen.^[1]

Evaluation [lateinisch-französisch-englisch] die, Analyse und Bewertung eines Sachverhalts, z. B. Effizienz- und Erfolgskontrolle einer Innovation, Beurteilung von Zielen und Maßnahmen einer Planung, Einschätzung von Wirksamkeit und Wirkungszusammenhängen in Sozialforschung, Pädagogik, Wirtschaftswissenschaft, Entwicklungspolitik u. a.^[2]

Engl. value = Wert

Auswertung einer Erfahrung

Systematische, Datenbasierte Beschreibung von Programmen, Projekten oder Institutionen^[3]

Es handelt sich bei einer Evaluation also um die Bewertung einer Situation oder einer Sache. Um eine Evaluation durchführen zu können werden auswertbare Daten benötigt, die mittels quantitativer oder qualitativer Verfahren, wie z. B. Fragebögen oder Interviews erhoben werden. Eine Evaluation braucht immer einen Auftraggeber. Dieser kann von außen kommen (Fremdevaluation); man kann aber auch den Auftrag selbst geben und die Evaluation selbst durchführen (Selbstevaluation).

2.2. Ziele von Evaluation

Auftraggeber, bzw. Beteiligte werden dabei unterstützt, den bewerteten Gegenstand zu stabilisieren/verbessern oder/und zu bewerten. Evaluation verpflichtet sich auf unmittelbar praktische Nützlichkeit ihrer Ergebnisse - Steuerung durch die Fragestellung der Auftraggeber/Beteiligten^[4]

Der jeweilige Auftraggeber legt also fest, was evaluiert bzw. bewertet werden soll. Hierfür werden, meist mit der evaluierenden Partei zusammen, Kriterien und Ziele festgelegt. Das Ergebnis der Evaluation dient als Ausgangspunkt für weitere Maßnahmen, die der Qualitätssicherung oder Qualitätsverbesserung der evaluierten Situation oder Sache dienen, d. h. eine Evaluation wird nicht nur zur Feststellung eines aktuellen Sachverhalts durchgeführt, sondern hat immer einen weiterführenden Aspekt im Hintergrund.

2.3. Mögliche Schwerpunkte von Evaluation

- Konzept (insbesondere Zielsetzungen)
- Struktur (z.B. Ausstattung)
- Prozess (z.B. Lehrer-Schüler-Interaktion)
- Ergebnis (z.B. Lerneffekte)^[5]

Eine Evaluation kann verschiedene Schwerpunkte haben, je nachdem was der Auftraggeber erreichen möchte. Geht es zum Beispiel um die Evaluation des Materialbestandes und der räumlichen und technischen Ausstattung des Fachs Technik an einer Schule, so liegt der Schwerpunkt hier auf einer strukturellen Evaluation. Schwerpunkte innerhalb eines Evaluationsprojekts können selbstverständlich auch miteinander kombiniert werden. Ein Beispiel hierfür wäre, wenn etwa evaluiert werden soll, ob und wie sich die Lehrer-Schüler-Interaktion auf die Lerneffekte bei den Schülern auswirken. Hier wäre die Evaluation sowohl prozess- als auch ergebnisorientiert.

3. Empirische Forschungsmethoden

„Mit Hilfe empirischer Forschungsmethoden sollen Ereignisse so in Relation zu Aussagen über Wirklichkeit gesetzt werden, dass entweder solche Aussagen gewonnen oder an der Wirklichkeit überprüft werden können.^[6]

Der empirische Forschungsprozess ist in mindestens 4 Aspekte untergliedert:

a) Formulieren einer Fragestellung
b) Sammeln der Daten
c) Aufbereiten der Daten
d) Herausarbeiten des Kerns der Aussage, die als Forschungsresultat gefunden, bestätigt oder widerlegt wurde^[7]

Meistens kommen jedoch noch weitere Teilaspekte hinzu, je nachdem, welche Forschungsmethode angewandt wird (vgl. dazu auch folgende Unterkapitel).

Am Ende der Forschung steht die Evaluation oder Bewertung der Ergebnisse, die beim Forschungsprozess herausgekommen sind. Ausgehend von dieser Bewertung werden weitere Maßnahmen eingeleitet.

Die empirische Forschung umfasst vor allem zwei große Teilgebiete: die Qualitative Forschung und die Quantitative Forschung. Beide können sowohl unabhängig voneinander durchgeführt werden, als auch in Kombination miteinander genutzt werden.

3.1. die Qualitative Methode

Die Qualitative Forschungsmethode soll vor allem, wie der Name schon sagt, Ergebnisse bringen, die eher in die Tiefe gehen als in die Breite. Hierbei kommt es nicht so sehr auf eine repräsentative Größe der Stichprobe an, sondern auf die qualitative Analyse und Auswertung von erhobenen Daten.

Typische Datenerhebungsmöglichkeiten für die qualitative Methode sind zum Beispiel offene Interviews, Videoaufnahmen, Tests (evtl. mit offenen Fragen), etc. Jedoch überschneiden sich hier die Möglichkeiten und die meisten können auch quantitativ ausgewertet werden. Was die bessere oder sinnvollere Methode ist, hängt dabei von der zugrunde liegenden Fragestellung ab. Natürlich können beide Methoden auch kombiniert werden.

Bei der qualitativen Methode geht es weniger um das Erklären von Erscheinungen aufgrund von beobachtbaren Regelmäßigkeiten, sondern mehr um das Erfassen oder Herstellen von Sinnzusammenhängen, da das menschliche Verhalten immer auch unter dem Gesichtspunkt intentionalen Handelns gesehen werden kann.^[8]

Das heißt, in der qualitativen Forschung geht es, im Gegensatz zur quantitativen Methode, vor allem um die Interpretation von bestimmten Phänomenen und nicht um die Feststellung von Regelmäßigkeiten. Zur Durchführung von qualitativen Methoden gibt es einige charakteristische Merkmale:

Durchführung qualitativer Methoden^[9]

1. Fragestellung festlegen
2. Entwicklung des Erhebungsinstrumentes
3. Schulung der Erheber
4. Durchführung
5. Auswertung
6. Interpretation
-> gegebenenfalls erneut zu 4.
7. Ergebniszusammenstellung
8. Ergebnispräsentation

Man beginnt mit der Festlegung einer Fragestellung. Diese kann offen gehalten sein. Zum Beispiel könnte man danach fragen, wie Schüler mit Angstsituationen in der Schule umgehen. Von dieser Fragestellung ausgehend wird das Erhebungsinstrument entwickelt. Dies könnte hier zum Beispiel ein problemzentriertes, offenes Interview sein. Hierfür wird dann ein Fragenkatalog entwickelt. Anschließend werden die Erheber geschult, damit die Interviewdurchführung vergleichbare Ergebnisse bringt, d. h. die Fragen sollen in etwa gleich sein in allen Interviews und im offenen Gespräch mit den Schülern sollten alle Themenbereiche des Katalogs abgedeckt sein. Die Fragen sollen offen gestellt werden, etc. Die Erheber sollten die spezifischen Merkmale eines problemzentrierten, offenen Interviews kennen und eine Schulung für Interviewführung haben. Nach der Schulung werden dann die Interviews durchgeführt und aufgezeichnet. Die Auswertung erfolgt nach bestimmten Kriterien. Das vorhandene Material wird gesichtet und die Ergebnisse erfasst und eventuell in Kategorien zusammengefasst. Diese Ergebnisse werden dann interpretiert. Im Gegensatz zur quantitativen Methode kann bei der qualitativen Methode nun wenn nötig zur Interviewdurchführung zurückgegangen werden.

Bei der Interpretation fallen vielleicht neue Aspekte auf, die einer weiteren Klärung bedürfen oder es ergeben sich neue Fragen, die das notwendig machen. Ist dieser Prozess beendet, werden die gewonnenen, interpretierten Ergebnisse zusammengestellt und präsentiert. Im Anschluss können nun weiterführende Maßnahmen beschlossen werden, die aufgrund der Ergebnisse aus der Forschung entwickelt werden (Evaluation à Qualitätssicherung / Qualitätsverbesserung).

Vorteile qualitativer Methoden^[10]

- Offenheit des Vorgehens ermöglicht es, neue, bisher unbekannte Sachverhalte zu entdecken
- flexible Anwendung der Methode, Methode passt sich an den Untersuchungsgegenstand an und nicht umgekehrt
- da die Teilnehmer keinerlei Vorgaben haben, erhält man eher wahre und vollständige Informationen über die subjektive Sicht der Gesprächspartner.

Diese Methode hat gegenüber der quantitativen Methode vor allem den Vorteil, dass sie offener und veränderbarer ist. Beispielsweise gibt es hierbei keine Multiple Choice – Fragebögen, bei denen es eine begrenzte Auswahl an Antwortmöglichkeiten gibt, sondern man kann, wie oben erwähnt, freie Aussagen machen, wie zum Beispiel im Interview o. ä. Die Methode passt sich also dem Untersuchungsgegenstand an, d. h. man kann bestimmte Forschungssequenzen auch wiederholen und den Forschungsgegenstand facettenreicher beleuchten als bei der quantitativen Methode. Allerdings können hier keine statistischen Zusammenhänge und verallgemeinernde Aussagen deutlich gemacht werden.

3.2. die Quantitative Methode

Die quantitative Methode will, im Gegensatz zur qualitativen Methode, eher Aussagen treffen, die in die Breite gehen und nicht unbedingt in die Tiefe. Hier werden große und repräsentative Stichproben benötigt, um allgemeine Aussagen über einen bestimmten Sachverhalt treffen zu können. Im Allgemeinen wird hier mit zwei Stichproben gearbeitet (einer Forschungsgruppe und einer Kontrollgruppe), um vergleichbare Ergebnisse zu erhalten.

[...]

^[1] http://de.wikipedia.org/wiki/Evaluation

^[2] http://lexikon.meyers.de/index.php?title=Evaluation&oldid=119484

^[3] Seminarunterlagen von Frau Vomhof. PP-Präsentation „Evaluation“

^[4] Seminarunterlagen von Frau Vomhof. PP-Präsentation „Evaluation“

^[5] Seminarunterlagen von Frau Vomhof. PP-Präsentation „Evaluation“

^[6] Lenzen, Dieter (Hg), 1989: Pädagogische Grundbegriffe. Bd. 1 und 2. Reinbek: Rowohlt, S. 618

^[7] Vgl. Lenzen, Dieter (Hg), 1989: Pädagogische Grundbegriffe. Bd. 1 und 2. Reinbek S. 618

^[8] Seminarskript Herr Reinhoffer, WS 2004/2005: Befragungen rund um den Sachunterricht: von der Computernutzung bis zur Persönlichkeitsentwicklung

^[9] Seminarunterlagen von Frau Vomhof.

^[10] Seminarunterlagen von Frau Vomhof.