Leseprobe
Inhaltsverzeichnis
1. Einleitung
2. Zur aktuellen Kompetenzforschung
2.1 Der Kompetenzbegriff und seine Modellierung
2.2 Methoden der Kompetenzforschung
2.3 Stand der Forschung
3. Kompetenzmessung für die Soziologie
3.1 Konzeptionelles
3.2 Erhebungsdesign
4. Der Geschlechtereffekt
4.1 Geschlechtsspezifische Kompetenzunterschiede als Artefakt – Differential Item Functioning
4.2 Volitionale und motivationale Bedingungen des Lernens – Selbstwirksamkeit und Motivation
4.2.1 Selbstwirksamkeit
4.2.2 Motivation
4.2.3 Erklärung des geschlechtsspezifischen Kompetenzunterschiedes durch Selbstwirksamkeit und intrinsische Motivation
4.3 Unterschiede der sozialwissenschaftlichen Methodenkompetenz aufgrund der Wahl von Lernstrategien
5. Fazit
6. Anhang: Produkt-Moment-Korrelationen zwischen den wichtigsten Variablen
7. Literaturverzeichnis
1. Einleitung
Kompetenzdiagnostik im schulischen, beruflichen und universitären Bereich findet seit jüngerer Zeit außer in der empirischen Bildungsforschung auch allgemein in der sozialwissenschaftlichen Forschung immer mehr Anklang. Gründe dafür sind sowohl die hohe Nachfrage nach output-orientierten Maßen für Bildungserfolg in allen Bereichen des Bildungssystems, die für gezielte Reformen eingesetzt werden können, als auch die Kompetenzorientierung im Bildungssystem selbst. Letztere beruht darauf, dass Bildung in modernen industriellen Gesellschaften kein fester Wissenskanon mehr sein kann, der von Generation zu Generation weitergegeben wird. Was meist stattdessen als Grundlage vermittelt werden soll, entspricht ziemlich genau dem Kompetenzbegriff, der in der aktuellen Kompetenzforschung am weitesten verbreitet ist: „(kognitive) Handlungsdispositionen [...], die Akteure in die Lage versetzen, angemessen auf fachspezifische Anforderungen oder Problemsituationen zu reagieren.“ (Wolter/Schiener 2014a: 47) Während es in der Kompetenzforschung im allgemeinbildenden schulischen Bereich schon gut ausgearbeitete Kompetenzmodelle und Messinstrumente, so wie kontinuierliche Erhebungsprogramme gibt, befindet sich die Forschung im Hochschulsektor noch in einer weitgehend explorativen Phase.
In den ersten Forschungsergebnissen zur Kompetenzmessung im Hochschulbereich zeichnet sich, wie z.T. auch für andere Bereiche, ein recht überraschendes Ergebnis ab: Frauen schneiden oft signifikant schlechter ab als Männer. Das scheint auf den ersten Blick schwer mit Diagnosen vereinbar, in denen festgestellt wurde, dass Frauen in jüngerer Zeit besser im deutschen Bildungssystem abschnitten, als Männer (siehe Blossfeld et al. 2009, Hadjar 2011). Da sich in der Literatur noch keine umfassende zufriedenstellende Erklärung dieses Umstandes findet, soll in der vorliegenden Arbeit der Frage nach möglichen Erklärungen nachgegangen werden, die sich für diesen Geschlechterunterschied finden lassen. Als empirische Grundlage werden die Daten einer Pilotstudie zur Messung von Kompetenzen in quantitativen empirischen Methoden der Sozialwissenschaft herangezogen. Zunächst wird es darum gehen, was die Konstrukte Selbstwirksamkeit und Studiumsmotivation, die im Rahmen dieser Studie direkt erhoben wurden, zur Erklärung des Geschlechterunterschiedes beitragen können. Dabei muss auch die Frage nach möglichen Ursachen für Geschlechterunterschiede hinsichtlich dieser Konstrukte gestellt werden; und es muss überprüft werden, welche Hinweise sich dafür jeweils im Datenmaterial finden lassen. Außerdem wird ein zweiter Erklärungsansatz für den Geschlechterunterschied über einen Zusammenhang von mathematischer Kompetenz mit der Wahl von Lernstrategien entwickelt. Hierfür lassen sich in den Daten zwar allenfalls Indizien finden, da die entscheidenden Variablen in der Pilotstudie nicht erhoben wurden; solche Indizien könnten aber bei der Entscheidung über die Aufnahme weiterer Variablen in folgenden Studien zu Kompetenzen im Hochschulsektor weiterhelfen.
2. Zur aktuellen Kompetenzforschung
2.1 Der Kompetenzbegriff und seine Modellierung
Der Begriff und die Modellierung von Kompetenz ähneln sich in vielen der Studien, in denen Kompetenzen erhoben werden (sollen), sowohl in der bereits etablierten empirischen Forschung im allgemeinbildenden schulischen Bereich (z.B. PISA oder TIMMS), als auch im Hochschulbereich (TEDS-LT, ProfiLe-P). Bei einer Vielfalt an Möglichkeiten, Kompetenz zu definieren und zu modellieren, werden Kompetenzen zumeist verstanden als „kontextspezifische kognitive Leistungsdispositionen, die sich funktional auf Situationen und Anforderungen in bestimmten Domänen beziehen“ (Klieme/Leutner 2006: 879), ein Kompetenzbegriff, der auf Franz Weinert zurückgeht. Sie werden im Gegensatz z.B. zu Intelligenz als grundsätzlich erlernbar aufgefasst. Eine Domäne kann hier weiter oder enger gefasst sein, auf die Hochschule bezogen z.B. ein Studienfach oder nur eine bestimmte Lehrveranstaltung umfassen. Im gängigen Kompetenzmodell werden vorab die inhaltlichen Dimensionen einer bestimmten Kompetenz definiert (Kompetenzstrukturmodell) und ex post, nach der Skalenentwicklung auf Grundlage der erhobenen Daten, bestimmte Niveaus der Kompetenzausprägung festgelegt (Kompetenzniveaumodell).
Die Studie „Kompetenzen in Methoden der empirischen Sozialforschung“, anhand deren Daten in dieser Arbeit der Frage nach dem Geschlechterunterschied in der Kompetenzmessung nachgegangen werden soll, und andere Kompetenzmessungsprojekte – darunter TEDS (Teacher Education and Development Study), das im Hochschulbereich am weitesten fortgeschrittene – orientieren sich bei der Modellierung der Kompetenzstruktur mehr oder weniger an der von Anderson und Krathwohl revidierten „Bloom'schen Taxonomie“ (vgl. Wolter/Schiener 2014a: 50f). Mit dieser lassen sich zwei Dimensionen der Kompetenzstruktur, die domänenspezifischen Wissensgegenstände und die darauf bezogenen kognitiven Fähigkeiten, hierarchisieren. Nach zunehmendem Anforderungsniveau angeordnet, unterscheidet die Taxonomie die Wissensgegenstände in Faktenwissen, konzeptionelles, prozedurales und metakognitives Wissen; die kognitiven Prozesse in Erinnern, Verstehen, Anwenden, Analysieren, Bewerten und Erschaffen. Diese Hierarchisierung darf nicht mit dem Kompetenzniveau verwechselt werden: Auch auf einem niedrigen Kompetenzniveau können z.B. Bewertungs- und Evaluationsfähigkeiten erhoben werden. In beiden oben genannten Studien wurde die Taxonomie stark kondensiert, da es nicht praktikabel war, die sich aus den beiden Dimensionen ergebende 24-Felder-Matrix mit Testitems zu füllen. Die vorliegende Studie unterscheidet z.B. nur noch zwischen (1) kennen und verstehen, (2) anwenden bzw. interpretieren und (3) beurteilen, auswählen, gestalten (vgl. Wolter/Schiener 2014b: 18).
Außer dem Wissen und den kognitiven Fähigkeiten wird von vielen Autoren auch noch die Motivation, der Wille und die Selbsteinschätzung der eigenen Fähigkeit, Aufgaben und Problemsituation in der betreffenden Domäne zu bewältigen, in den Kompetenzbegriff mit einbezogen. Insbesondere Selbstregulationsfähigkeiten wie Lernstrategien, Selbstwirksamkeit, Leistungsbereitschaft oder Evaluationskompetenz spielen dabei eine Rolle (vgl. Wolter/Schiener 2014a: 50). Oft werden daher zumindest einzelne dieser Konzepte zusätzlich durch gesonderte Items zusammen mit den wissens- und kognitionsbezogenen Kompetenztestitems erhoben.
2.2 Methoden der Kompetenzforschung
Um die inhaltlichen Dimensionen einer Kompetenzstruktur zu erfassen, eignen sich im Hochschulbereich die Analyse von Curricula und Modulhandbüchern, das Führen von Fachinterviews mit anerkannten Fachvertretern, sowie die Befolgung von Empfehlungen fachlicher Gremien und Verbände (vgl. Wolter/Schiener 2014a: 56).
Für die Erhebung von Kompetenz anhand eines Fragebogens mit standardisierten Testitems werden mittlerweile in fast allen empirischen Umsetzungen die Methoden der Item-Response-Theory (IRT) eingesetzt. Dabei handelt es sich um mehrere Verfahren, die den Schluss von „beobachtbaren Probandenantworten auf Testitems auf zugrundeliegende und nicht direkt beobachtbare latente Merkmale – etwa eine bestimmte Kompetenz“ zulassen (Wolter/Schiener 2014a: 51).
Allgemein werden dabei Aufgabenschwierigkeiten und Personenfähigkeiten auf einer gemeinsamen Skala abgebildet, womit sich feststellen lässt, ob das zentrale Kriterium für einen Kompetenztest, das der Eindimensionalität, von den Testitems erfüllt wird: Neben der Itemschwierigkeit darf nur die Ausprägung der gesuchten latenten Eigenschaft für eine bestimmte Versuchsperson die Antworten auf die Testitems bestimmen (vgl. Wolter/Schiener 2014a: 51). Nicht eindimensional wären z.B. Textaufgaben in einem Test für Mathematikkompetenz, die sprachlich begabtere Schüler unabhängig von ihrer mathematischen Kompetenz besser lösen können. Diese Anforderung, die von den IRT-Methoden an Tests gestellt wird, macht sie strenger als die klassische Testtheorie.
Eine IRT-Methode stellt die Passung der Daten an das Rasch-Modell dar, ein parametrisches Skalierungsverfahren mit besonders strengen Anforderungen an die Testitems, das unter den IRT-Methoden die besten Eigenschaften für die resultierende Skala sicherstellt. „Im Rasch-Modell wird die Wahrscheinlichkeit einer korrekten Beantwortung eines Items j durch eine Testperson i, dargestellt durch die Zufallsvariable Uij, durch eine logistische Funktion in Abhängigkeit der Fähigkeit der Testperson θi (also der latenten Variable) sowie der Schwierigkeit des Items δj [...] beschrieben (Formel 1)“ (Wolter/Schiener 2014a: 52).
Das Rasch-Modell setzt lokale stochastische Unabhängigkeit voraus, was bedeutet, dass „die Wahrscheinlichkeit, ein Item korrekt zu lösen, […] neben einem Zufallsfaktor ausschließlich von dessen Schwierigkeit und der Ausprägung der latenten Eigenschaft ab[hängt]“ (Wolter/Schiener 2014a: 52). Nur eindimensionale Testitems erfüllen dieses Kriterium. Außerdem gilt für Daten, die das Rasch-Modell erfüllen, dass „nur die Zahl der gelösten Aufgaben in den Wert der latenten Variablen eingeht und die Auswahl der Aufgaben nebensächlich ist“ (spezifische Objektivität) (Wolter/Schiener 2014a: 52).
Wird die latente Variable (Fähigkeit der Testperson) in einem Schaubild der Wahrscheinlichkeit der Beantwortung gegenübergestellt, so ergeben sich für einzelne Testitems, die das Rasch-Modell erfüllen, itemcharakteristische Kurven (ICC), die sich nur hinsichtlich ihrer Schwierigkeit (= „der Punkt in θi, bei dem die Lösungswahrscheinlichkeit für das Item j genau 0,5 beträgt“ (Wolter/Schiener 2014a: 52)) und nicht hinsichtlich ihrer Steigung und Trennschärfe unterscheiden (siehe Abbildung 1).
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 1: ICCs von vier Items, welche die Prämissen des Rasch-Modells erfüllen
Quelle: Wolter / Schiener 2014a: 53
Geschätzt werden die Personen- und Aufgabenparameter im Rasch-Modell durch Maximum-Likelihood-Verfahren (weiterführende Literatur hierzu: de Ayala 2009, Strobl 2012).
Ob die Anforderungen des Rasch-Modells von den Daten erfüllt wird, lässt sich zum einen modellimmanent testen, zum anderen kann die Passung des Modells zu den Daten gegen weniger restriktive Modelle getestet werden, wobei das Rasch-Modell abzulehnen ist, wenn diese signifikant besser zu den Daten passen (vgl. Wolter/Schiener 2014a: 53). Mit modellimmanenten Tests wird in Gruppenvergleichen überprüft, „ob die Schätzung der Aufgabenparameter (Itemschwierigkeiten) in verschiedenen Subgruppen des Datensatzes (signifikant) unter Konstanthaltung der Personenfähigkeit unterschiedlich ausfällt“ (Wolter/Schiener 2014a: 53). Ist dies der Fall, so liegt Differential Item Functioning (DIF) vor: es gibt unfaire Items, die für Subgruppen bei gleicher Personenfähigkeit schwieriger zu lösen sind. Diese Items müssen entfernt werden.
Im gegenüber dem Rasch-Modell erweiterten, weniger restriktiven Birnbaum-Modell (2PL-Modell) wird die Annahme gleicher Trennschärfen bzw. Steigungskoeffizienten der ICC aufgegeben (vgl. Wolter/Schiener 2014a: 53). Die ICC können sich überschneiden (siehe Abbildung 2). Im folgenden Schaubild von zwei ICC, die das Birnbaum-Modell erfüllen, lässt sich erkennen, was aus dieser Erweiterung folgt. Die Überschneidung der ICC bedeutet hier, dass Item A für Personen mit niedrigerer Fähigkeit mit höherer Wahrscheinlichkeit zu lösen ist als Item B. Für Personen mit höherer Fähigkeit ist A aber mit niedrigerer Wahrscheinlichkeit zu lösen, als B. (vgl. Trepte/Verbeet 2010: 258)
Abbildung in dieser Leseprobe nicht enthalten
Abbildung 2: ICCs von zwei Items, welche die Prämissen des Birnbaum-Modells erfüllen
Quelle: Trepte/Verbeet 2010: 258
Das gegenüber dem Birnbaum-Modell nochmal erweiterte 3PL-Modell modelliert zusätzlich für jedes Item einen Rateparameter, „also eine Konstante, die korrekte Lösungen eines Items durch rein zufälliges Beantworten (bzw. Ankreuzen) abbildet.“ (Wolter/Schiener 2014a: 54)
Theoretisch erscheint es sinnvoll, die Entscheidung zwischen den IRT-Modellen vom Forschungsziel abhängig zu machen. Wolter und Schiener verweisen auf Strobl (2012: 51) und Ho Yu (2012: 1), die für die Suche nach einem Modell, das die Daten gut wiedergibt, weniger restriktive Modelle empfehlen. Diese seien aber grundsätzlich abzulehnen, wenn es um die Suche nach Daten geht, die das Rasch-Modell erfüllen. Dann sollten Testitems so lange entfernt werden, bis eine Passung an das Rasch-Modell gegeben ist (vgl. Wolter/Schiener 2014a: 54f). Die Skalen der TIMSS-Studien (etablierter Studien zur Erhebung mathematischer und naturwissenschaftlicher Kompetenzen von Schülern in der Grundschule, sowie Sekundarstufe I und II) werden aber zum Beispiel grundsätzlich über 3-PL-Modelle skaliert.
2.3 Stand der Forschung
In einem deutschen von der BMBF geförderten Forschungsprogramm zur „Kompetenzmodellierung und Kompetenzerfassung im Hochschulsektor“ (KoKoHS), werden von 2011 bis 2015 in 23 Projekten erste sowohl fachspezifische als auch -übergreifende Kompetenzmodelle für den Hochschulsektor entwickelt und Messinstrumente getestet. In einzelnen Forschungsprojekten geht es z.B. um die Kompetenz, mit akademischen Texten umzugehen, um fachdidaktische und pädagogische Kompetenzen für verschiedene Lehramtsfächer und um wissenschaftliche Kompetenz in den Sozialwissenschaften. Viele der Projekte sind derzeit noch nicht beendet. Es liegen aber vereinzelt schon Ergebnisse vor, sowie Literatur, in der Modelle und Messinstrumente vorgestellt und hinsichtlich ihrer Validität diskutiert werden. Da die Projekte durchwegs explorativ sind, konnten inhaltliche Analysen der gewonnen Daten bisher auch nur mit diesem Anspruch, also für explorative Zwecke, durchgeführt werden. Ein aktueller Überblick über die Projekte findet sich im dritten Working Paper von KoKoHS (Blömeke/Zlatkin-Troitschanskaia 2013).
Ausführlichere Ergebnisdarstellungen und Analysen liegen für zwei der Forschungsprojekte der Teacher Education and Development Study (TEDS) vor. In TEDS-M wurden in 16 Ländern unter mehr als 24000 Mathematiklehramtsstudierenden im letzten Ausbildungsjahr mathematisches, mathematikdidaktisches und pädagogisches Professionswissen getestet. In der Literatur zu TEDS-M zeigt sich schon, dass ein solcher internationaler Vergleich nur sinnvoll sein kann, wenn die nationalen Kontextmerkmale genau betrachtet werden, um feststellen zu können, welche Anforderungen der Lehrberuf in den Ländern mit sich bringt und welche Einstellung zum Fach unter den Lehrern vorherrscht – zwei Aspekte, denen in diesem Projekt viel Aufmerksamkeit gewidmet wurde (siehe Blömeke et al. 2008). Das zweite Projekt, TEDS-LT, ist eine Längsschnittstudie, in der unter etwa 1800 Lehramtsstudierenden in Deutschland die fachlichen, fachdidaktischen und pädagogischen Kompetenzen für die Fächer Mathematik, Deutsch und Englisch zu mehreren Zeitpunkten im Studium erhoben wurden.
Die Machbarkeitsstudie AHELO der OECD soll feststellen, inwieweit eine internationale Erhebung von Kompetenzen von Studierenden ähnlich der PISA-Studien überhaupt möglich ist. Dabei haben in Pilotstudien bereits 23000 Studierende aus 17 Ländern an Tests zu fächerübergreifenden und einzelnen domänenspezifischen Kompetenzen teilgenommen. Deutsche Forscher sind sich bezüglich des derzeitigen Ergebnisstandes von AHELO relativ einig, dass sich darin ein Bedarf an Messinstrumenten zur Kompetenzdiagnostik im Hochschulsektor zeigt, „das geeignete Instrument […] noch nicht entwickelt, viele konzeptuelle und definitorische Vorarbeiten […] noch notwendig [sind], bis die Testung selbst vorgenommen werden kann“ (Bülow-Schramm/Braun 2013: 3; bzw. Wolter/Schiener 2014a: 55).
Hinsichtlich der oft beobachteten signifikanten Geschlechterunterschiede speziell in den Ergebnissen der Studien zur Kompetenzmessung im Hochschulsektor finden sich bisher nur wenig weit ausgeführte Theorien, was beim derzeitigen Stand der Forschung nicht überrascht. Testunfairness – eine Möglichkeit dafür, dass es sich bei diesen Unterschieden um bloße Artefakte handelt – wird in den allermeisten dieser Studien überprüft, da Testunfairness in Form von DIF nach dem Geschlecht eine naheliegende Möglichkeit dafür darstellt, dass ein Kompetenztest den Anforderungen der IRT-Methoden nicht genügt. Es gibt allerdings noch weitere Möglichkeiten für Testunfairness. Auf eine davon werde ich kurz in Kapitel 4.1 eingehen.
Nach Gründen für substanzielle Geschlechterdifferenzen der Kompetenz wird meistens in Hinblick auf die Domäne gesucht, um die es in der jeweiligen Studie geht. Beispielsweise ergaben die Kompetenztests der Studie TEDS-LT eine signifikant niedrigere Fachkompetenz weiblicher angehenden Mathematiklehrkräfte, für die Fächer Englisch und Deutsch wurde aber kein solcher Unterschied beobachtet. Blömeke et al. vermuten als Ursache hierfür soziokulturelle Unterschiede: „Mädchen erhalten im Zuge des Aufwachsens im Elternhaus und in der Schule im Mittel weniger Unterstützung beim Mathematiklernen als Jungen, von ihnen wird häufig eine geringere Mathematikleistung erwartet und ihnen werden weniger formelle und informelle Lerngelegenheiten geboten, mathematisches Wissen zu erwerben“ (Blömeke et al. 2013: 168). In der Folge unterscheiden sich Schülerinnen und Schüler in der Sekundarstufe II dann auch in der Wahl von Kursniveaus und Schulzweigen im Bereich Mathematik. Beides trage zu Diskrepanzen in der Mathematikleistung zu Beginn der Lehrerausbildung bei (vgl. Blömeke et al. 2013: 168). Domänenübergreifende Faktoren für Kompetenzunterschiede, die zur Diskussion stehen, sind vor allem die motivationalen und volitionalen Bedingungen des Lernens, welche in Kapitel 4.2 ausführlich erläutert werden.
Bevor in Kapitel 4 Thesen zur Erklärung des gemessenen Kompetenzrückstandes von Frauen genauer vorgestellt und empirisch getestet werden, stelle ich in Kapitel 3 kurz die Studie „Kompetenzen in Methoden der empirischen Sozialforschung“ vor, auf deren Daten die folgenden Analysen beruhen werden.
3. Kompetenzmessung für die Soziologie
In zwei Pilotstudien unter der Leitung von Jürgen Schiener und Felix Wolter wurde explorativ der Frage nach der Definition und Messung soziologischer Kompetenzen nachgegangen. Neben der Aussicht auf eine outputorientierte objektive Hochschulevaluation, die anhand valider objektiver Indikatoren den tatsächlichen Bildungserfolg, also den Kompetenzgewinn der Studierenden im Blick hätte (einer allgemeinen Motivation der Kompetenzforschung im Hochschulsektor), waren für die Entscheidung zu diesem Projekt auch noch zwei Aspekte ausschlaggebend, die speziell das Fach Soziologie betreffen. Zum einen fehlt auch in der ungleichheitssoziologischen Bildungsforschung ein wirklich objektives oder zumindest intersubjektiv vergleichbares, valides Maß für Bildungserfolg, da Bildungszertifikate und Zensuren stark von den vergebenden Akteuren und Gegebenheiten der jeweiligen Bildungsinstitutionen abhängen (vgl. Wolter/Schiener 2014a: 48). Hier könnten die Ergebnisse eines einheitlichen Tests für soziologische Kompetenzen Abhilfe schaffen. Zum anderen ist die Kenntnis der Öffentlichkeit über die Fähigkeiten von Soziologen bestenfalls vage und eine Definition von messbaren soziologischen Kompetenzen könnte helfen, die Außendarstellung der Soziologie aufzuklären (vgl. Wolter/Schiener 2014a: 48).
3.1 Konzeptionelles
Bei der Modellierung fachlicher und methodischer soziologischer Kompetenzen besteht vor allem das Problem, dass sich die inhaltlichen Dimensionen für ein Kompetenzstrukturmodell kaum in einer Weise umfassend festlegen lassen, dass diese Festlegung unter Fachvertretern weitgehend konsensuell sein könnte. Soziologie lässt sich als gering strukturierte Domäne beschreiben: Sowohl von den Methoden als auch vom Wissenschaftsverständnis her herrschen in verschiedenen Teilbereichen sehr unterschiedliche Paradigmen, die Forschung in diesen Bereichen baut wenig aufeinander auf, und auch die Problemstellungen divergieren stark (vgl. Wolter/Schiener 2014a: 56). Für die Kompe-tenzmodellierung zum Zweck der Messung soziologischer Kompetenzen scheint daraus zu resultieren, dass sie sich nur zwischen zwei Extremen bewegen kann: Auf der einen Seiten kann man nach einem konsensfähigen „kleinsten gemeinsamen Nenner“ an soziologischen „Basiskompetenzen“ suchen, was praktisch auf die Identifizierung der Inhalte hinausliefe, die in den meisten Soziologiestudiengängen vermittelt werden; auf der anderen Seite müsste man auf ein integratives Kompetenzmodell verzichten und würde Kompetenzen zwar umfassender, aber nur für inhaltlich enger gefasste Domänen erheben, vielleicht bis hin zu Kompetenzen die im Soziologiestudium nur in einer einzelnen Lehrveranstaltung vermittelt werden (vgl. Wolter/Schiener 2014a: 57). Nachdem es das Ziel der ersten Pilotstudie war, Basiskompetenzen der Soziologie zu erheben, sollten in der zweiten Pilotstudie „Kompetenzen in Methoden der empirischen Sozialforschung“ nur noch quantitative empirische Methodenkompetenzen erhoben werden. Deren Vermittlung geschieht im Soziologiestudium zwar in der Regel in mehr als einer Veranstaltung und sie machen sicher einen Teil soziologischer Basiskompetenzen aus, allerdings spielen sie in einzelnen Bereichen soziologischer Forschung keine oder zumindest nur eine marginale Rolle.
3.2 Erhebungsdesign
Das Strukturmodell der zweiten Pilotstudie teilt die Kompetenzen für quantitative empirische Sozialforschung in zwei Dimensionen ein: Datenerhebung und Datenanalyse bzw. Statistik. Diese teilen sich inhaltlich wiederum in Subdimensionen auf. Datenerhebung umfasst Erhebungsdesign, Stichprobenverfahren, Erhebungsmethoden, sowie Mess- und Skalierungsverfahren. Wissensgegenstände im Bereich der Datenanalyse bzw. Statistik sind statistische Gesetze und Eigenschaften (mit einem Schwerpunkt auf Signifikanz), Auswertungsverfahren und der Umgang mit Statistiksoftware und als dritter Punkt Ergebnisse empirischer Analysen (uni-, bi- und multivariat). Bei der Konzipierung des Kompetenztests wurde außerdem darauf geachtet, dass alle der kognitiven Zugriffsarten die sich aus der vereinfachten Bloom'schen Taxonomie ergeben (siehe unter Punkt 2.1) und die auf den jeweiligen Wissensgegenstand anwendbar sind, durch Testitems abgedeckt werden. Daraus ergibt sich folgende Aufteilung (Tabelle 1).
Abbildung in dieser Leseprobe nicht enthalten
Tabelle 1:
Quelle: Wolter / Schiener 2014b: 19
Der Test wurde umgesetzt in einer Pen and Paper-Befragung von Studierenden an sieben Universitäten in Deutschland und der Schweiz. Die Fragebögen wurden in Lehrveranstaltungen sozialwissenschaftlicher Fächer an den Universitäten ausgeteilt und von den Studierenden dort in einem zeitlichen Rahmen von etwa 45 Minuten freiwillig ausgefüllt. Insgesamt wurden 776 Fragebögen ausgefüllt, 28 davon sind Dubletten. In sechs verschiedenen Testheften mit randomisierter Reihenfolge der Frageblöcke wurden jeweils vier von sechs Frageblöcken, d.h. 32 von 48 Items erhoben. Die Frageblöcke enthielten je acht Items aus einer der beiden Dimensionen und waren anhand von Pretestergebnissen so zusammengestellt, dass sie untereinander in etwa gleich schwer zu lösen waren. 22 Items waren Aufgaben mit freiem Antwortformat, darunter 10 Ergänzungs- und 12 Kurzaufsatzaufgaben, die restlichen 26 Items waren 17 Single Choice-, 4 Multiple Choice- und 5 Zuordnungs- bzw. Umordnungsaufgaben. Außer den Items zur Methodenkompetenz enthielt jedes Testheft 31 Items mit Fragen zum Studium, zur Einschätzung der eigenen Methodenkompetenz und auf das Studium allgemein bezogener Selbstwirksamkeitserwartungen, zur Studienmotivation und zu grundlegenden demographischen Merkmalen der Studierenden.
Um mit IRT-Methoden Kompetenzskalen zu bilden, mussten die Items bewertet, also binär kodiert werden, in nicht oder falsch gelöste Items (0), oder richtig gelöste Items (1). Items, die aus mehreren Teilfragen bestanden, wurden als ordinale Items kodiert, mit der Anzahl der richtig beantworteten Teilfragen als Ausprägung. Mit 1PL und 2PL-Modellen wurden nun zunächst Subskalen für die beiden Dimensionen der Methodenkompetenz gebildet. In einer Modelldiagnose, mit dem Ziel, einen einheitlichen Kompetenzindikator zu gewinnen, wurden mehrere Maßnahmen angewendet, die an dieser Stelle allerdings nicht weiter erläutert werden können: Die Korrelation zwischen einzelnen Items und der aus dem jeweiligen Modell resultierenden Kompetenzvariable, sowie der Outfit, bzw. Infit der Items wurden überprüft; die empirischen und die erwarteten ICC wurden visuell inspiziert; in einem globalen Modelltest wurden das 1PL- und das 2PL-Modell gegenübergestellt; der Kompetenztest wurde auf DIF nach dem Geschlecht, nach der Universität sowie nach Haupt- bzw. Nebenfachstudium sozialwissenschaftlicher Fächer analysiert und letztlich wurde in einem Dimensionalitätstest mehrdimensionale IRT-Modelle (zwei separate Indikatoren für die Subdimensionen) mit eindimensionalen IRT-Modellen verglichen.
Im Ergebnis wurde für die Dimension Datenerhebung ein 1PL-Modell gewählt und zwei unpassende Items wurden entfernt. Für die Dimension Datenanalyse/Statistik wurde ein 2PL-Modell gewählt und nur ein Item entfernt. DIF nach dem Geschlecht ließ sich nicht feststellen (hierzu mehr in Kapitel 4.1), aber die Variablen Universität und Haupt-/Nebenfach erwiesen sich in einer von zwei Testmethoden für DIF als problematisch. Im Dimensionalitätstest hat sich die zweidimensionale Lösung als vielversprechender herausgestellt, dennoch wird in den folgenden Analysen auch ein zusammengefasster Kompetenzindikator verwendet. In einer Faktorenanalyse mit den beiden Indikatoren für Datenerhebungs- und Datenanalysekompetenz ergibt sich für die erste Hauptkomponente eine erklärte Varianz von 83% und der Reliabilitätskoeffizient (Cronbachs α) beträgt 0,8.
Für alle folgenden Analysen der Daten aus der Studie „Kompetenzen in Methoden der empirischen Sozialforschung“ wird DIF nach Universität und Haupt- bzw. Nebenfach ignoriert und die Kompetenzindikatoren für Datenerhebung und -analyse, sowie der zusammengefasste Kompetenzindikator auf den Mittelwert 10 und eine Standardabweichung von 5 standardisiert.
4. Der Geschlechtereffekt
Für die in dieser Studie erhobenen Kompetenzen in quantitativen empirischen Methoden der Sozialwissenschaft lässt sich ein signifikanter Geschlechtereffekt feststellen. Nach dem Ausschluss von weitgehend unausgefüllten Fragebögen ergibt sich, dass von 703 Fragebögen 436 von Studentinnen und 267 von Studenten ausgefüllt wurden. Es besteht ein geringer Zusammenhang von Geschlecht und dem zusammengefassten Kompetenzindikator zugunsten der Männer (r = 0,11), bei der Datenerhebungskompetenz ist die Korrelation hochsignifikant und etwas stärker (r = 0,13), die Korrelation mit Datenanalysekompetenzen ist etwas schwächer und nur geringfügig signifikant (r =0,07) (siehe auch die Korrelationsmatrix im Anhang auf S.41). In bivariaten OLS-Regressionsmodellen (nicht dokumentiert) ergeben sich für alle drei Kompetenzindikatoren signifikante Geschlechtereffekte von jeweils ca. 1/5 Standardabweichung. Demnach haben Studentinnen im Schnitt eine Fünftel-Standardabweichung schlechter abgeschnitten als Studenten. Hinsichtlich der Datenerhebungskompetenz ist der Geschlechtereffekt sogar hochsignifikant. In einer hierarchischen OLS-Regression, mit der zusammengefassten Kompetenz als abhängiger Variable, zeigt sich, dass der Geschlechtereffekt unter Kontrolle anderer Determinanten der Kompetenz noch an Signifikanz gewinnt (siehe Tabelle 2).
[...]