Überblick über die Forschungsmethodik. Wissenschaftstheorie, Testtheorie, quantitavive sowie qualitative Forschung und Analyse

Lektion 1 - Wissenschaftstheoretische Grundlagen

Grundlegende Vorstellungen in der Wissenschaft

- Wissenschaft = methodisch geregeltes System zum Formulieren von Gesetzen à Wissenschaftlichkeit basiert auf Methoden, unpersönlich
- Versuch auf der Grundlage eines unpersönlichen, methodischen Vorgehens Erklärungen zu generieren.
- Bei gleicher Erklärkraft wird diejenige Erklärung bevorzugt, die sich maximal einfach in das bestehende Weltbild integrieren lässt.
- Privatoffenbarung = private, unteilbare Einsicht einer einzelnen Person (nicht wissenschaftlich)
- Explanandum = Aussage, die ein Modell beschreibt
- Empirie = Materialsammlung aus unmittelbar sinnlich wahrnehmbaren Tatsachen

Der deduktiv-nomologische Erklärungsansatz (C.G. Hempel & P. Oppenheimer 1948)

- Aufdeckung von Gesetzmäßigkeiten, welche allg. Natur & bestätigt sein müssen
- „Ein Phänomen ist genau dann erklärt, wenn die Aussage, die es beschreibt (das Explanandum), aus Gesetzesaussagen und Aussagen über Rand- und Anfangsbedingungen deduziert (= abgeleitet) ist. (...) Die Gesetzesaussagen sind ihrerseits genau dann erklärt, wenn sie aus umfassenderen Gesetzesaussagen deduziert werden.“
- intuitiv einleuchtend
- Probleme:

­ Gesetze müssen erst einmal aufgestellt werden à problematisch, wenn plötzlich gänzlich neuartige Phänomene auftreten
­ Hierarchische Ordnung & Beziehung unklar
­ Idee, man könne durch die ausschließliche Anwendung von Gesetzesaussagen volle Erklärkraft generieren = falsch à Zufall wird nicht berücksichtigt
­ Verknüpfungen sind nicht zwangsläufig eindeutig

Der empirisch-induktive Erklärungsansatz

- Aus einer manifesten Materialsammlung soll dann eine erklärende Aussage abstrakter Art (Gesetz) gefunden werden
- Schluss von manifesten, direkt sinnlichen Tatsachen auf Gesetze
- Falsifikationismus = bezweifelt, dass per Induktion die Erkenntnis wahrer Gesetze sichergestellt werden könne

­ Kritik am deduktiv-normologischen Erklärungsansatz: Kein Schluss von noch so vielen Einzelbeobachtungen auf eine universelle Regel ohne Ausnahme
­ Auf sprachlicher Ebene kann man nicht stabil & einheitlich argumentieren

Lektion 2 - Einige verbreitete Perspektiven in der Wissenschaftstheorie

Der kritische Rationalismus (Sir Karl Raimund Popper 20 Jh)

- Theorie = Theoriangebot der Wissenschaft an die Praxis
- Theorie muss wiederholt der Falsifikation unterworfen werden
- Idee: Wissenschaftliche Aussagen lassen sich vielleicht nicht hundertprozentig absichern (verifizieren). Aber sie lassen sich widerlegen (falsifizieren).
- Zentrales Kriterium: Widerlegbarkeit à Falsifikationismus

­ misslungene Falsifikation à Erhärtung der Aussage
­ Gelungene Falsifikation à Verwerfen der Aussage

- Problem

­ Definitionsproblem à nicht falsifizierbar
­ Basissatzproblem à Basissatz selbst kann schon falsch sein
­ Probabilistische Aussagen à nicht falsifizierbar

Der Konstruktivismus

- Annahme: Es gibt keine natürliche Wahrnehmung à Sie wird aktiv erarbeitet à Wahrnehmung ≠ Abbild der Wirklichkeit
- Aufgabe der Wissenschaft = Aufgabe von Wissenschaft primär darin, unbewusste Wahrnehmungs-und Deutungsmechanismen, in denen die gesellschaftlichen Kräfte gefangen sind, aufzudecken und über deren Konsequenzen aufzuklären. Feststellung von Gesetzmäßigkeiten ist sekundär
- Frage: Wie kommen wir zu den Erkenntnissen

Beispiel

Wir sind am Strand und sind der Meinung, dass wir an einem absolut ruhigen Ort stehen. Tatsächlich steht aber neben dem Strand ein Trafohäuschen, aus dem, aufgrund eines Kurzschlusses, ein schrilles Fiepen dröhnt. Es ist aber derart hochfrequentig, dass ein Erwachsener es nicht wahrnehmen kann. Die Kinder am Strand sind aber allesamt von dieser „absolut ruhigen Idylle“ völlig überreizt.

- Kritik an Poppers Position (kritischer Rationalismus):

­ die prinzipielle Falsifizierbarkeit einer Aussage konstituiert die Wissenschaftlichkeit dieser Aussage
­ Basissätze sind für Konstruktivisten von Wahrnehmungsregeln und Wahrnehmungskonventionen durchzogen. Daher gibt es keine objektiv wahren Falsifikationsbegründungen.

Der methodische Anarchismus (Paul Feyerabend 1924 - 1994)

- Praxis des Erkenntnisgewinns lässt sich nicht in ein schematisches, wissenschaftstheoretisch-methodologisches Korsett pressen
- Es gibt keine allgemeinen, überzeitlichen Regeln, die die Geschichte, Gegenwart und Zukunft des wissenschaftlichen Erkenntnisprozesses adäquat zu fixieren können
- „anything goes“ à Es sind immer gerade die Methoden erlaubt, die jeweils in einem Bereich üblich und akzeptiert sind.
- Kritik an Poppers Position (kritischer Rationalismus):

­ orthodoxen Dogmatismus, als „Law-and-Order-Rationalismus“

Lektion 3 - Quantitatives Messen mit der klassischen Testtheorie

Manifeste Merkmale vs. latente Merkmale

- Manifeste Merkmale = Empirisch direkt messbar
- latente Merkmale =Empirisch nicht direkt messbar

Testtheorie

- Test = Wissenschaftliches Routineverfahren (Messinstrument/ Kennzahl) für latentes Merkmal mit dem Ziel vergleichende Aussagen über Personen abzuleiten
- Testtheorie = theoretische Vorstellung darüber, wie das latente Personenmerkmal die Verhaltensreaktion unseres Probanden maßgeblich beeinflusst.
- Item = Elemente eines Tests (Messreihe = mehrere Items)
- Item Response = Reaktion aus Stimulus
- Konstruktvalidität = Wenn Indikatoren tatsächlich Rückschlüsse auf latente Merkmale zulassen.

Das Messen von latenten Merkmalen bedarf…

- Manifeste Merkmale = Empirisch direkt messbar à Reizreaktionen = Messungen
- Indikator = manifestes Merkmal, das Aufschluss über Ausprägung des latenten Merkmals gibt
- Operationalisierung = Definition des latenten Merkmals
- Messniveau der Indikatoren

­ nominal: Zahlen haben lediglich unterscheidende Funktionen Postleitzahlen
­ ordinal: Rangordnung Schulnoten
­ Intervallskaliert: Rangordnung & Größenunterschiede Zeitskala (Datum)
­ Verhältnisskaliert: Größenunterschiede & Größenverhältnisse Alter

Zusammenhang zwischen Item-Response und latenter Variable

- Latentes Merkmal erlaubt den Schluss auf Verhaltensreaktion ß à Verhaltensreaktion beeinflusst maßgeblich das latente Merkmal

Zwei Paradigmen der Testtheorie à „klassische“ / „probabilistische“ Testtheorie

klassische Testtheorie = Messfehlertheorie

- Annahme: Existenz einer wahren Kennzahl, die das latente Merkmal wiederspiegelt
- Summen/ Testscore = y
- Wahrer Wert/ Naturkonstante/ Persönlichkeitsparameter = Theta θ
- Messfehler (Zufallsrauschen, Fehlerterm, unerklärter Rest) = Epsilon ε
- wahrscheinlichkeitstheoretische Gesetzmäßigkeit liegt vor, wenn gilt:

Die Axiome der klassischen Testtheorie

1. Existenzaxiom à Persönlichkeitsparameter Theta θ besitzt jeder Mensch
2. Verknüpfungsaxiom à Summenformel
3. Axiom vom unparteiischen Fehler à Erwartungswertes E(ε) = 0 à löscht sich im Mittel selbst aus
4. Axiom von der Unkorreliertheit der Messfehler à Messfehler ε & der wahre Wert Theta θ/ Messfehler ε verschiedener Tests sind unkorreliert à
ρ (θ ,ε) = 0; ρ ( ε1, ε2) = 0

Lektion 4 - Quantitatives Messen mit der probabilistischen Testtheorie

Das Konzept der Item-Kurven

- Lösungswahrscheinlichkeit/ Itemschwierigkeit = definiert durch den wahren Parameter Theta θ eines Persönlichkeitsmerkmals und dem Schwierigkeitsparameter Sigma
- Itemschwierigkeit Sigma σ /s = Parameter der wahren Schwierigkeit einer Testaufgabe
- Itemkurve = Zusammenspiel von Theta θ und Sigma σ/s à Persönlichkeitsparameter und Schwierigkeitsparameter
- Fähig sein = Bewältigung bestimmter Aufgaben mit einer bestimmten Lösungswahrscheinlichkeit

Messmodelle

Binomialmodell

- Annahme, dass alle Fragen des Tests für Jedermann gleichermaßen schwierig sind à identische Itemkurven

Itemprofile (Latent Class Analyse)

- Itemprofil = nominale Personenparameter & dichotome Testantworten (Ja/Nein)
- Item-Kurve (Item Characteristic Curve, ICC) = S-förmiger Verlauf, rechts-links Verschiebung
- systematische Beschreibungsmöglichkeiten über alle Klassen hinweg

Das dichotom-logistische Rasch Modell (Georg W. Rasch 1901-1980)

- bekanntestes probabilistisches Testmodell
- dichotome Antwortformate à „Ja“ oder „Nein“/ „Pro“ oder „Contra“/ „richtig“ oder „falsch“/„bestehen“ oder „nicht bestehen“
- Testscore = Summenscore à Summe der Itemantworten enthält schon alleine alle Informationen über die Personenfähigkeit à einfache Testanwendung

Computer-Adaptives Testen

- besonders schnelles, genaue Messungen
- Testfrage ist besonders aufschlussreich, wenn die Lösungswahrscheinlichkeit nahe bei 50%
- Ablauf: Proband löst Testaufgaben à erste Schätzung des Persönlichkeitsparameters à automatische Anpassung der Testfragen, sodass die Lösungswahrscheinlichkeit nahe bei 50% liegt

Das Erstellen der Item-Datenbank

- Testbatterie = Reihe geeigneter Testaufgaben
- Eichstichprobe legt die einzelnen Schwierigkeitsparameter Sigma jedes Items fest

Grunddilemma der probabilistischen Test-Theorie

- Bestimmung der Item Schwierigkeiten fast unmöglich bzw. äußerst kompliziert à Denn um die Itemschwierigkeiten Sigma gut schätzen zu können, müsste man das individuelle Theta der Probanden der Eichstichprobe kennen. Um diese Personenparameter aber zu bestimmen, müsste man das Sigma der getesteten Items kennen. à bedingte Likelihood = Parameterschätzungen nacheinander

Lektion 5 - Prüfung der Gütekriterien in der quantitativen Forschung

Objektivität à intersubjektive Transmissibilität

- Ausmaß der Unabhängigkeit eines Test- oder Messverfahrens vom Versuchsleiter
- Versuchsleitereffekt = (un-)bewusste Beeinflussung durch den Versuchsleiter

Cohens Kappa

- Maß für den Grad der Übereinstimmung von Forschungsergebnissen
- Fragestellung: wie hoch der überzufällige Anteil der Übereinstimmung ist
- Suche nach Indizien dafür, dass die beiden Forscher willentlich an den beobachteten Stimuli-Responses die gleiche Klassifizierung vorgenommen haben.

1. ρ à Anteil der übereinstimmenden Werte an der Gesamtzahl der Voten
2. q à übereinstimmenden Werte bei willkürlichen Urteile
3. Berechnung Cohens Kappa k

- Es gilt:

­ k < 0.4 schlechte Signierobjektivität
­ 0.4 bis 0.6 akzeptable Signierobjektivität
­ 0.6 bis 0.75 gute Signierobjektivität

­

Abbildung in dieser Leseprobe nicht enthalten

Validität

- Ausmaß der Übereinstimmung zwischen dem, was ein Test messen soll und dem, was ein Test tatsächlich misst à Aussagefähigkeit des Testergebnisses bezüglich der Messintention

1. Inhaltsvalidität = Operationalisierung von latenten Merkmalen in messbare
2. Konstruktvalidität = unverfälschte Messung
3. Konvergenzvalidität = Messergebnisse verschiedener Methoden stimmen überein à mittels Korrelationskoeffizient
4. prognostische Konstruktvalidität = Abgleich: Testergebnis – später erhobene Daten

­ interne Validität = Aussage darüber, inwieweit das gemessen wird, was gemessen werden soll
­ externe Validität = lässt sich auf Gruppen außerhalb der Stichprobe übertragen à inwiefern die Ergebnisse des Experiments auf die Realität übertragbar sind

Reliabilität

- Zuverlässigkeit à Ein Messinstrument ist reliabel, wenn bei Messwiederholung unter sonst gleich bleibenden Bedingungen (nach Abzug zufälliger Fehler) dieselbe Maßzahl ermittelt wird.
- Maßzahl für die Reliabilität = Quotient aus natürlicher (wahrer) Varianz & beobachteter Varianz
- 0 < Reliabilität ≤ 1 à Reliabilität nahe bei 1 für hohe Güte

- Reliabilität nahe der 0 für schlechte Reliabilität

Lektion 6 - Grundlegende Konzepte der Itembildung

Skalentypen - Teil 1

Operationale Definition

- Überlegung: was das interessierende Untersuchungsmerkmal eigentlich bestimmt (Definition)
- Personenkreis & Geltungsbereich
- das latente Merkmal durch manifeste Indikatoren fassbar zu machen à operationalisierung

Antwortformate

- offenes Antwortmuster à ausführlich, Langtext
- halboffenes Antwortmuster à 1 Wort
- geschlossenes Antwortmuster

­ dichotomes Antwortformat à Ja/Nein
­ Antwortkontinuum à Ausmaß der Zustimmung/Ablehnung

Testskala = Itemformat, das erklärt, welche Messzahlen durch Reaktionen

erzeugt werden und welche Bedeutung und Eigenschaften diese Messzahlen haben

Die Thurstone Skala

- Sätze von Items, die möglichst das gesamte Merkmalskontinuum repräsentieren
- Experten-Bewertung jedes einzelnen Stimulus mit Punktzahl zwischen (-5) und (+5)
- Bildung des arithmetischen Mittels à Zuweisung von Zahlen
- Beantwortung per: Ich stimme zhu7 Ich stimme nicht zu
- Items die eine hohe Varianz aufweisen, werden aus der Item Batterie gestrichen
- Testergebnis = Summenscore (Item Zustimmung)

Skalentypen - Teil 2

Die Likert-Skala

- zu einem Stimulus sind unterschiedliche Antwortmöglichkeiten vorgegeben
- eindeutig zutreffend/ zutreffend/ weder zutreffend noch nicht zutreffend/ nicht zutreffend/ eindeutig nichtzutreffend
- Den Antworten werden die Ordnungsnummern 1 bis 5 zugeordnet
- am einfachsten zu erstellen, da keine limitierenden Faktoren
- Testscore = Summe der Ordnungsnummern.

Guttman-Skala

- komplexer als die anderen Skalentypen à deutlich schwieriger, geeignete Items zu finden
- hierarchisches Verhältnis à Bejahung eines Items impliziert stets die Bejahung aller hierarchisch nachgeordneten Items
- Erfordert viel Arbeit, um eine gehaltvolle Hierarchie in der Itembatterie zu erstellen
- Testscore = Anzahl der bejahten Aussagen

Rasch-Skala

- Itembatterie aus dichotomen Stimuli
- Erfordert das austesten/verwerfen sehr vieler Items
- Testscore = Anzahl der richtigen Antworten

Indexbildung

- Index = Kennzahl, die das unmittelbare Ergebnis eines Testes darstellt
- Indexbildung = Einkochen auf eine Zahl à Frage, wie man die einzelnen Zahlenwerte einer Testskala zu einem Testscore zusammenfügt
- Item-Response = Verhaltensreaktion auf Stimuli eines Tests

Additive Indexbildung/Summenindex

- fassen die Summenscores der Einzelindikatoren durch Aufsummieren zusammen
- Lässt Kompensationen zu à möglich einen geringen Wert in einem Einzelindikator durch einen hohen Wert in einem anderen Einzelmerkmal auszugleichen
- Robust gegenüber Verweigerten Antworten
- ungewichteter Summenindex = Gewichtung α i = 0
- gewichteter Summenindex = Gewichtung α i = n

Multiplikative Indexbildung

- Idee einer wechselseitigen Voraussetzung
- ein einziges Einzelmerkmal mit Wert Null à gesamter Index = 0
- Multiplikation das interpretatorische Gegenteil der Addition
- der (ungewichtete) multiplikative Index ist größer, wenn alle Einzelmerkmale praktisch gleich stark ausgeprägt sind, als wenn einige Einzelmerkmale auf Kosten anderer stark ausfallen Abbildung in dieser Leseprobe nicht enthalten

Abbildung in dieser Leseprobe nicht enthalten

Normative Indexbildung

- angemessenen Gewichtungen der Einzelindikatoren durch Expertengespräche

Delphi-Methode

- Stellungnahme der Experten
- Mitteilung der anonymen Einschätzung der ersten Runde à Experten werden erneut befragt
- Einschätzung Prüfen und gegebenenfalls korrigieren

Lektion 7 - Implikationen qualitativer Forschung

Confirmation/Disconfirmation-Paradigma

- Zufriedenheit als Differenz zwischen erwarteter Leistung und tatsachlich erlebter Leistung

Stärken und Schwächen des quantitativen und qualitativen Ansatzes

Quantitativ à zahlenmäßigen Erfassung der Welt

- Beschreibung, Prüfung und Beurteilung von Messungen
- beobachtbare Realität wird bei diesem Ansatz in den seltensten Fällen unmittelbar untersuchtà Abbildung in Zahlen/ Messwerten
- statistische Werkzeuge müssen nur ein einziges Mal entwickelt werden
- Gütekriterium Objektivität fehlt
- Verlust von Daten à Zahlenwerte können diese Vielfalt der Blickwinkel und das in der Vielfalt schlummernde Erkenntnispotential niemals vollständig einfangen

Qualitativ à Interpretationen von verbalem Material

- Datenerhebung: Befragung, Beobachtung und nonreaktive Verfahren
- massive Anpassungsarbeit
- Nicht durch Lektüren zu erlernen, sondern durch Erfahrungen
- schwachen Übereinstimmungen unter den Forschenden
- Reliabilität qualitativer Verfahren ist oftmals niedriger als die der quantitativen Verfahren

Die Dichotomie von „quantitativ vs. qualitativ“ - Eine Begriffsbestimmung

- Diskrepanzen in der Auffassung von Wissenschaft àListe von Gegensatzpaaren à Spannungsfeld z greifbar machen

Abbildung in dieser Leseprobe nicht enthalten

Lektion 8 - Die Durchführung qualitativer Forschung

Methoden der Datengenerierung - Teil 1

- Befragung

­ Fragestellung wird in Fragen übersetzt
­ Ermittlung: Sichtweise und Meinungswelt der Probanden
­ Forschender gibt Gesprächsrahmen vor; Proband bestimmt Gesprächsverlauf

- formloses Feldgespräch
- Interview

­ alle Arten der mündlichen Befragungstechnik
­ künstlichen Gesprächssituation
­ Forschungsabsichten klar angekündigt
­ Familie halbstandardisierter Befragungsformen:
„narratives“/„biografisches“/„qualitatives“/ „problemzentriertes“/ „hermeneutisches“/ „halb standardisiertes“, „fokussiertes“ / „themenzentriertes“ Interview

Abbildung in dieser Leseprobe nicht enthalten

Methoden der Datengenerierung - Teil 2

Abbildung in dieser Leseprobe nicht enthalten

Transkriptionsregeln

Abbildung in dieser Leseprobe nicht enthalten

Nonreaktive Verfahren

- Will man Versuchsleitereffekte vollständig ausschließen
- Lost-Letter-Technik

Lektion 9 - Methoden der qualitativen Analyse

Analyse qualitativer Informationen

- Computerprogramme: QDA (Qualitative Data Analysis) oder CAQDAS (Computer Assisted Qualitative Data Analysis)
- Ziel: zwischen den Zeilen lesen

Grounded Theory

- Ziel: unvoreingenommen aus dem zu analysierenden Text heraus eine Theorie zu generieren
- Annahme, dass jede Aussage ein manifester Indikator für dahinterstehende, latente Kategorien ist.
- offenes Kodieren = aus Textstellen werden Kategorien herausgelesen à wichtige latente Aussagen wiederholen sich
- Konstrukt = verbalen Verflechtung
- axiales Kodieren = Kategorienverknüpfungen durch mehrfaches Durcharbeiten eines Textes
- Kernkategorien = besonders gesättigte Kategoriengeflechte à Hauptthema des Textes
- theoretical sampling à axiales Kodieren eines Interviews à Zusammenhänge à Überprüfung/ Erhärtung

Qualitative Inhaltsanalyse (hier: nach Mayring)

- Ziel: Zusammenhänge offenzulegen
- Kategoriensystem aus theoretischen Vorüberlegungen
- Reduktion des Ausgangstextes auf eine Kurzversion à in kleine Sinneinheiten paraphrasiert
- Gliederungslogik à nicht aus dem Text abgeleitet, sondern aus dem Kategoriensystem
- Dünn besetzte Kategorien à unwichtig

Diskursanalyse

- Sammelbegriff für Verfahren, die die Sprache untersuchen
- In Politikwissenschaft und Soziologie längst etabliert
- manifesten Textstellen werden auf latente Aussagen hin untersucht
- die latenten Aussagen im Rahmen der Diskursanalyse keine persönlichen Deutungen sind, sondern diskursive Figuren

Gültigkeit qualitativer Ergebnisse

Objektivität à nur im Dialog mit anderen Forschern möglich

Validität

- interne Validität = Konsens auch Teamübergreifend
- externe Validität = Übertragung
- Konstruktivismus = Theorien als Wahrnehmungswerkzeuge; offen für neues bleiben/ ständiger Abglich zw. Theorie/Empirie

Reliabilität à Triangulation

- Datentriangulation = unterschiedliche Datenquellen à Vielfalt
- Forschertriangulation = wenn man eine Untersuchung auf die Schultern mehrerer Forschenden verteilt
- Methodentriangulation innerhalb/zwischen Methoden à Sequenzierung = Umwandlung von Verbalen Datenmaterial in numerische Daten à besonders häufig

[...]