Evaluationen allgemein und speziell von Bildungsmaßnahmen werden oft per standardisiertem Fragebogen durchgeführt. Wirklich gute Fragebögen sind jedoch tatsächlich schwerer zu entwickeln, als gemeinhin angenommen.
Diese Arbeit belegt dies zunächst. In der Folge wird dargestellt, dass bzw. wie ein Leitfadeninterview in vielen Fällen eine gute oder sogar bessere Alternative sein kann. Dies wird an einem Fallbeispiel entwickelt und begründet. Ein vollständiger Leitfaden wird entworfen.
Ebenso wird auf die Limitationen einer solchen Vorgehensweise hingewiesen.
Inhaltsverzeichnis
1 Einleitung
2 Grundlagen der Evaluation und unterschiedlichen Formen und Anwendungsbereiche im Zuge von Bildungsmaßnahmen
2.1 Formen der Evaluation
2.2 Anwendungsbereiche der Evaluation
3 Zu den Hintergründen und Problemen bei der Bewertung digitaler Bildungsprogramme und die Rolle von Evaluationen
4 Fallbeispiel: Evaluationskonzept inklusive Vorgehensweise und theoretische Durchführung für das Online-Modul "Horizontale und vertikale Verhaltensanalysen" im Bachelor Studium der Psychologie
4.1 Modulbeschreibung und Beschreibung der Modulziele
4.2 Vorverständnis, Ziele und fachliche Einordnung
4.3 Methodenwahl und Begründung
4.4 Methode
4.5 Durchführung und Auswertung
5 Limitationen und Kritikpunkte des Evaluationskonzepts
6 Fazit
7 Literatur und Quellen
8 Anhang
8.1 Anhang 1: Das Leitfadeninterview im Überblick
8.2 Anhang 2: Ursprüngliche Aufgabenstellung: Fallstudie, Alternative B
Zielsetzung & Themen
Die vorliegende Arbeit zielt darauf ab, ein praxisnahes Evaluationskonzept für ein Online-Modul im Psychologie-Studium zu entwickeln. Dabei wird insbesondere untersucht, wie das Leitfadeninterview als qualitative Methode eingesetzt werden kann, um Lernprozesse und Studienbedingungen effektiv zu bewerten, wenn klassische standardisierte Fragebögen aufgrund fehlender Kontextkenntnisse der Evaluierenden an ihre Grenzen stoßen.
- Grundlagen und Formen der Evaluation in Bildungsmaßnahmen.
- Herausforderungen bei der Bewertung digitaler Formate (E-Learning).
- Konzeption eines Leitfadeninterviews als alternatives Evaluationsinstrument.
- Verfahren der qualitativen Datenerhebung und Inhaltsanalyse in akademischen Modulen.
- Reflektion über Gütekriterien und Limitationen qualitativer Evaluationsansätze.
Auszug aus dem Buch
4.3 Methodenwahl und Begründung
Als Messinstrument für die Perspektive der Studierenden erscheint eine halbstandardisierte qualitative Methode, nämlich ein qualitativ orientiertes Leitfadeninterview zielführend, weil es einerseits ausreichend Offenheit bei immer noch ausreichender Vergleichbarkeit bietet.
Zur weiteren Begründung der Methodenwahl sei ausgeführt: Hier soll, ERZBERGER & KELLE (2014, 172) folgend, bewusst der Versuchung widerstanden werden, einen (weiteren) quantitativ orientierten Fragebogen zu entwerfen und damit eine klassische Methode zur Erhebung und Auswertung sozialwissenschaftlicher Daten. Und zwar zunächst, weil dies, berücksichtigt man testtheoretische Überlegungen, in vielen Fällen zumeist aus Zeit- und Ressourcenmangel nur scheitern kann, so auch hier: Um einen wissenschaftlich fundierten Fragebogen bzw. Test zu entwickeln, müssen nämlich mehrere Entwicklungsstufen in aufwendigen Arbeitsschritten durchlaufen werden nach MOOSBRUGGER & KELAVA (2020, 57-63) zusammengefasst etwa wie folgt:
1. Operationalisierung und Itempoolgenerierung mit Instruktion, Aufgabenstamm und Antwortformat. Für eine hohe inhaltliche Validität sind u.a. vorab explizite Merkmalsspezifikationen notwendig, die schließlich durch die Enge bzw. Breite der Aufgaben abgebildet werden muss (MOOSBRUGGER & KELAVA 2020, 57-58).
2. Ersterprobung und qualitative Verständlichkeitsanalyse der Items durch Techniken wie retrospektive Befragung, think-aloud, Verhaltenskodierung und Debriefing der Pbd. und Testleitenden. Danach 1. Revision, in diesem Falle des Itempools (MOOSBRUGGER & KELAVA 2020, 59).
3. Empirische Pilotstudie mit nachfolgender Itemanalyse und Itemselektion und nachfolgender 2. Revision der Items bzw. der Testversion (MOOSBRUGGER & KELAVA 2020, 60).
Bereits diese Schritte erscheinen im Rahmen vieler Evaluationsaufträge, so auch für die hier vorzulegende Arbeit unrealistisch, schon weil in den Schritten 2 und 3 die Verfügbarkeit von Pbd. notwendig ist, welche nicht besteht. Bis zu diesem Punkt wäre im Übrigen bereits ein erheblicher (u.a. zeitlicher) Aufwand einzuplanen. Soll eine Evaluation Testqualität aufweisen, was im Grundsatz wünschenswert erscheint, so wären die folgenden weiteren Schritte durchzuführen.
Zusammenfassung der Kapitel
1 Einleitung: Die Einleitung beleuchtet die Schwierigkeiten bei der Erstellung valider Fragebögen für Bildungsmaßnahmen ohne tiefgreifende Kontextkenntnisse und führt das Leitfadeninterview als präferierte Alternative ein.
2 Grundlagen der Evaluation und unterschiedlichen Formen und Anwendungsbereiche im Zuge von Bildungsmaßnahmen: Es werden grundlegende Definitionen der Evaluation erläutert sowie verschiedene Formen (z.B. formative und summative Evaluation) und Anwendungsbereiche auf unterschiedlichen Ebenen des Bildungssystems dargestellt.
3 Zu den Hintergründen und Problemen bei der Bewertung digitaler Bildungsprogramme und die Rolle von Evaluationen: Die spezifischen Herausforderungen digitaler Lehre, wie Heterogenität der Lernenden und fehlende direkte Rückmeldemöglichkeiten, sowie die daraus resultierende Notwendigkeit spezifischer Evaluationsansätze werden diskutiert.
4 Fallbeispiel: Evaluationskonzept inklusive Vorgehensweise und theoretische Durchführung für das Online-Modul "Horizontale und vertikale Verhaltensanalysen" im Bachelor Studium der Psychologie: Dieser Hauptteil beschreibt detailliert die Modulziele, die methodische Herleitung des Leitfadeninterviews und die geplante Durchführung sowie Auswertung im konkreten Studienkontext.
5 Limitationen und Kritikpunkte des Evaluationskonzepts: Kritische Hürden wie Stichprobenauswahl, Repräsentativität und die Einhaltung klassischer Gütekriterien in der qualitativen Evaluation werden reflektiert und in den Gesamtzusammenhang eingeordnet.
6 Fazit: Das Fazit fasst zusammen, dass das Leitfadeninterview eine nützliche und faire Methode zur Evaluation pädagogischer Angebote darstellt, sofern die methodischen Grenzen beachtet und durch kontinuierliche Prozessverbesserungen ergänzt werden.
Schlüsselwörter
Evaluation, Bildungsmaßnahmen, Leitfadeninterview, Qualitative Sozialforschung, Online-Modul, Verhaltensanalyse, Studiengang Psychologie, Qualitätsmanagement, formative Evaluation, summative Evaluation, Subjektorientierung, Inhaltsanalyse, Modulbewertung, hochschulisches Lehren, Lernerfahrung.
Häufig gestellte Fragen
Worum geht es in der Arbeit grundlegend?
Die Arbeit befasst sich mit der Evaluation von digitalen Bildungsangeboten und schlägt das Leitfadeninterview als effektives qualitative Instrument vor, um Lehrmodule zielgerichtet zu verbessern.
Was sind die zentralen Themenfelder?
Die Schwerpunkte liegen auf den Grundlagen der Evaluationsforschung, den spezifischen Problemen digitaler Lehrveranstaltungen und der praktischen Anwendung von Leitfadeninterviews zur Erfassung studentischer Perspektiven.
Was ist das primäre Ziel der Forschungsarbeit?
Das Ziel ist die Erstellung eines theoretisch fundierten und gleichzeitig praktikablen Evaluationskonzepts für ein spezifisches Bachelor-Modul, das auch ohne detailliertes Vorwissen über Kursinhalte aussagekräftige Rückschlüsse zulässt.
Welche wissenschaftliche Methode wird primär eingesetzt?
Es wird ein qualitatives, halbstandardisiertes Leitfadeninterview als Messinstrument gewählt, dessen Ergebnisse mittels Inhaltsanalyse nach Mayring ausgewertet werden sollen.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil widmet sich der detaillierten Beschreibung des Moduls "Horizontale und vertikale Verhaltensanalysen", begründet die Abkehr vom klassischen Fragebogen und entwickelt ein konkretes Durchführungsprotokoll inklusive Leitfaden.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit wird durch Begriffe wie Evaluation, Leitfadeninterview, Online-Lehre, qualitative Forschung und Qualitätsentwicklung in der Hochschullehre charakterisiert.
Wie unterscheidet sich dieser Ansatz von klassischen Fragebögen?
Der Leitfadenansatz ist explorativer, offen für unvorhergesehene Aspekte aus der Sicht der Teilnehmenden und erfordert geringere Anforderungen an die psychometrische Testentwicklung als standardisierte quantitative Fragebögen.
Kann das Konzept auf andere Hochschulbereiche übertragen werden?
Ja, der Autor betont, dass das Konzept in adaptierter Form auch für andere pädagogische Trainings- oder Bildungsmaßnahmen genutzt werden kann, um Verbesserungspotenziale aufzudecken.
- Citar trabajo
- Björn Tesmer (Autor), 2024, Evaluation von Bildungsmaßnahmen per Leitfadeninterview, Múnich, GRIN Verlag, https://www.grin.com/document/1574867
