Inhaltsverzeichnis I

Inhaltsverzeichnis   

0  Einleitung  

1  Ziele und Schwerpunkte der vorliegenden  

Metaevaluation   4

2  Methodik.  6

2.1  Evaluationsmethodik.  6

2.1.1  Was ist Evaluation?  6

2.1.2  Dem Kurs zugrundeliegende Evaluationsmethoden.  7

2.2  Operative Lerntheorie  10

2.2.1  Die Operative Lerntheorie als Methode  11

2.2.1.1  Lernen  13

2.2.1.2  Kompetenzen  13

2.3  Gütekriterien  17

2.3.1  Didaktische Nützlichkeit.  18

2.3.2  Objektivität  19

2.3.3  Reliabilität  19

2.3.4  Validität  20

2.4  Beurteilung der verwendeten Evaluationswerkzeuge.  21

2.4.1  Beobachtung.  21

2.4.2  Fragebogenauswertung.  22

2.4.3  Materialanalyse.  23

2.4.4  Test.  24

3  Ziele des Kurses e-Moderationskurs  25

4  Reflexion auf die im Kurs e-Moderationskurs  

verwendeten  didaktischen Methoden.  28

4.1  Cognitive Apprenticeship  28

4.2  Computer Supported Collaborative Learning (CSCL)  30

Stand  : 22 09  03

Inhaltsverzeichnis II

5  Reflexion auf die Stärken und Schwächen des  

Kurses  e-Moderationskurs  31

5.1  Erreichbarkeit und tatsächliches Erreichen der Kursziele  

  (allgemeine Ziele und Wochenziele)  31

5.1.1  Erreichbarkeit und tatsächliches Erreichen der  

allgemeinen  Ziele.  31

5.1.2  Erreichen der Wochenziele.  32

5.1.3  Diskussion: ist eine Erweiterung der Kursziele des  

Kurses  e-Moderationskurs um Ziele im Bereich  

methodisch  -didaktischer Kompetenzen erforderlich?  35

5.2  Unterrichtsmethoden und Lernstrategien im e-  

Moderationskurs   38

5.3  Inhalt des Kurses e-Moderationskurs  40

6  Zusammenfassung, Schlussfolgerungen und  

Empfehlungen  für die Konzeption des Kurses e-  

Moderationskurs   42

7  Alternative Evaluationsverfahren  46

8  Allgemeine Merkmale von Evaluationen von  

formativ  -prozessualen Evaluationen von  

Bildungsma  ßnahmen im e-Learning-Bereich  52

9  Literaturverzeichnis  54

Stand  : 22 09  03

Einleitung 1

0 Einleitung

In der vorliegenden Arbeit wird eine Evaluation (= „Kurzevaluation“) evaluiert, die von mir im Juli 2003 zu dem Train the Trainer-Seminar „[e-Moderationskurs]“, das von April bis Juli 2003 als Learning-Kurs stattfand, angefertigt wurde. Die Kurzevaluation, die hier nicht mitgeliefert wird, ist deshalb „kurz“, weil mit dem Auftraggeber für ihre Erstellung lediglich 2 Arbeitstage vereinbart waren. In der vorliegenden Arbeit geht es hauptsächlich darum, die Kurzevaluation im nachhinein methodisch abzusichern und hinsichtlich ihrer Aussagekraft zu bewerten. Primäres Ziel hierbei ist jedoch nicht die Vollständigkeit der Darlegungen, sondern das Herausarbeiten wichtiger Verbesserungsvorschläge für das Seminar [e-Moderationskurs]. In Kap. 7 schließlich werden in Form eines Ausblicks alternative und ergänzende Werkzeuge und Verfahren vorgestellt, die zur Evaluation des [e-Moderationskurses] ebenfalls infrage gekommen wären. Zudem werden zum Schluss der Arbeit Themenbereiche genannt, die in einer Metaevaluation im Bereich von Train the Trainer-e-Learning-Seminaren berücksichtigt werden sollten (s. Kap. 8).

Die Anhänge, von denen im Verlauf der Arbeit die Rede ist, wurden an der Universität in einer separaten Mappe eingereicht und sind nicht digital verfügbar. Die Verweise auf die Anhänge können und sollten deshalb vom Leser in dieser für die Publikation anonymisierten Fassung übergangen werden. Wichtige Zusammenhänge, um derentwillen die vorliegende Arbeit veröffentlicht wird, werden davon nicht berührt.

Das Seminar „[e-Moderationskurs]“, an dem ich selbst aktiv teilgenommen habe, dauerte mehrere Wochen und diente der Ausbildung von Moderatoren für e-Learning-Schulungen (= e-Moderatoren). Es umfasste als lernorganisatorischen Teil sechs eineinhalbstündige Live-Sitzungen, in denen sich ca. 20 Teilnehmer aus Deutschland und zwei weiteren europäischen Ländern von unterschiedlichen Standorten aus in das Internet einwählten und sich auf einer Lernplattform zu fest vereinbarten Terminen in regelmäßigen Abständen von 1-2 Wochen im virtuellen Seminar trafen. In den Live-Lektionen fand das eigentliche, durch den Kursleiter koordinierte Lerngeschehen statt. Die Lernplattform ermöglichte - über an alle Teilnehmer ausgeteilte Headsets - synchrone verbale Kommunikation, d.h. jeweils nur eine Person konnte zu einem Zeitpunkt sprechen und gehört werden. Die Sprechrechte wurden situativ durch den Kursleiter der Reihe nach an diejenigen vergeben, die sich jeweils zuvor gemeldet (= virtuell die Hand gehoben)

Stand: 22.09.03

Einleitung 2

hatten. Die Lernplattform gestattete zudem u.a. die Präsentation von Kursmaterialien durch den Seminarleiter und - nach entsprechender Rechtevergabe durch den Kursleiter - auch durch die Kursteilnehmer über eine virtuelle Tafel (Whiteboard). Alle verfügbaren Präsentations- sowie Kommunikations- und Kollaborationsmöglichkeiten sollten von den Kursteilnehmern in einer Reihe von virtuellen Gruppenarbeiten, die neben den Live-Sitzungen den Hauptbestandteil des Seminars bildeten, an den Tagen zwischen den Live-Lektionen in Eigenregie durch die Lernenden erlernt und eingeübt werden. Neben elektronischen Meetings (= virtuellen Live-Meetings) im Rahmen der Gruppenarbeiten konnten an den Tagen, an denen keine Live-Sitzungen stattfanden, auf einer zweiten Plattform vorkonfigurierte virtuelle Foren zur Ablage gemeinsamer Dokumente, unterschiedliche Dienste der Lernplattform wie Mailing, Mailing mit dem Tutor und Chat, zahlreiche elektronische Materialien zum Selbststudium und sonstige Funktionen verwendet werden. Das gesamte Lernpensum wurde, untergliedert in Pflichtteile und optionale Teile, im Vorfeld des Seminars bekanntgegeben (s. den Lernpfad in Anhang A). Die Live-Lektionen wurden neben einer kurzen Einführung in das Kursthema, der Erläuterung der Grundstruktur des Kurses und dem regelmäßigen Erinnern des Lernstandes nahezu ausschließlich zur Gruppenbildung für die Gruppenarbeiten und zur Besprechung allgemeiner Probleme verwendet.

Abschließend wurde der [e-Moderationskurs] mittels einer Fragebogenumfrage unter Berücksichtigung aller als Kursteilnehmer zur Verfügung stehenden Kursmaterialien und Lernresultate von mir evaluiert. Der Fragebogen, der zur Schlussbefragung der Kurzevaluation verwendet wurde, befindet sich in Anhang B, die dem Kunden gelieferte Kurzevaluation, die im folgenden auch als „Fragebogenauswertung“, „ursprüngliche Evaluation“ oder „Ausgangsevaluation“ bezeichnet wird, in Anhang C.

Ziel der vorliegenden Seminararbeit ist, im Rahmen der Evaluation der Kurzevaluation auf den Stellenwert der Kurzevaluation zu reflektieren, sie im nachhinein besser methodisch zu fundieren und Alternativen zum Bestehenden aufzuzeigen. Hierzu wurde insbesondere der methodische Teil der ursprünglichen Evaluation ausgearbeitet und theoretisch abgesichert. Auf die im Kurs [e-Moderationskurs] verwendeten Lehr- und Lernmaterialien und auf die Lernleistungen der Kursteilnehmer wird in der vorliegenden Arbeit nur so weit eingegangen, wie es zur Bewertung des gewählten Evaluationsverfahrens und zum Verständnis des

Stand: 22.09.03

Einleitung 3

Gesamtzusammenhangs erforderlich ist. In die vorliegende Seminararbeit fließen, wie schon in die ursprüngliche Evaluation, eigene Seminarerfahrungen und alle mir zugänglichen Kursmaterialien (Lehrmaterialien, Lernleistungen etc.) des [e-Moderationskurs]-Trainings als zusätzliche Informationen mit ein. Die vorliegende Arbeit kann als praxisgestützter Leitfaden für Personen dienen, die in der Erwachsenenbildung selbst Kurse evaluieren und durchführen oder Metaevaluationen im Bereich der Aus- und Weiterbildung durch e-Learning erstellen. Zudem kann diese Untersuchung Lernenden Aufschluss darüber geben, auf welche Qualitätsmerkmale und Probleme bei der Konzeption und Durchführung von e-Learning-Seminaren allgemein zu achten ist.

Stand: 22.09.03

Kapitel 1: Ziele und Schwerpunkte der vorliegenden Metaevaluation 4

1 Ziele und Schwerpunkte der vorliegenden Metaevaluation

Vom Auftraggeber erhielt ich als Vorgabe für die Kurz- bzw. Ausgangsevaluation (s. Anhang C) einen Fragebogen und eine Kurzevaluation aus dem vorherigen Kursdurchlauf (beides hier nicht mitgeliefert) mit dem Auftrag, eine Evaluation für den neu startenden Kurs durchzuführen. Beiden Dokumenten war implizit zu entnehmen, dass für den Auftraggeber in der Evaluation zum vorigen Kurs schwerpunktmäßig folgende Aspekte von besonderer Bedeutung waren:

• Beurteilung der Qualität und Angemessenheit der allgemeinen Ziele und

Wochenziele

• Beurteilung der Kohärenz zwischen dem tatsächlich Gelernten und den

Kurszielen

• Beurteilung des Kursinhaltes und der Qualität der Lernmaterialien

• Beurteilung der im Kurs verwendeten Methoden

• Beurteilung der verwendeten Medien

• Beurteilung der Eignung der im Seminar praktizierten Form des virtuellen

Lernens zum Lernen der Moderation von Kursen in virtuellen interaktiven Lernszenarien (= e-Moderation)?

Um eine möglichst große Vergleichbarkeit der von den Auftraggebern im Rahmen des vorigen Kursdurchlaufs erstellten Kurzevaluation mit der von mir zu erstellenden Kurzevaluation (s. Anhang C) zu gewährleisten, habe ich die obengenannten Aspekte auch in meinem - gegenüber dem Ausgangsfragebogen stark erweiterten und überarbeiteten - Fragebogen (s. Anhang B) sowie in der Kurzevaluation (s. Anhang C) und der vorliegenden Untersuchung zu den zentralen Fragestellungen gemacht.

In der vorliegenden Arbeit geht es darum, methodisch fundierter als in der Ausgangsevaluation (s. Anhang C) das im Seminar [e-Moderationskurs] Erreichbare und nicht Erreichbare sowie das tatsächlich Erreichte und Nicht-Erreichte aufzuzeigen. Dabei wird insbesondere auf inhaltliche und methodische Problemstellen des Kurses [e-Moderationskurs] und auf methodische Probleme bei der Erstellung der Kurzvaluation reflektiert. Ziel ist, die bestehende Kurskonzeption abzusi-

Stand: 22.09.03

Kapitel 1: Ziele und Schwerpunkte der vorliegenden Metaevaluation 5

chern und ggf. zusätzliche Optimierungsvorschläge für Folgeseminare abzuleiten. Die Ableitung von Verbesserungsmöglichkeiten an einzelnen Stellen des Kurses [e-Moderationskurs] spielt hingegen nach wie vor keine Rolle.

Stand: 22.09.03

Kapitel 2: Methodik 6

2 Methodik

In diesem Kapitel wird dargestellt, welche methodischen Voraussetzungen der vorliegenden Metaevaluation zugrunde liegen. Dies betrifft zum einen, als formalem Rahmen, die Evaluationsmethode (s. Kap.2.1.1 und Kap. 2.1.2) und zum anderen, für die Analyse des im Kurs [e-Moderationskurs] Erreichbaren, die zugrundeliegende Lerntheorie, die die Aussagen zum Kompetenzerwerb für die [e-Moderationskurs] wissenschaftlich fundiert (s. Kap. 2.2) und überhaupt erst eine theoretische Gewichtung der jeweiligen Annahmen und somit Evaluation ermöglicht. (SCHLOTFELDT 1997-2001, 2)

2.1 Evaluationsmethodik

2.1.1 Was ist Evaluation?

Da die Herkunft des Begriffs „Evaluation“ unsicher ist und der Begriff in den verschiedenen Lebensbereichen ganz unterschiedlich verwendet wird (JELITTO 2000, 3; s. unterschiedliche Ableitungen und zahlreiche Definitionen unter http://www.evaluieren.de/evaluat.ion/defini.htm), liegt dieser Arbeit die sehr weite, alle Spezialbedeutungen unfassende Definition von BAUMGARTNER zugrunde, nach der unter Evaluation

„alle Aktivitäten und/oder Ergebnisse zu verstehen [sind], die die Bedeutung, Verwendbar-

keit, (Geld-) Wert, Wichtigkeit, Zweckmäßigkeit, [...] einer Sache beurteilen bzw. bewerten.

Nur dieses weit gefaßte Verständnis von Evaluation kann sowohl die Charakteristika beson-derer Evaluationsfelder berücksichtigen als auch einen adäquaten Beitrag zur Theoriebil-

dung leisten.“ (BAUMGARTNER 1999, 71; zit. aus: JELITTO 2000, 3; s. http://www.evaluie-

ren.de/evaluat.ion/defini.htm)

Nach JELITTO werden die Begriffe „judgement“ und „assessment“ (Beurteilung, bewertende Analyse, Bewertung), experience utilization (Erfahrungsauswertung), achievement test (Leistungsvergleich), test (Test), quality measurement, quality securing, quality judgement, quality control (Qualitätsmessung, Qualitätssicherung, Qualitätsbeurteilung, Qualitätskontrolle), determination of the value (Wertbestimmung) oftmals synonym oder - mit Bedeutungsverschiebungen und

Stand: 22.09.03

Kapitel 2: Methodik 7

unterschiedlichen Konnotationen - partiell synonym zum Begriff „Evaluation“ verwendet. (JELITTO 2000, 3; vgl. http://www.evaluieren.de/evaluat.ion/definiti.htm#synonyme)

Evaluationen können zur Bewertung, als Planungshilfe und zur Optimierung eingesetzt werden. (JELITTO 2001, 3) In unterschiedlichen Phasen eines Projektes können verschiedene Evaluationsphasen durchlaufen werden, z.B. (1) Status-Quo-Evaluation (Ziel: Verschaffung eines Überblicks über vorhandenes Material und Wissen), (2) Analog-komparative Evaluation (= Analyse vergleichbarer Software, auch aus anderen Bereichen, mit dem Ziel des Herausarbeitens brauchbarer Eigenschaften), (3) Front-End-Evaluation (Absatzmarktprüfung mit Methoden der Marktforschung, Literaturauswertung hinsichtlich des theoretischen Hinter-grundes des Lernens mit neuen Medien, Zielentwicklung, Wahl der zugrundeliegenden Lerntheorie etc.), (4) formative Evaluation (s. Kap. 2.1.2), (5) Remedial Evaluation (= Prototype Testing vor Ort), (6) summative Evaluation (s. Kap. 2.1.2), (7) Folge-Evaluation (s. Kap. 7) , (8) fortlaufende Evaluation (= Suchen von Verbesserungsmöglichkeiten für die jeweils nächste Nutzung der entwickelten Software bzw. des entwickelten Kurses durch fortlaufende Beobachtungen) und (9) zeitunabhängige Evaluation (= Evaluation einer Software bzw. eines Kurses durch andere Personen zu beliebigen Zeitpunkten) (vgl. JELITTO 2002, 3 und 5).

Evaluationsbestrebungen sind in der Regel politisch oder wirtschaftlich motiviert. Sie dienten in der Vergangenheit u.a. der Reformierung des Bildungswesens, des Städtebaus, des Gesundheitswesens, des Sozialwesens und der Arbeitswelt. (LÜBBERT 1999, 2 f.) Einen Überblick über gängige Evaluationsmodelle im Bereich hypermedialer Lernsysteme geben [REISCHMANN 2003], [FRICKE 1997, 407 ff.], [JELITTO 2001, 3 ff.; http://www.evaluieren.de/evaluat.ion/methoden.htm], [SCHLOTFELDT 1997-2001], [ABELS/DIECKMANN/KÖSTER/SCHNEIDER 1999, 3 ff.], [JELITTO 1998-2003], [BLOCK 2003, 2 f.], [LÜBBERT 1999] und [BLUMSTENGEL 2003].

2.1.2 Dem Kurs zugrundeliegende Evaluationsmethoden

Die vorliegenden Ausführungen zur Evaluationsmethodik basieren hauptsächlich auf BLUMSTENGEL, die bei der Evaluation von hypermedialen Lernsystemen in

Stand: 22.09.03

Kapitel 2: Methodik 8

Anlehnung an [REINMANN/MANDEL/PRENZEL 1994, 82 ff.] drei Phasen unterscheidet, auf die ich im folgenden in diesem Kapitel näher eingehe:

• (1) Evaluationsplanung (Vorbereitungphase),

• (2) formative Evaluation und

• (3) summative Evaluation.

Das Gesamtziel von Evaluationen im Bildungsbereich ist in der Regel die Beant-wortung der Frage,

„ob und ggf. auf welcher Ebene Lernen und Lehren verbessert wird. Mögliche Nutzenkatego-

rien sind beispielsweise der Umfang bzw. die Nachhaltigkeit erworbenen Wissens, die Lern-

geschwindigkeit oder die Motivation der Lernenden. Diese können dann den entstandenen

Kosten gegenübergestellt werden. Evaluationsmaßnahmen dienen so der Qualitätssiche-rung“ hypermedialer Lernsysteme. (BLUMSTENGEL 1998, 1)

(1) Jede Evaluationsplanung umfasst eine Bedarfsanalyse sowie die Festlegung grundlegender Lernziele und messbarer Erfolgskriterien. Die Lernziele, die für den Kurs [e-Moderationskurs] verbindlich waren, habe ich dem Lernpfad des Kurses (s. Anhang A) entnommen und in Kap. 3 zusammengefasst. Sie sind unkonkret und vage. Die Ziele der vorliegenden Evaluation sind in Kap. 1 dieser Arbeit dargestellt. Sie wurden von mir in dieser Ausrichtung frei gewählt. Auf den Bedarf der Teilnehmer, der zu Beginn des Kurses von den Kursleitern im Rahmen einer Bedarfsanalyse mündlich und schriftlich (s. Anhang E, Blatt 2) ermittelt wurde, wurde im Verlauf des Kurses [e-Moderationskurs] nicht eingegangen. Darüber hinaus wurden keine Erfolgskriterien festgelegt. (2) Formative Evaluationen dienen der Beurteilung und ggf. schrittweisen Verbesserung der jeweiligen Maßnahme mit dem Ziel der Beseitigung von Schwachstellen. Sie werden in der Regel vorab durchgeführt oder begleiten die Entwicklung von Systemen. Dadurch kann das Risiko eines totalen Misserfolgs eines Gesamtsystems (z.B. einer Hard- oder Softwarelösung) oder einer Bildungsmaßnahme eingeschränkt werden. Formative Analysen können, wie im vorliegenden Fall, auch ex ante, also nach Beendigung der Schulungsmaßnahme, vorgenommen werden, indem das Lernarrangement erst zum Schluss auf seine didaktischen Qualitäten hin analysiert wird, um Verbesserungen für Folgekurse zu erreichen. Formative Analysen zeigen auf, nach welchen Kriterien ein Produkt geprüft wird. (REISCHMANN 2003, 80) Im Falle des Kurses [e-Moderationskurs] sind diese Kriterien die in Kap. 1 genannten Evaluationsziele.

Stand: 22.09.03

Kapitel 2: Methodik 9

Formative Evaluation umfasst sowohl Qualitätsanalyse als auch Wirkungsanalyse. (BLUMSTENGEL 1998, 2) Qualitätsanalysen können bei der Evaluation von Lernprogrammen z.B. die Ergonomie und Programmoberflächen (Benutzer-freundlichkeit, Übersichtlichkeit, Navigationskonzepte etc.), den Inhalt (Verständlichkeit, Vollständigkeit, Relevanz für das Erreichen der Lernziele etc.) oder die didaktische Gestaltung (curriculare Einbindung, pädagogisches Design, z.B. Feedbackformen, Hilfestellungen und Fragetechniken, Gestaltungstechniken etc.) zum Gegenstand haben (ebenda).

Im Rahmen von formativen Evaluationen vorgenommene Wirkungsanalysen finden in der Regel z.B. mittels Fallstudien oder Einzelbefragungen statt. Der Schwerpunkt hierbei liegt auf der Beobachtung des Lernprozesses (ebenda). In der vorliegenden Analyse wurde der gesamte Verlauf der Schulung, in der die Seminarteilnehmer häufig zur Reflexion und zum schriftlichen Festhalten von Reflexionsprozessen in den virtuellen Foren und zum Führen eines persönlichen Lern-Dokumentationsbuchs aufgefordert wurden, von mir beobachtet. Da zudem das gesamte virtuelle Seminar, d.h. alle Live-Lektionen, aufgezeichnet wurde und mittels Downloads frei verfügbar war, hätten auch die Reaktionen der Teilnehmer in den Live-Lektionen im nachhinein noch genauer von mir ausgewertet werden können.

(3) Im Rahmen der summativen Evaluation wird die gesamte Maßnahme abschließend auf ihre pädagogische Effizienz hin beurteilt. Die Effizienz wird an den jeweiligen Zielstellungen der Maßnahme gemessen. “Anhand von Ziel- und Qualitätskriterien, auf der Grundlage von möglichst objektiven und quantitativen Daten, durch wissenschaftlich fundierte und vergleichende Untersuchungen soll letztendlich das Ergebnis, der Erfolg oder der Nutzen von Maßnahmen bewertet werden.“ (JÖNS 1992, 280 f.; zit. aus: BLUMSTENGEL 1998, 2) In der Wirkungsanalyse summativer Evaluationen liegt der Schwerpunkt auf dem Treffen primär quantitativer Aussagen, z.B. in abschließenden Produktbewertungen durch Verbraucherschutzorganisationen (vgl. SCHLOTFELDT 1997-2001, 5). Summative Evaluationen müssen, um wissenschaftlich zu sein, mit repräsentativen Stichproben oder mit einer hinreichend großen Gesamtzielgruppe durchgeführt werden. (BLUMSTENGEL 1998, 3).

Schlussfolgerungen: In der vorliegenden Analyse werden hauptsächlich analytisch auf der Basis der Operativen Lerntheorie (s. Kap. 2.2) wissenschaftlich fun-

Stand: 22.09.03