Studieren im Netz: Eine Studie zum Einfluss von Instruktionsart und motivationalen/affektiven Lernermerkmalen auf Lernprozess und Lernergebnis

Inhaltsverzeichnis

1 Evaluation des Internetseminars „Medienwelten von Kindern und Jugendlichen“
1.1 E-Learning in der Hochschullehre
1.1.1 Begriffsklärung und Klassifikation multimedialer Lernarrangements
1.1.2 Potenziale und Grenzen multimedialer Lernarrangements
1.1.3 Virtuelles Lernen an deutschen Hochschulen
1.2 Evaluation multimedialer Lernsysteme
1.2.1 Grundlagen der Evaluation
1.2.2 Evaluation von (multimedialen) Bildungsangeboten
1.2.3 Forschungslage zur Evaluation multimedialer Lernsysteme
1.2.4 Evaluation des Internetseminars „Medienwelten von Kindern und Jugendlichen“
1.3 Die Lernumgebung: Strategien beim computergestützten Lernen
1.3.1 Selbstgesteuertes Lernen: Theorien und Forschungsergebnisse
1.3.2 Förderung von selbstgesteuertem Lernen
1.4 Der Lerner: ausgewählte motivationale und affektive Faktoren
1.4.1 Interesse und multimediales Lernen
1.4.2 Motivation und multimediales Lernen
1.4.3 Selbstwirksamkeit und multimediales Lernen
1.4.4 Einstellungen und multimediales Lernen
1.4.5 Lernemotionen und multimediales Lernen
1.5 Wirkmodell der motivationalen und affektiven Determinanten beim computergestützten Lernen

2 Fragestellungen und Hypothesen

3 Methode
3.1 „Medienwelten von Kindern und Jugendlichen“: Informationen zum Internetseminar
3.2 Stichprobe
3.3 Untersuchungsdesign und Versuchsplan
3.4 Variablen und Erhebungsinstrumente
3.4.1 Variablen des Fragebogen I
3.4.2 Variablen der Fragebogen II und III
3.5 Die Programmvariable Instruktionsart
3.5.1 Ziele und Inhalte des inhaltlichen Trainings
3.5.2 Ziele und Inhalte des strategischen Trainings
3.6 Auswertungsverfahren

4 Ergebnisse
4.1 Zusammenhänge zwischen den Lernervariablen und den Prozess- und Ergebnisvariablen
4.1.1 Zusammenhänge zwischen den einzelnen Lernervariablen
4.1.2 Zusammenhänge zwischen den Prozess- und Ergebnisvariablen
4.1.3 Zusammenhänge zwischen den Lernermerkmalen und den Prozess- und Ergebnisvariablen
4.2 Einfluss der Programmmerkmale auf Lernprozess und Lernergebnis
4.2.1 Einfluss der Programmvariable auf die erlebte Selbstwirksamkeit
4.2.2 Einfluss der Programmvariable auf die erlebten Lernemotionen
4.2.3 Einfluss der Programmvariable auf die erzielte Leistung und Akzeptanz des Internetseminars
4.3 Effekte der Lernermerkmale und der Programmvariable im Hinblick auf Lernprozess und Lernergebnis
4.3.1 Effekte des Trainings und der Lernervariablen auf die erlebte Selbstwirksamkeit
4.3.2 Effekte des Trainings und der Lernervariablen auf die erlebten Lernemotionen
4.3.3 Effekte des Trainings und der Lernervariablen auf die erzielte Leistung und Akzeptanz des Internetseminars

5 Diskussion
5.1 Diskussion der Zusammenhänge zwischen den Lernvariablen und den Prozess- und Ergebnisvariablen
5.2 Diskussion der Ergebnisse zum Einfluss der Instruktionsart auf Lernprozess und Lernergebnis
5.3 Diskussion der Effekte der Lernermerkmale und der Instruktionsart im Hinblick auf Lernprozess und Lernergebnis
5.4 Generelle Anmerkungen und Ausblick

6 Zusammenfassung

7 Literaturverzeichnis

8 ANHANG

1 Evaluation des Internetseminars „Medienwelten von Kindern und Jugendlichen“

Im folgenden Kapitel soll zunächst eine Begriffsklärung und Klassifikation multimedialer Lernsysteme und deren medienspezifische Eigenschaften erfolgen, bevor dann ein Überblick über Projekte an deutschen Hochschulen folgt, die sich mit dem Einsatz neuer Medien in der Lehre beschäftigen.

1.1 E-Learning in der Hochschullehre

Bildung ist ein unentreißbarer Besitz.

Menander

In einer Gesellschaft, in der das Wissen des Menschen, seine Fähigkeiten und Kompetenzen zur „zentralen knappen Ressource“ (Hilse, 2001, S. 149) geworden sind, nimmt Bildung einen immer höheren Stellenwert ein. Gleichzeitig ist die Gesellschaft des 21. Jahrhunderts auch eine Gesellschaft des technischen Fortschritts. So liegt es nahe – und wird zunehmend unabdingbar –, dass über neue Formen des Lehrens und über eine neue Lern- und Bildungskultur nachgedacht wird.

Um mit dem schnellen Wissensverfall der heutigen Zeit Schritt halten zu können und die Lehre effektiver und effizienter zu gestalten, werden neue Informations- und Kommunikationstechnologien zunehmend dafür genutzt, neue Lehr- und Lernsysteme zu entwickeln - multimediale Lehr- und Lernarrangements. Man verspricht sich von diesen multimedialen Lernformen, dass sie Wissen schneller, flexibler, zeitlich und räumlich unabhängig und individuell nach den Bedürfnissen der Lerner transportieren (Döring, 2002; Schenkel, 2002; Schlageter&Feldmann, 2002). Gefördert durch die Diskussionen um die ‚Bil-dungsmisere Deutschland’, um Kosteneinsparungen und Personalabbau an deutschen Hochschulen, entstanden in den letzten Jahren an verschiedenen Universitäten und anderen Bildungseinrichtungen erste Projekte zum Lernen mit neuen Medien (einen Überblick über den derzeitigen Stand an deutschen Hochschulen gibt Kapitel 1.1.3). Staub (2001, S. 549) drückt es treffend aus, wenn er sagt, „e-learning wird in diesem Zusammenhang als eine der vielversprechendsten, zukunftsweisenden Anwendungen gesehen. Es wird uns das Instrumentarium für wirksames lebensbegleitendes Lernen in die Hand gegeben und damit den Weg in das Lernzeitalter ebnen“.

Ob jedoch die optimistische Annahme, dass mit zunehmender „Virtualisierung“ alle momentanen Bildungsprobleme entschärft, wenn nicht gar gelöst werden, tatsächlich zutrifft, ist zurzeit noch eine unbeantwortete Frage. Die Forschung zum multimedialen Lernen und der Nachweis von Effizienz stehen noch am Beginn. Nur wenn nicht nur die Entwicklung neuer Lehr- und Lernsysteme, sondern auch deren Evaluation gefördert wird, ist der Einsatz von Multimedia in der Hochschule tatsächlich eine Chance zur Verbesserung der Qualität von Studium und Lehre.

1.1.1 Begriffsklärung und Klassifikation multimedialer Lernarrangements

E-learning is not about using the latest technology to

replace the classroom. Not is it about posting content

on the Web to be downloaded or read.

Brandon Hall

„E-learning“, „virtuelle Universität“, „Telelernen“, „distance learning“, „computergestütztes Lernen“, „Online-Seminar“ u.v.m., das sind die Schlagworte, die alle eine Entwicklung kennzeichnen: den Einsatz von Multimedia und die Nutzung des Internets zur Vermittlung von Wissen. Die Einsatzmöglichkeiten von Multimedia in der Hochschule und die rasanten technischen Entwicklungen sind sehr vielfältig, was sich auch an der Bandbreite der Begrifflichkeiten zeigt. Um im Begriffsdschungel rund um „e-learning“ klarer zu sehen, soll zunächst eine Abgrenzung der wichtigsten und für diese Arbeit relevanten Begriffe erfolgen.

Der Begriff „e-learning“ (electronic learning) wird zunehmend als eine Art Sammelbegriff für sämtliche Formen des computerunterstützten Lernens verwendet. Genau genommen bezeichnet er jedoch nur einen kleinen Bereich, nämlich den des Online -Lernens. E-learning setzt also eine direkte Netzanbindung z.B. mit dem Internet voraus.

Eine Definition des Begriffs „e-learning“, die weitestgehend anderen Definitionsversuchen entspricht, stellt das Netlexikon zur Verfügung:

„E-Learning kann begriffen werden als Lernen, das mit Informations- und Kommunikationstechnologien unterstützt bzw. ermöglicht wird. Wichtig ist, dass diese Technologien mit dem Lernprozess selbst unmittelbar verbunden sind und nicht nur rudimentäre Hilfsmittel darstellen“ (www.netlexikon.de/e-learning.html). Der Eingrenzung auf diejenigen Formen des Lernens, die ausschließlich online stattfinden, wird in folgender Definition der U.S. Firma Cisco Systems, die E-Learning-Lösungen anbietet, aber eher Rechnung getragen: „E-Learning: Internet-enabled learning that encompasses training, education, just-in-time-information, and communication“ (zitiert nach Schaller, 2001).

Besser geeignet als Überbegriff erscheint der Begriff ‚ distance learning’, der alle Formen von Lernen beinhaltet, das ohne die gleichzeitige physische Präsenz des Lerners und des Lehrenden stattfindet. Die entsprechende deutsche Bezeichnung wäre am ehesten ‚Fernlehre’ oder ‚Fernstudium’ (Köllinger, 2001).

Am häufigsten werden Lernformen danach unterschieden, ob sie online oder offline stattfinden: computer-based training (CBT), also computerbasiertes Lernen, und andere verwandte Begriffe wie computer aided (assisted) training oder computerunterstütztes Lernen bezeichnen ausschließlich Offline-Lernen. Diese Lernform ist bereits in den sechziger Jahren eingesetzt worden (Seufert & Mayr, 2002). Die Inhalte sind auf Datenträgern (Diskette, CD-rom, DVD) gespeichert und stehen dem Lerner unabhängig von einer Netzanbindung zur Verfügung.

Durch die Entwicklung des Internets erfuhr das CBT eine Weiterentwicklung in Form des WBT, web-based training oder webbasiertes Lernen. Der Lernstoff steht hier in Netzwerken auf so genannten Lernplattformen zur Verfügung und wird vom Lerner online und ‚in time’ abgerufen (Seufert & Mayr, 2002). Diese Bezeichnung wird oftmals synonym zu ‚e-learning’ verwendet.

CBTs und WBTs zählen zu den so genannten tutoriellen Systemen und finden sich momentan noch am häufigsten. ‚ Simulationen ’ oder Planspiele sollen komplexe Zusammenhänge veranschaulichen und machen ein interaktives Arbeiten mit dynamischen Systemen möglich.

„ Hypertexte “ verknüpfen diverse Informationen vielfältig miteinander und weisen damit keine lineare Form auf, sondern können vom Lerner flexibel und selbstgesteuert bearbeitet werden (Wedekind, 1997). Zudem können elektronische Lexika, Datenbanken und andere „ Computer-Werkzeuge “ als Ergänzung eingesetzt werden (a.a.O.).

Neuere Formen des multimedialen Lernens umfassen Lernformen des kooperativen Lernens (CSCW= computer supported cooperative work, CSCL= computer supported cooperative learning). Dabei arbeiten mehrere Lerner in Gruppen gemeinsam an Lernaufgaben. Durch den Einsatz von neuen Informations- und Kommunikationstechniken soll die Zusammenarbeit als Team effizienter und flexibler gestaltet werden. Die Zusammenarbeit kann zeitlich synchron oder asynchron und räumlich getrennt oder am gleichen Ort stattfinden und erfolgt durch Verwendung von E-Mail, Chatrooms, Videokonferenzen oder Whiteboard-Tools (Seufert & Mayr, 2002).

Im Folgenden wird als Überbegriff für alle Formen multimedialen Lernens die Bezeichnung „mulimediale Lernsysteme/multimediale Lernformen“ verwendet bzw. „e-learning“, wenn explizit nur Online-Lernformen gemeint sind. Bei Zitaten muss jedoch der Begriff „e-learning“ meist als Sammelbezeichnung für alle Lehrformen, die neue Informations- und Kommunikationsmedien nutzen, verstanden werden.

1.1.2 Potenziale und Grenzen multimedialer Lernarrangements

Die vorgestellten multimedialen Lehrformen haben folgende Eigenschaften gemeinsam, die sich gegenseitig bedingen:

- Virtualisierung: Nutzung lokaler und globaler Datennetze zur Darstellung von Informationen
- Multimedialität: Integration von Texten, Bildern, Daten, Tönen
- Flexibilisierung: zeit- und ortsunabhängiger Zugriff auf Information
- Interaktivität: vielfältige Chancen zur Interaktion und Kommunikation von Lernenden sowie zwischen Lehrenden und Lernenden
- Individualisierung: verschiedene Lernwege je nach Kenntnisstand

(Hasenbach-Wolff, 1992; Müller-Böling, 1997; Seufert & Mayr, 2002; Sprenger, 2001).

Aus diesen Eigenschaften ergeben sich die Chancen, aber auch die Grenzen von multimedialen Lernformen, die im Folgenden überblicksartig aufgeführt werden.

Kraemer, Milius und Scheer (1997, S. 13) sehen die Vorteile des integrativen Medieneinsatzes in der Lehre vor allem in der Flexibilisierung und Individualisierung des Lernens. Durch die Möglichkeit, raum- und zeitunabhängig auf studienrelevantes Wissen zuzugreifen und Lernumgebung und Lerntempo selbst zu bestimmen, wandelt sich Lernen so „vom passiven und anonymen Konsum von Präsenzveranstaltungen hin zum individuellen Lernprozeß“.

Hasenbach-Wolff (1992) fokussiert ebenso auf die Vorteile multimedialen Lernens für den Lerner: Durch die vielen Interaktionsmöglichkeiten fördere es aktives Lernen, und dadurch dass vom Lerner fast ständig eine Aktion (z.B. Tastendruck) verlangt wird, werde er sehr viel stärker gefordert als beim traditionellen Präsenzunterricht. Beim computergestützten Lernen sei der Lerner außerdem mehr auf sich selbst gestellt, er müsse Lerntempo, Lernweg und Lernzeiten selbst gestalten, was selbstgesteuertes und selbstständiges Lernen fördere. Eine Folge davon sieht Hasenbach-Wolff (a.a.O.) in einer Optimierung der Lernprozesse für den einzelnen Lerner, da diese individuell an den speziellen Anwender angepasst werden könnten. Die Vielzahl an gestalterisch-grafischen Elementen könne außerdem die Motivation des Lerners steigern, sich mit den Inhalten auseinander zu setzen.

Nicht zu vergessen sind an dieser Stelle die behaupteten wirtschaftlichen Vorteile, die vor allem darin gesehen werden, dass durch den gezielten Einsatz neuer Informations- und Kommunikationstechnologien die Lehre effektiver und effizienter gestaltet werden könne. Kohn (2002) sieht vor allem folgende Vorteile für Organisationen: höhere Vernetzung der Lernmedien, günstige Produktion und Distribution von Bildungsangeboten und einfache und schnelle Aktualisierung der Lerninhalte.

Doch es zeigen sich in der Praxis auch die Grenzen und Probleme multimedialer Lernsysteme. Germann und Koch (2002) fassen diese wie folgt zusammen.

- Unter-/Überforderung durch Online-Lernen
- Orientierungslosigkeit beim Lernen
- unterschiedlicher Wissensstand der Lerner
- Mangel an sozialer Präsenz
- lange und träge Kommunikationswege

Zusammenfassend muss man sagen, dass der Erfolg oder Misserfolg von elearning von vielen Faktoren abhängt, zum Beispiel inwieweit die personellen, technischen und finanziellen Ressourcen an den Hochschulen und in anderen Bildungsinstitutionen überhaupt vorhanden sind. Kandzia (2002, S. 52) sieht vor allem in den drei Bereichen „unausgereifte Technik, fragliche Didaktik und vor allem enorme Kosten“ die zentralen Hindernisse für den Einsatz von e-learning in der Lehre.

1.1.3 Virtuelles Lernen an deutschen Hochschulen

Die Zukunft hat also bereits begonnen.

Töpfer (2001, S. 79)

Man verspricht sich viel vom netzbasierten Lernen. Mancher spricht gar vom Untergang der Präsenzuniversität. Wie aber ist der momentane Stand tatsächlich zu beurteilen? Wie und wo wird netzbasiertes Lernen bereits eingesetzt? Was wird die Zukunft bringen? Sind wir auf dem Weg zur ‚virtuellen Hochschule’? In diesem Kapitel soll eine Einschätzung der momentanen Situation zum Multimedia-Einsatz an Universitäten gegeben werden.

Studien zum Multimedia-Einsatz an deutschen Hochschulen

Zweifelsohne steckt e-learning heute noch „in den Kinderschuhen“ (Staub, 2001, S. 568). Verschiedene Studien zum e-learning-Markt prognostizieren allerdings, dass der Markt für e-learning-Produkte weiterhin wachsen werde (Michel & Pelka, 2003). Diesen groben Trend kann man auch an deutschen Hochschulen beobachten, wie folgender Überblick zum virtuellen Lernen an Universitäten zeigen soll.

Eine Studie der Bertelsmann-Nixdorf-Stiftung zum Thema „Virtuelles Lehren und Lernen an deutschen Universitäten“ (1997) dokumentiert 151 Projekte rund um multimediales Lernen. 66 davon waren zum damaligen Zeitpunkt allerdings erst in der Konzeptions- oder Entwicklungsphase. Die Hälfte der Projekte wurde von einzelnen Teams initiiert und fand damit auch ohne regionale oder auch überregionale Kooperationspartner statt. Intrauniversitäre Kooperationen gab es nur in 33 %, interuniversitäre Kooperationen sogar nur in rund 20 % der Projekte. Wenn man betrachtet, inwiefern Multimedia innerhalb dieser Projekte eine Rolle spielt, so ergibt sich folgendes Bild: Mit 39 Nennungen war der Einsatz von vorlesungsbegleitenden Skripten der ‚Spitzenreiter’, gefolgt von der Multimedia-CD-Rom (35 Nennungen) und bloßen Infrastrukturmaßnahmen (11 Nennungen). Auch eine Umfrage von HIS (1996), dem Hochschulinformationssystem, kommt zu dem Schluss, dass der Einsatz von Medien bzw. dem Internet vorrangig noch allein der Informationsbeschaffung durch die Studierenden (Recherche) und der Bereitstellung von Informationen durch die Lehrenden vorbehalten ist (Schulmeister, 2001). Komplexere Online-Projekte fanden sich also noch nicht oder nur in Ansätzen. Beide Umfragen kamen außerdem zu dem Schluss, dass die mathematisch-naturwissenschaftlichen Fächer mit 36 % und die Ingenieurwissenschaften mit 29 % momentan noch Vorreiter im Multimedia-Einsatz darstellen.

Lehner (2000, S. 60 f.) sieht zwar einen „akuten Handlungsbedarf“, die Hochschulen befänden sich aber in einer „noch nicht abgeschlossenen Entwicklung. (…) Ein fest etabliertes Online-Studienangebot [bilde] an deutschen Hochschulen noch die Ausnahme“. Als Beispiele für erste Ansätze der Virtualisierung der Hochschullehre nennt er als unabhängige Institutionen die Fernuniversität Hagen (Virtual University System, VUS), die in Deutschland die erste Universität war, die ausschließlich Fernlehre anbot und heute mehr als 55 000 Studenten ausbildet, die VHB, die Virtuelle Hochschule Bayern, die VUR - Virtuelle Universität Regensburg - und den Campus Kanal München (die beiden letzteren bieten als Ergänzung und Erweiterung des Präsenzstudiums multimediale Angebote an), den Projektverbund Virtueller Campus als Kooperationsprojekt der Hochschulen Hannover, Hildesheim und Osnabrück und einige andere. Die meisten dieser Projekte haben allerdings noch Pilot- und Entwicklungscharakter und sind zudem oftmals nicht allgemein zugänglich (Lehner, 2000).

Eine Übersicht über vorhandene Bildungsangebote im Internet soll die Website http://www.studieren-im-netz.de geben. Dort finden sich ca. 2 500 einschlägige Angebote, ein studienrelevantes Zertifikat für ein grundständiges Studium ist jedoch in keinem der angebotenen Kurse zu erwerben. Vielmehr handelt es sich meist um Lernmodule und Studiengänge, die auf eine Fort- und Weiterbildung im Sinne eines Aufbau-/Zusatzstudiums abzielen. Die Möglichkeit, einen Leistungsnachweis zu erwerben, der auch im Rahmen des regulären Studiums anerkannt wird, erhalten zumindest Studenten bayerischer Universitäten an der ‚Virtuellen Hochschule Bayern’ unter http://www.vhb.org. Allerdings umfasst das Angebot momentan nur die fünf Fachbereiche Informatik, Ingenieurwissenschaften, Medizin, Wirtschaftswissenschaften, soziale Arbeit und den Zusatzbereich Schlüsselqualifikationen.

Zusammenfassend berichtet Schulmeister (2001, S. 50) von einem „ernüchternden Eindruck“ und Keil-Slawik (1997) nennt auch die Gründe dafür: Die meisten Projekte, die an deutschen Hochschulen in den letzten Jahren initiiert wurden, sind noch sehr jung und befinden sich noch in einer Pilotphase. Zudem liegen oftmals keine Evaluationen der e-learning-Angebote vor. So scheint es zum jetzigen Zeitpunkt unmöglich zu beurteilen, inwieweit der Einsatz der neuen Technologien für die Lehre tatsächlich zu einer Verbesserung der Qualität führt. Eine wissenschaftliche Bewertung ist insofern unmöglich, da viele der Projekte bisher einmalig sind, also keine Wiederholung der Veranstaltung stattgefunden hat bzw. keine vergleichbare Präsenzveranstaltung Vergleichsmöglichkeiten bietet (a.a.O.). Auch das noch sehr uneinheitliche Verständnis von Multimedia trägt dazu bei, dass es momentan große Unterschiede in Konsequenz, Umfang und Qualität des Medieneinsatzes gibt. Bei einer solchen Bandbreite von Einsatzmöglichkeiten hält es Keil-Slawik für unmöglich, generelle Aussagen z.B. zur Wirksamkeit von e-learning zu machen. Meist werden entsprechende Projekte von einzelnen Lehrenden oder kleineren Arbeitsgruppen initiiert, selten fortgeführt und auch fast nie in die Lehrbetrieb der Hochschule integriert.

Die „breite Angebotserweiterung“ und „Strukturänderung an den Hochschulen“, die verschiedene Hochschul- und Förderprogramme (vgl. unten) postulieren, blieb also bisher noch aus. „Der Einsatz von Multimedia in der Hochschullehre ist noch weit vom Hochschulalltag entfernt“ (Keil-Slawik, 1997, S. 39).

Ein Blick in die Zukunft

Issing (1997, S. 161) prognostiziert, „dass auch in Deutschland, trotz seiner relativ großen Hochschuldichte, in den kommenden Jahren virtuelle Studienangebote weitere Verbreitung finden werden“, wobei er allerdings davon ausgeht, dass die Entwicklung in den einzelnen Fachbereichen unterschiedlich verlaufen wird. Zum Beispiel werden schon heute in der Informatik und in den Wirtschafts- und Naturwissenschaften Online-Angebote wesentlich intensiver und rascher genutzt als in den Geisteswissenschaften (Cleuvers, 2003). Issing (1997, S. 162) hält es zudem für notwendig, „die Aktivitäten auf diesem Sektor von einer zentralen Stelle aus zu koordinieren“. Es sei außerdem „unschwer zu prognostizieren, dass sich das Studium durch die Integration von Online-Angeboten vor allem wegen des einsetzenden weltweiten Wettbewerbs unter den Bildungsinstitutionen in den kommenden Jahren nachhaltig verändern wird“ (a.a.O.).

„Die Idee eines vernetzten globalen Campus, sozusagen einer regional unabhängigen Universität, einschließlich der Beratung, des Erwerbs von Leistungsnachweisen und dem Ablegen von Prüfungen“ hält Koring (1999) für realisierbar, wenn er auch nicht davon ausgeht, dass das virtuelle Studium das traditionelle Studium in nächster Zeit vollständig ersetzen wird.

Der Expertenkreis der BIG-Initiative entwirft folgendes - utopisches - Szenario für die virtuelle Hochschule 2005:

Spätestens im Jahre 2005 werden die deutschen Hochschulen im direkten Wettbewerb mit privaten Anbietern stehen. Mehr als die Hälfte aller Studierenden wird dann virtuelle Studienangebote nutzen, so das Expertenpapier "Szenario 2005", das die Professoren J. L. Encarnação, Wolfgang Leidhold und Andreas Reuter für den Expertenkreis "Hochschulentwicklung durch neue Medien" verfaßt haben. Im Jahre 2005 werden Studenten nicht mehr nur zwischen staatlichen Hochschulen wählen. Im globalen Online-Bildungsmarkt werden private Bildungsanbieter und Corporate Universities dem staatlichen Angebot Konkurrenz machen. Kooperationen zwischen Hochschulen und Wirtschaftsunternehmen sowie Bildungs-Broker für individuelle Bildungsangebote werden neue Akzente in der Bildungslandschaft setzen. Encarnação, Leidhold & Reuter (o.J.)

Aus heutiger Sicht ist es natürlich unwahrscheinlich, dass diese sehr kurzfristige Prognose tatsächlich 2005 verwirklicht sein wird.

Konservativere Prognosen ergeben sich aus einer internationalen Delphi-Befragung, die 2000 durchgeführt wurde: „Selbst im Jahr 2010 wird weniger als ein Viertel des Unterrichts durch Teleteaching ersetzt werden“ (Beck, Glotz & Vogelsang, 2000, zitiert nach Schulmeister, 2001, S. 33). Außerdem wird davon ausgegangen, dass die Differenzierung nach Fachbereichen aufgrund der erwarteten unterschiedlichen Effektivität noch weiter zunehmen wird.

Lehner (2000, S. 66) gewinnt den Eindruck, dass trotz der angeblich großen Chancen („Flexibilisierung des Studiums“, „bessere Lernerfolge“, „rasche Reaktionsmöglichkeit auf Ausbildungsbedarfe“ etc.) die Hochschulen „der Virtualisierung selbst noch wenig Bedeutung beimessen“. Entsprechend vorsichtig ist auch seine Prognose für das multimediale Lernen an deutschen Hochschulen: „Teleteaching und Telelearning werden in den kommenden Jahren die traditionelle Hochschullehre nicht ersetzen, sondern bereichern. (…) Die Universität der Zukunft wird (…) nicht virtuell sein, sie wird jedoch die Potenziale der neuen Technologien für eine hochwertige Ausbildung nutzen“ (Lehner, 2000, S. 69 f.).

Hochschulpolitische Initiativen

Mittlerweile wurde die Bedeutung neuer Informations- und Kommunikationstechnologie für die Hochschullehre auch auf politischer Ebene erkannt.

Das Bundesministerium für Bildung und Forschung hat es sich zur Aufgabe gemacht, mit seinem Förderprogramm „Neue Medien in der Bildung“ den Einsatz von Multimedia in der Hochschullehre mit einem Budget von 400 Millionen Euro zu unterstützen. „Gefördert werden Vorhaben zur Entwicklung, Erprobung und Einführung innovativer multimedialer Lehr- und Lernformen an Hochschulen auf der Grundlage des Förderprogramms ‚Neue Medien in der Bildung’“ (BMBF, 2000). Auch der Wissenschaftsrat (1998, S. 62) stellt das Potenzial von Multimedia „für eine systematische Verbesserung von Lehre und Studium“ in den Mittelpunkt. Allerdings sieht der Wissenschaftsrat die Verantwortung auf Seiten der Hochschulen, diese Entwicklung voranzutreiben und damit eine Reform selbst in die Hand zu nehmen.

Die Staatssekretär-Arbeitsgruppe der Bund-Länder-Kommission (2000) hat sich in den vergangenen Jahren intensiv mit dem Innovationspotenzial der Neuen Medien für die Hochschullehre auseinandergesetzt, widmet sich aber ebenso den momentan noch vorliegenden Defiziten, wie z.B. dem Fehlen zen-traler Informations- und Kompetenzzentren.

Es scheint jedoch zwingend, dass sich die Hochschulen auf eine Veränderung der Zusammensetzung der Studentenschaft mit einem hohen Anteil an Teilzeitstudenten, auf weitere rasante Entwicklungen der Computertechnologien und Weiterentwicklungen auf dem e-learning-Markt, den zunehmenden Wettbewerb der Hochschulen untereinander mit dem Ziel der Qualitäts- und Effizienzsteigerung und andere gesellschaftliche und strukturelle Veränderungen einstellen (Schulmeister, 2001).

1.2 Evaluation multimedialer Lernsysteme

Behauptung ist nicht Beweis.

William Shakespeare

Um die virtuelle Hochschule für die Zukunft zu rüsten, ist es notwendig, bestehende Online-Angebote im Hinblick auf verschiedene Aspekte zu evaluieren und so eine wissenschaftliche Grundlage für weitere Entwicklungen bereit zu stellen. Dieses Kapitel widmet sich deshalb dem Thema Evaluation und dabei insbesondere der Evaluation multimedialer Lernarrangements.

1.2.1 Grundlagen der Evaluation

„To say that there are as many definitions as there are evaluators is not too far from accurate“ (Franklin & Trasher, 1976, S. 20). Der Begriff „Evaluation” wird in der Literatur sehr vielfältig und unterschiedlich verwendet, je nach Schwerpunkt- oder Zielsetzung. Zudem findet man eine Vielzahl verwandter Begriffe, die mehr oder weniger treffend als Synonym gebraucht werden: „So spricht man etwa von Erfolgskontrolle, Effizienzforschung, Begleitforschung, Bewertungsforschung, Wirkungskontrolle, Qualitätskontrolle usw.“ (Wottawa & Thierau, 1990, S. 9).

Geht man bei der Suche nach einer Definition von der etymologischen Bedeutung ‚e-valere’ = ‚etwas wert sein’ aus, so trifft man bereits auf ein grundlegendes Kennzeichen wissenschaftlicher Evaluation: der Frage nach dem Wert einer Sache oder eben deren ‚Bewertung’ bzw. ‚Beurteilung’ (Baumgartner, 1997, S. 133). Wottawa und Thierau (1998, S. 14) haben dieses und weitere Kennzeichen herausgearbeitet:

- „Evaluation dient als Planungs- und Entscheidungshilfe und hat somit etwas mit der Bewertung von Handlungsalternativen zu tun. (…)
- Evaluation ist ziel- und zweckorientiert. Sie hat primär das Ziel, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden.
- Evaluationsmaßnahmen sollen dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein.“

Stake (1975, S. 95) stellt neben dem Aspekt der Bewertung auch den der Beschreibung heraus: „Beschreibung und Bewertung sind erforderlich; sie sind in der Tat die beiden grundlegenden Evaluationshandlungen.“ Er betont außerdem, dass Evaluation ganzheitlich durchgeführt werden müsse. Der Gegen-stand der Evaluation sei als Komplex zu begreifen und stünde als Ganzes im Zentrum der Forschungsarbeit, nicht die Evaluation einzelner, losgelöster Variablen.

Darin liegt auch die Herausforderung der Evaluation. Denn sie findet in der Regel nicht losgelöst vom Kontext einer Maßnahme statt und endgültige Aussagen können so streng genommen erst am Ende des Systems, auf das die Maßnahme einwirkt, getroffen werden (Wottawa & Thierau, 1998). Nichtsdestotrotz werden Evaluationen im Sinne einer Qualitätssicherung entwicklungsbegleitend durchgeführt, mit dem Ziel, die Schwachstellen einer Maßnahme zu erkennen und somit die Grundlage für eine Optimierung zu liefern. Dieser Typ der Evaluation wird als „formative Evaluation“ bezeichnet und steht im Gegensatz zur summativen Evaluation. Diese soll die Qualität bzw. die Wirkungen einer Maßnahme kontrollieren und wird zum Ende einer Intervention im Sinne einer Ergebnis-Evaluation durchgeführt. Selbstverständlich können diese Ergebnisse für die Weiterentwicklung einer Maßnahme verwendet werden (Bortz & Döring, 2002; Tergan, 2000).

Weiter unterscheidet man die Prozess- und die Produktevaluation. Diese Unterscheidung bezieht sich auf den Gegenstand der Evaluation. Bei der Prozessevaluation stehen Aspekte des Planungs- oder Entwicklungsprozesses bzw. Vorgehensweisen bei der konkreten Anwendung der Maßnahme im Vordergrund, während sich die Produktevaluation auf ein bestimmtes entwickeltes Produkt oder Teile davon bezieht (Tergan, 2000). Produktevaluation kann vor oder nach dem Einsatz des Produktes erfolgen, je nachdem, ob zunächst nur die Qualität des Produktes bewertet werden soll oder ob dessen Wirkungen und der Nutzen in der Anwendungspraxis betrachtet werden sollen (a.a.O.). Fricke (1997) verwendet diese beiden Begriffe synonym zur summativen und formativen Evaluation. Gegenstand einer Evaluation können auch die Rahmenbedingungen einer Maßnahme sein - dann spricht man von einer Kontextevaluation - oder die Voraussetzungen, die die Stichprobenteilnehmer mitbringen, wie bei der Inputevaluation (a.a.O.). Andere Autoren unterscheiden noch eine weitere Vielzahl weiterer Evaluationsformen und -typen. Eine Übersicht hat Götz (1993) zusammengestellt.

Anzumerken sei an dieser Stelle, dass die meisten Evaluationsprojekte in der Praxis nicht nur einer der bekannten Kategorien zuzuordnen sind, sondern es handelt sich meist um Mischformen, die mehrere Funktionen erfüllen bzw. mehrere Aspekte als Gegenstand haben. „Idealtypische Klassifikationsraster für Evaluationsstudien sind nicht möglich!“ (Wottawa & Thierau, 1998, S. 82).

Das Evaluationsmodell von Wottawa & Thierau

In dem umfassenden Rahmenkonzept von Wottawa und Thierau (1998) werden die wichtigsten Begriffe der verschiedenen Evaluationsmodelle integriert und die Phasen einer Evaluation als eine Art Fahrplan durch ein Evaluationsprojekt dargestellt:

1. Zunächst sollte eine Kontextevaluation durchgeführt werden, wobei sowohl die formellen als auch die informellen Ziele, ethische Überlegungen, die geplante Verwendung der Evaluationsergebnisse und eventuelle ‚Nebenwirkungen’ der Evaluation im Vordergrund stehen. Hier erfolgt auch die Entscheidung, ob das Projekt überhaupt sinnvoll durchzuführen ist oder mögliche Hindernisse eine Umsetzung unmöglich machen würden. Wottawa und Thierau (1998) unterscheiden außerdem eine parteiliche von einer unparteilichen Evaluation, je nachdem ob das Ergebnis von den Wünschen und Anforderungen des Auftraggebers oder von der Datenlage bestimmt wird. Bei einer geschlossenen Evaluation sind die Ergebnisse der Evaluation nur bestimmten Personen zugänglich, die Ergebnisse einer offenen Evaluation dagegen stehen grundsätzlich allen Interessenten offen.
2. Danach erfolgt die Auswahl des Evaluationsmodells: Konzentriert sich die Evaluation auf konkrete Praxiseffekte, spricht man von einer praxisorientierten Evaluation, die entwicklungsorientierte Evaluation hat die Weiterentwicklung einer Maßnahme zum Ziel, und mit Hilfe der theoriegeleiteten Evaluation sollen wissenschaftliche Theorien überprüft werden.
3. Auf der dritten Ebene ist zu entscheiden, ob nur einzelne Aspekte einer Maßnahme im Vordergrund stehen (Mikroevaluation) oder ob die Maßnahme als Ganzes bewertet werden soll (Makroevaluation). Hier geht es also um die Gerichtetheit der Fragestellung.
4. Als nächstes muss der Zeitpunkt der Evaluation festgelegt werden. Wenn die Evaluation noch vor der eigentlichen Maßnahme erfolgt, spricht man von einer strategischen, antizipatorischen oder prognostischen Evaluation. Aufgrund der Ergebnisse wird entschieden, ob die Maßnahme in ihrer ursprünglichen Form durchgeführt werden soll. Von einer Prozess- oder dynamischen Evaluation spricht man, wenn die Evaluation während der Maßnahme stattfindet. Meist zielt diese Form auf eine Überprüfung und anschließender Verbesserung der Maßnahme ab. Eine Ergebnis-, Ziel-, Output- oder Produktevaluation erfolgt schließlich nach Beendigung einer Maßnahme und damit werden deren Ergebnisse bewertet.
5. Kosten-/Nutzen-Überlegung: Wottawa und Thierau unterscheiden auf dieser Ebene zwischen der strategischen und der Management-Evaluation: Bei Ersterer werden die Kosten mit dem erzielten Nutzen verglichen, bei Letzterer wird die relative Effektivität einer Maßnahme im Vergleich zu anderen Maßnahmen überprüft.
6. Es werden folgende Bearbeitungsformen unterschieden: Eine extrinsische Evaluation untersucht die Auswirkungen einer Maßnahme auf die Teilnehmer, während die intrinsische Evaluation die Maßnahme unabhängig von den Teilnehmern bewertet. Eine program-impact-evaluation betrachtet die Wirkungen einer Maßnahme, die compliance-evaluation die Akzeptanz der Maßnahme durch die Teilnehmer. Eine dritte Unterscheidung betrifft die Rolle des Evaluators: Bei einer inneren Evaluation ist der Evaluation auch bei der Entwicklung und Durchführung der Maßnahme beteiligt, wohingegen bei der äußeren Evaluation ein unabhängiger Evaluator eingesetzt wird. Schließlich fällt auch die bereits genannte Unterscheidung in formative und summative Evaluation unter die Wahl der Bearbeitungsform.
7. Zuletzt erscheint eine Metaevaluation als sinnvoll, in der entweder globale Aussagen über den Erfolg einer Maßnahme abgeleitet werden (summative Metaevaluation) oder in der Erfahrungen zur Verbesserung zukünftiger Evaluationen zusammengestellt werden (program-design-evaluation)

Nachdem nun die Grundlagen der Evaluation dargestellt wurden, soll in den folgenden Kapiteln speziell auf die Evaluation von Bildungsangeboten eingegangen werden. Der Schwerpunkt liegt hier auf der Evaluation multimedialer Lehr- und Lernsysteme, auf deren Besonderheiten und auf bisherigen Ergebnissen aus der Forschung zur Evaluation von e-learning-Angeboten.

1.2.2 Evaluation von (multimedialen) Bildungsangeboten

„Evaluation als Qualitätssicherung dient der Unterstützung der Realisierung einer Bildungsmaßnahme in den drei Hauptphasen: Planung, Entwicklung und Einsatz“ (Tergan, 2000, S. 37). Während der Planungsphase stehen die Rahmenbedingungen und Ziele des geplanten Bildungsangebots auf dem Prüfstand. Ebenfalls in der Planungsphase gilt es, die zur Verfügung stehenden inhaltlichen, personellen, finanziellen und technischen Ressourcen zu identifizieren und zu bewerten. Bildungsbedarf, Zielgruppe und Voraussetzungen für die Umsetzung des Angebots sind hier also Gegenstand der Evaluation (Tergan, 2000, S. 39). Während der Entwicklung spielt die formative Evaluation eine große Rolle, um die Qualität, dabei vor allem die Design-Qualität, zu sichern und ständig zu kontrollieren. Verschiedene Evaluationsmethoden wie Befragungen/Checklisten oder Tests sollen die Frage klären, ob das Angebot den pädagogischen Ansprüchen genügen kann oder ob vor der Einsatzphase noch Mängel zu beseitigen sind (Tergan, 2000, S. 41). Nicht selten wird ein Bildungsangebot aufgrund von Zeitdruck und aus Kostengründen jedoch erst in der Einsatzphase bzw. im Sinne einer summativen Evaluation nach dem Einsatz evaluiert. Dann stehen Kriterien wie Lerneffekte, Akzeptanz des Bildungsangebots und Wirkungen auf organisationaler und bildungspolitischer Ebene im Vordergrund. Außerdem erfolgt hier oftmals eine Einschätzung der Effizienz der Maßnahme im Vergleich mit anderen vergleichbaren Bildungsangeboten bzw. eine Kosten-Nutzen-Analyse (a.a.O., S. 43).

Eine Übersicht über Evaluationstypen, -felder, -gegenstände und -methoden gibt Tabelle 1.1 (nach Tergan, 2000). „Die gezielte Auswahl und Akzentuierung einzelner Schritte und Methoden in Abhängigkeit von den Zielen, den verfügbaren Ressourcen und anderen situativen Gegebenheiten machen den maßgeschneiderten Charakter der Evaluation aus“ (Mandl & Reimann-Rothmeier, 2000, S. 96).

Tabelle 1 . 1: Evaluation von Bildungsangeboten: Eine Übersicht

Abbildung in dieser Leseprobe nicht enthalten

Tergan (2000, S. 49) fordert aufgrund der Vielfalt der bestehenden Bildungsangebote eine verstärkte Evaluation von Produkten, insbesondere schon in der Entwicklungsphase, „um ein Mindestmaß an pädagogischer Qualität und Effizienz sicherzustellen“. Ebenso hält er es für absolut notwendig, dass den Nutzern von Bildungsangeboten Feedback über eigene Erfahrungen direkt an Bildungsverantwortliche und Entwickler ermöglicht wird (a.a.O.).

Evaluationsmodell für Trainingsprogramme nach Kirkpatrick (1979)

Speziell für die Analyse von Bildungsangeboten - insbesondere Trainingsprogramme - hat Kirkpatrick (1979, 1994, zitiert nach Schenkel, 2000, S. 59 f.) ein Evaluationsmodell entwickelt. Er unterscheidet dabei zwischen vier Ebenen, die Gegenstand einer Evaluation sein können:

Ebene 1: Reaktion (reaction)

Ebene 2: Lernen (learning)

Ebene 3: Verhalten (behavior)

Ebene 4: Ergebnisse (results)

Auf der ersten Ebene wird die subjektive Zufriedenheit der Teilnehmer erhoben. Es wird also überprüft, inwieweit die Maßnahme den Teilnehmer gefallen hat und inwieweit sie deren Bestandteile und Inhalte akzeptieren. Nork (1989, S. 74) kritisiert allerdings, dass hier lediglich ein sogenannter „happiness index“ erhoben wird, der letztlich nichts über die Wirkungen oder die Qualität eines Bildungsangebots aussagt.

Auf der Ebene „Lernen“ wird der Wissensstand der Teilnehmer bezogen auf die vermittelten Inhalte überprüft. Hier wird aber nur der Grad der Lehrzielerreichung gemessen, nicht aber, inwieweit tatsächlich ein Transfer des Gelernten stattfindet und das Gelernte in Verhalten umgesetzt wird.

Die Verhaltenswirkungen werden auf der Ebene „Verhalten“ erfasst. Es wird also der Transferwert einer Maßnahme auf reale Situationen überprüft. Eine Evaluation auf dieser Ebene kann allerdings an ihrer schwierigen Operationalisierbarkeit scheitern.

Der objektive Gewinn einer Bildungsmaßnahme wird auf der letzten Ebene erfasst. In Form von Daten wie Produktivität, Umsatzsteigerung, Gewinn etc. soll der tatsächliche Nutzten für den Auftraggeber und/oder für die Teilnehmer abgeschätzt werden.

Evaluationsmodell für multimediale Lernprogramme nach Schenkel (2000)

Das Vier-Ebenen-Modell von Kirkpatrick (1979) ist Grundlage für das Evaluationsmodell für multimediale Lernprogramme nach Schenkel (2000): Er ergänzt es um zwei weitere Ebenen, zum einen die „Produktebene“, auf der eine Bewertung der Software durch Experten vor dem eigentlichen Einsatz erfolgen soll, zum anderen durch die höchste Ebene „Return-on-investment“, auf der die Weiterbildungsinvestition des Auftraggebers zu beurteilen ist.

Schenkel (2000) führt sein Evaluationsmodell für multimediale Lernprogramme mit einen Prozessmodell für die Durchführung von Evaluation von Basarp und Root (1994) zusammen (vgl. Abbildung 1.1). Damit soll verdeutlicht werden, dass auf jeder Ebene der Evaluation (Produkt, Reaktion, Lernen, Handlung, Erfolg und Return-on-Investment) die fünf Prozessphasen (Planen, Methodenauswahl, Durchführen, Dokumentieren/Analysieren, Berichten/ Empfehlen) durchlaufen werden. Mit seinem umfassenden Modell will er „dazu beitragen, Evaluationsdefizite abzubauen und damit die Weiterbildung wirtschaftlicher zu gestalten und den Nutzen für die Teilnehmer zu erhöhen“ (Schenkel, 2000, S. 70 f.).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1 . 1: Evaluationsmodell für multimediale Lernprogramme nach Schenkel (2000)

Herkömmliche Bewertungsverfahren

Das Modell nach Schenkel (2000) weist bereits auf die Komplexität der Evaluation multimedialer Lernsysteme hin und macht deutlich, dass aus verschiedenen Gründen meist nur eine Evaluation einzelner Teilaspekte möglich ist. Gerade diese fehlende Einbettung in den Gesamtkontext eines Bildungsangebots kritisiert Fricke (2000, S. 81), indem er herausstellt, dass „die Bewertung einer Bildungssoftware nur aus ganzheitlicher Sicht erfolgen kann, einer Sichtweise, die gleichzeitig die wesentlichen Faktoren für den Erfolg einer Bildungssoftware berücksichtigt“.

Trotzdem erfreuen sich Kriterienkataloge großer Beliebtheit unter den Bewertungsverfahren für multimediale Lernsysteme (Baumgartner, 2002, S. 427). Prüf- bzw. Checklisten zur Qualitätsbewertung sind zum einen kostengünstig, einfach zu handhaben und vordergründig methodisch korrekt. Baumgartner (2002) kritisiert allerdings, dass solche Listen nur im seltensten Falle vollständig sein können und meist eine ungenügende Detailliertheit ausweisen.

[...]