Zu  den Möglichkeiten und Grenzen studentischer Lehrevaluation an  

Universit  äten  

  (im deutschsprachigen Raum, besonders in Österreich)  

Inhalt   

1.  Einleitung  

2.  Was ist Lehrevaluation?  

2.1.  Zur Lehrwirksamkeit  

3.  Rahmenbedingungen  

4.  Geschichte der universitären Lehrevaluation im deutschsprachigen Raum  

5.  Evaluationsmodelle  

5.1.  Formative und summative Lehrevaluation  

5.2.  Evaluationsansätze nach Gralki und Hecht  

5.2.1.  Das Qualifikationsmodell  

5.2.2.  Das Transparenzmodell  

5.2.3.  Das Kommunikationsmodell  

5.2.4.  Das Steuerungsmodell  

5.2.5.  Das Forschungsmodell  

5.2.6.  Zur didaktischen Funktion  

5.2.7.  Zur Taktik- und Ablenkfunktion  

5.3.  Zur Vereinbarkeit der Evaluationsmodelle  

5.4.  Methoden  

5.4.1.  Methoden der formativen Evaluation  

5.4.1.1.  Schriftliche Rückmeldeverfahren  

5.4.1.2.  Mündliche Rückmeldeverfahren  

5.4.1.3.  Selbstevaluation  

5.4.1.4.  Peer- review- Kollegen und Experten als Beobachter  

5.4.2.  Methoden der summativen Evaluation  

5.4.3.  Verfahren auf Studienrichtungs-, Fakultäts- oder Universitätsebene  

5.4.3.1.  Leistungsorientierte Kennzahlen  

5.4.3.2.  Peer- review  

5.4.3.3.  Metaevaluation  

6.  Kriterien von Lehrwirksamkeit  

7.  Validität studentischer Urteile  

8.  Bibliographie  

   2/23

1. Einleitung

Lehrevaluation ist seit Beginn der neunziger Jahre zu einem zentralen Leitwort und Reizthema in der Diskussion um die Qualität universitärer Leistungen avanciert. Brisant wurde das Thema hierzulande durch das Universitätsgesetz 1993, welches eine regelmäßige Evaluierung von Pflichtlehrveranstaltungen vorschreibt. Unklar aber ist, wie eine regelmäßige Evaluation universitärer Lehre angesichts der äußerst heterogenen Bedingungen in verschiedenen Wissenschaftsdisziplinen oder Lehrveranstaltungstypen möglich ist. Evaluation universitärer Lehre geht über eine professionell gekonnte Anwendung sozialwissenschaftlicher Methoden hinaus- sie beeinflusst politische Entscheidungen, sie bewegt sich in einem Feld von divergenten Interessen und ist auch als Intervention in ein komplexes soziales System zu verstehen. Jenseits einer empirischen Fundierung bedarf es also auch eines gründlichen Verständnisses der politischen und organisationskulturellen Zusammenhänge und Rahmenbedingungen.

2. Was ist Lehrevaluation?

'DQ]LQJHU GHILQLHUW /HKUHYDOXDWLRQ DOV ÄHLQH 6DPPOXQJ XQG 9HUZHQGXQJ YRQ 'aten zur Beschreibung und Beurteilung von Lehre und Unterricht und zwar in Hinblick auf gesetzte 6WDQGDUGV GLH .ULWHULHQ IU GHQ :HUW 1XW]HQ GHV %HXUWHLOXQJVJHJHQVWDQGV ELOGHQ³ ¹ . In diesem Definitionsversuch wird Evaluation als datensammelnder und beurteilender Vorgang gesehen. Lehrevaluation geht damit über eine quasi- wertfrei beschreibende Vorgehensweise hinaus und impliziert die Setzung von Maßstäben als Unterlage. Wenn aber unterstellt wird, GDVV'DQ]LQJHUPLWÄ6HW]HQYRQ6WDQGDUGV³HLQHQH[SOL]LWHQVorgang meint- was anzunehmen ist, weil sich anderenfalls jedes Urteil an bestimmten, zumindest implizit vorhandenen, Maßstäben, Kriterien oder Werten orientiert- scheint dieser Definitionsversuch als zu eng. Denn es finden sich in der Literatur zahlreiche Beispiele von Evaluationsansätzen, bei denen nicht eine beurteilende und mit bestimmten Standards vergleichende Vorgehensweise im Vordergrund steht. Danzinger bringt selbst viele Beispiele, in denen eine prozesshafte Reflexion und Verbesserung des Lehr- Lerngeschehens angestrebt wird. Das Setzen von expliziten Standards ist dabei von sekundärer Bedeutung. Webler versteht unter /HKUHYDOXDWLRQ GLH VSH]LILVFKHQ 9HUIDKUHQ ]XU 5FNPHOGXQJ GHV /HKUHUIROJV ÄLQ GHQHQ empirisch Informationen über Bedingungen, Systeme, Konzepte, Verläufe und Wirkungen von Lehr- XQG /HUQSUR]HVVHQ JHZRQQHQ ZHUGHQ « XQG PLW GHU H[SOL]LWHQ $XV- und %HZHUWXQJ GHU ,QIRUPDWLRQHQ YHUEXQGHQ VLQG³ ² . 'LHVH 'HILQLWLRQ VHW]W HLQH ÄHPSLULVFKH

¹ Danzinger C., Evaluierung der universitären Lehre, Diplomarbeit, WU- Wien, 1994, Seite 10

² Webler, W. D., Evaluation der Lehre, in Gattwinkel H. und Grühn D., Evaluation von LehrveranstaltungenÜberfrachtung eines sinnvollen Instruments?, Berlin 1992, Seite 149

3/23

,QIRUPDWLRQVVDPPOXQJ³YRUDXV'DVNDQQVHKUXQWHUVFKiedlich aufgefasst werden: Im engeren Sinn bezeichnet empirisches Vorgehen systematische Beobachtung, im weitesten Sinne ist GLHVHU %HJULII HLQH Ä%H]HLFKQXQJ IU GHQ %H]XJ DXI (UIDKUXQJ³ ³ . Wenn eine enge Fassung des Begriffs bevorzugt und damit die Anwendung sozialwissenschaftlicher Methoden vorausgesetzt wird, kann eingewandt werden, dass damit viele, in der gängigen Diskussion DXV DOV Ä(YDOXDWLRQ³ HWLNHWWLHUWH 9RUJHKHQVZHLVHQ XQG 0HWKRGHQ DXVJHVFKORVVHQ ZHUGHQ Weiters weist Webler auf die Breite des Evaluationsfeldes hin. 6FKOLH‰OLFK LVW IU LKQ ÄHLQH explizite Aus- XQG%HZHUWXQJGHU,QIRUPDWLRQHQ³ ⁴ ein Charakteristikum von Lehrevaluation. Evaluation setzt damit einen von der Informationssammlung abgehobenen Vorgang der Aus-und Bewertung voraus und unterscheidet sich damit beispielsweise von bloßen Diskussionen.

2.1. Zur Lehrwirksamkeit

Lehrevaluation beschäftigt sich, zumindest in seiner an quantitativer Empirie orientierten Variante, mit der Messung des latenten und nicht beobachtbaren Konstrukts Ä/HKUZLUNVDPNHLW³ Bei der Suche nach einer tragfähigen Definition dieses Begriffs lassen sich überraschenderweise keine präzise gefassten Definitionsvorschläge finden. Die meisten recherchierten Arbeiten übergehen das Problem der exakten Bestimmung dessen, was mit dem jeweiligen Erhebungsinstrument zu messen beansprucht wird. Dies ist auch ein Indiz für das weitgehend theorielose Vorgehen der vorherrschenden Lehrevaluation. Diese verzichtet oft auf eine theoretische Herleitung von Hypothesen und generiert ihre Fragestellungen eher aus dem alltäglichen Lehr- und Lerngeschehen. ⁵ Lehrwirksamkeit wird eng mit dem 7HUPLQXV /HKU]LHO YHUNQSIW Ä(LQ /HKU]LHO EHVFKUHLEW (LQVWHOOXQJHQ XQG 9HUKDOWHQVZHLVHQ die dem Lernenden am Ende eines Lernprozesses zu eigen sein sollten. Ein Lehrziel hat Aufforderungscharakter und intendiert die Überführung eines derzeitigen Zustandes in einen ]XNQIWLJHQ=XVWDQG³ ⁶ Auch Einstellungs-, Interessens- und Motivationsänderungen sind als Ergebnisse des Lehr- Lernprozesses anzusehen und werden auch von vielen Lehrenden als Ziel ihrer Tätigkeit gesehen.

3. Rahmenbedingungen

Ä(YDOXDWLRQLVWQLH6HOEVW]ZHFN'LH%HZHUWXQJYRQ0D‰QDKPHQ2UJDQLVDWLRQVIRUPHQRGHU Einzelpersonen macht nur dann Sinn, wenn auf Grundlage dieser Ergebnisse praktische

³ Fröhlich, W.D. und Drever, J., Wörterbuch zur Psychologie, München, 1978, Seite 113

⁴ Webler, W. D., Evaluation der Lehre, in Gattwinkel H. und Grühn D., Evaluation von LehrveranstaltungenÜberfrachtung eines sinnvollen Instruments?, Berlin 1992, Seite 149

⁵ Siehe: Astleitner, H., Das Problem impliziter Theorien, in Psychologie in Erziehung und Unterricht, 38, 1991, und Beywl, W., Perspektiven der Evaluation im Hochschulwesen, in Gattwinkel, H. und Grühn, D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin, 1992

⁶ Schröder, H., Grundwortschatz Erziehungswissenschaft, München, 1985, Seite 235

4/23

.RQVHTXHQ]HQHLQJHOHLWHWZHUGHQ³ ⁷ Mit dieser Feststellung leiten Wottowa und Thierau das 7KHPD Ä=LHOH[SOLNDWLRQ³ LKUHV (YDOXDWLRQVOHKUEXFKHV HLQ *HUDGH DEHU GLH

Konsequenzlosigkeit universitärer Evaluationsprojekte wird beklagt. Sohr ⁸ bezieht sich auf dreißig Evaluationsprojekte in Deutschland und stellt resümierend fest, dass festgestellte Mängel kaum zu Veränderungen geführt hätten. Die Betreiber dieser Evaluationsvorhaben resignierten mehrheitlich und die Projekte wurden meist eingestellt. Es entsteht der Eindruck, GDVVGLH'LVNXVVLRQYRUDOOHPXPGDVÄ:LH³YRQ/HKUHYDOXDWLRQNUHLVWGDVÄ:R]X³- also die Frage nach den Entwicklungen, Verbesserungen und Konsequenzen zu denen Evaluationsergebnisse führen sollen- aber noch weitgehend ungeklärt ist. Altrichter und Schratz ⁹ JHKHQLQLKUHQWKHRUHWLVFKHQ$XVIKUXQJHQDXIGDVÄ:R]X³YRQ/HKUHYDOXDWLRQHLQ und fragen nach den notwendigen Voraussetzungen für eine sinnhafte Lehrevaluation: es müssten (1) die Ziele der Institutionen und Qualitätskriterien bekannt sein und (2) müssen Evaluationsergebnisse auch in Entwicklungen übergeführt werden können. Ad 1) Nach ihrer Einschätzung verfügen Österreichs Universitäten über keine expliziten Zielformulierungen- woraus folgt, dass keine Qualitätskriterien, an denen beispielsweise ]ZLVFKHQ ÄJXWHU³ XQG³ VFKOHFKWHU³ /HKUH GLIIHUHQ]LHUW ZHUGHQ NDQQ DXV GLHVHQ Zielformulierungen ableitbar sind. Daraus folgt, dass die Austragung des Zielkonflikts Ä3UD[LVUHOHYDQ] YHUVXV ZLVVHQVFKDIWOLFKH $XVELOGXQJ³ ¹⁰ einer Lehrevaluation vorgeschaltet VHLQ PVVWH (UVW GDQQ PDFKW GLH 9RUJDEH YRQ ,WHPV ZLH Ä'DV 7KHPD KDW SUDNWLVFKH %HGHXWXQJ³6LQQ- DQVRQVWHQÄVFKLHEW(YDOXDWLRQHLQHQ3UR]HVVLQVWLWXWLRQHOOHU=LHOGLVNXVVLRQ

JOHLFKVDP YRU VLFK KHU³ ¹¹ Hier könnte eingewandt werden, dass Zielvorgaben dem Universitätsorganisationsgesetz oder dem Allgemeinen Hochschul- Studiengesetz entnommen werden können- diese sind aber angesichts ihrer Diffusität dafür nicht oder nur bedingt geeignet. ¹² Weiters müssten diese Ziele und Kriterien im wesentlichen auch außer Streit stehen- was aber nicht der Fall ist, wie auch aus den divergenten Meinungen hinsichtlich der Zielsetzung von Evaluationsprojekten ablesbar ist. Ob sie als Steuerungsinstrumente,

⁷ Wottawa, H. und Thierau, H., Lehrbuch Evaluation, Bern, 1990, Seite 74

⁸ Sohr, S., Studentische Evaluation, in Berendt und Stray, Evaluation zur Verbesserung der Lehre und weitere Maßnahmen, Weinheim, 1993

⁹ Altrichter, H. und Schratz, M., Hohe Schulen auf dem Prüfstand, in Altrichter und Schratz, Qualität von Universitäten. Evaluation: Impulse für Innovation?, Innsbruck, 1992

¹⁰ Rindermann, H. und Amelang, M., Entwicklung und Erprobung eines Fragebogens zur studentischen Veranstaltungsevaluation, in Empirische Pädagogik 8, 1994, Seite 149

¹¹ Altrichter, H. und Schratz, M., Hohe Schulen auf dem Prüfstand, in Altrichter und Schratz, Qualität von Universitäten. Evaluation: Impulse für Innovation?, Innsbruck, 1992, Seite 15

¹² Siehe: Höllinger, S. und Steinbacher, W., Selbstorganisation und Management gegen Bürokratie, in Altrichter und Schratz, Qualität von Universitäten. Evaluation: Impulse für Innovation?, Innsbruck, 1992

5/23

Selbstreflexionsinstrumente oder als Orientierungshilfe für Studierende verwendet werden sollen- darüber herrscht weitgehende Uneinigkeit. 13

Ad 2) Auch in der Einschätzung des Umsetzungspotentials von Evaluationsergebnissen kommen sie zu einem pessimistischen Ergebnis. Universitäten mangle es zwar nicht an Entwicklungskonzepten, aber an Ressourcen, Strategien, Mechanismen und

organisationskulturellen Voraussetzungen um Entwicklungsprozesse in Gang zu bringen. Selbst wenn Defizite lokalisiert werden, fehlt es an der nötigen administrativen, finanziellen und möglicherweise auch geistigen Flexibilität, um auf Probleme sinnvoll reagieren zu können.

Als ein besonders relevanter Mangel bezüglich der Voraussetzungen von Lehrevaluation kann die fehlende Professionalisierung von Managementfunktionen im Universitätssystem angesehen werden, da Personen in Leitungsfunktionen eine zentrale Funktion in Veränderungsprozessen von Organisationen oder Organisationseinheiten zukommt. Für komplexe Führungsaufgaben von Institutsvorständen, Dekanen, Rektoren gibt es keine oder kaum vorhandene Qualifizierungserfordernisse und ±programme jenseits der wissenschaftlichen Kompetenz. Schließlich wird oft auch eine mangelnde Veränderungsbereitschaft der Hochschullehrer selbst geortet. Diese muss aber auch vor dem Hintergrund des traditionell hohen Stellenwerts von Autonomie und der Beurteilung durch Ä3HHUV³YHUVWDQGHQZHUGHQ

4. Geschichte der universitären Lehrevaluation im deutschsprachigen Raum

Die Forschungs- und Anwendungsgeschichte universitärer Lehrevaluation reicht bis in die dreißiger Jahre dieses Jahrhunderts zurück. 1926 wurde in den USA der erste standardisierte )UDJHERJHQ GLH ³3XUGXH 5DWLQJ 6FDOH IRU ,QVWUXFWRUV³ YHU|IIHQWOLFKW ¹⁴ Verbreitung fanden VWDQGDUGLVLHUWHÄVWXGHQWUDWLQJV³LQGHQ86$DOOHUGLQJVHUVWLQGHQIQI]LJHUXQGEHVRQGHUs in den sechziger Jahren, wo in circa einem Drittel der amerikanischen Colleges und Universitäten entsprechende Instrumente Anwendung fanden. ¹⁵ Inzwischen ist dieses Forschungsgebiet in den USA durch die weitgehende Integrierung von Lehrevaluation in das amerikanische Hochschulsystem zu einem schier unüberschaubaren Forschungs- und Anwendungsfeld gewachsen. Bereits 1984 spricht Marsh von weit über 1000 einschlägigen Studien.

¹³ Vergleich: Gattwinkel H. und Grühn D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin 1992

¹⁴ Siehe McKeachie, W. J., Research of college teaching: The historical background, in Journal of Educational Psychology, 82, 1990

¹⁵ Nach Winteler, A., Schätzverfahren- Ein Bericht über anglo- amerikanische Untersuchung, in Huber, L., Bürmann, I., Francke, R. und Schmidt, W., Auswertung, Rückmeldung und Kritik im Hochschulunterricht, Hamburg, 1978

6/23

Die deutschsprachige Forschung hat eine relativ junge Geschichte. Als Auslöser für die Auseinandersetzung mit Inhalt und Qualität der Lehre kann die Studentenbewegung der sechziger Jahre mit ihren Unterrichtsrezensionen gesehen werden. ¹⁶ Gegenstand dieser Unterrichtsrezensionen war die gesellschaftskritische Auseinandersetzung mit Wissenschaft und hierarchischer Hochschulordnung. Diese teilweise sehr heftig geführten Debatten sind für heutige Evaluationsprojekte nicht nur von historisch- anekdotischem Charakter. Neben der zum Teil auffallenden Parallelität von thematisierten Problemstellungen haben diese Auseinandersetzungen vermutlich auch Spuren in der Kommunikationskultur der Universitäten hinterlassen, was bei der Konzeptuierung und Durchführung solcher Projekte EHUFNVLFKWXQJVZUGLJ VFKHLQW 3UHL‰HU VSULFKW YRQ ÄWUDXPDWLVFKHQ³ ¹⁷ Erfahrungen für die Hochschullehrer und vermutet, dass sich infolge dieser Debatten die Kommunikation zwischen Lehrenden und Studierenden verschlechtert hat. Dass diese Vermutung nicht aus der Luft gegriffen ist, belegen die Stellungnahmen einzelner Hochschulprofessoren ¹⁸ , die ihre Ablehnung von Lehrevaluation unter anderem auch auf diese Erfahrungen mit der Studentenbewegung der sechziger Jahre zurückführen. In den siebziger Jahren gab es neben den Versuchen von Hochschuldidaktikern ¹⁹ , das Thema wieder aufzugreifen, auch erste Versuche der Entwicklung standardisierter Instrumente. Das wahrscheinlich erste deutschsprachige Verfahren stammt von Müller- Wolf und Fittkau. ²⁰ Anhand von Studentenbefragungen, Expertenbefragungen und Literaturstudien wurde dieser Fragebogen entwickelt. Das Lehrverhalten wird in diesem Instrument durch zweiunddreißig bipolare siebenstufige Eigenschaftsskalen beurteilt. Auf siebzehn weiteren bipolaren Skalen werden die Studierenden zu ihren Einstellungen gegenüber den Dozenten sowie über ihr eigenes Verhalten befragt. Eine Faktorenanalyse ergab zwei Faktoren des Lehrverhaltens. Der erste Faktor beschreibt emotional positives, demokratisches versus distanziert abweisendes, autoritäres Lehrverhalten, der zweite Faktor didaktisch-effektive Aktivität versus konzeptlose,

¹⁶ Siehe Preißer, R., Verwirklichungsbedingungen der Evaluation der Lehre und der Verbesserung der Lehre, in Gattwinkel, H. und Grühn, D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin, 1992

¹⁷ Preißer, R., Verwirklichungsbedingungen der Evaluation der Lehre und der Verbesserung der Lehre, in Gattwinkel, H. und Grühn, D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin, 1992, Seite 198

¹⁸ Siehe zum Beispiel Mußgnung, R., Gefährden Lehrevaluationen die Freiheit der Wissenschaft?, in Mitteilungen des Hochschulverbandes, 40, 1992

¹⁹ Siehe Huber, L., Bürmann, I., Francke, R. und Schmidt, W., Auswertung, Rückmeldung und Kritik im Hochschulunterricht, Hamburg, 1978

²⁰ Siehe Müller- Wolf, H. M. und Fittkau, B., Lehrverhalten von Hochschullehrern und seine Bedeutung für Einstellungen und Verhalten von Studenten, in Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 3, 1971

7/23

langweilige Passivität. Georgi, Diehl und Kohr ²¹ entwickelten Fragebögen auf Grundlage HLQHV DPHULNDQLVFKHQ ,QVWUXPHQWV GHV Ä,OOLQRLV &RXUVH (YDOXDWLRQ 4XHVWLRQDLUH ,&(4³ Georgi konnte die fünf folgenden Faktoren identifizieren:

Motivierende Qualitäten des Unterrichts

Unterrichtsorganisation und ±präsentation

Diehl und Kohr replizierten die Faktorenstruktur des ICEQ in ihrer Stichprobe nicht. Außerdem wurde der ICEQ in Studentenbefragungen als nicht genügend differenziert EHXUWHLOW 'LHVHV (UJHEQLV IKUWH ]XU (QWZLFNOXQJ GHV Ä)UDJHERJHQV ]XU 9HUDQVWDOWXQJVEHXUWHLOXQJ³ GHU GXUFK YLHU IDNWRUHQDQDO\WLVFK EHVWlWLJWH 'LPHQVLRQHQ charakterisiert ist:

Relevanz und Nützlichkeit der Veranstaltungsinhalte Verhalten des Dozenten gegenüber der Lehrveranstaltungsteilnehmern Angemessenheit von Schwierigkeit und Umfang der Veranstaltungsinhalte Methodik und Aufbau der Veranstaltung

Winteler und Schmolck ²² HQWZLFNHOWHQ HLQHQ Ä)UDJHERJHQ ]XU %HXUWHLOXQJ YRQ LeKUYHUDQVWDOWXQJHQ³PLW HOI)DNWRUHQ'HU)UDJHERJHQNRQQWHLQ HLQHU5HSOLNDWLRQVVWXGLH ²³ in zehn Dimensionen bestätigt werden: Stoffauswahl und Gliederung Wiederholungen Motivierende Qualitäten des Unterrichts Tempo Voraussetzungsadäquatheit Relevanz Klima Fachdiskussion Schriftliches Unterrichtsmaterial

²¹ Siehe Georgi, W., Kleingruppenarbeit und computerunterstützter Unterricht in der Ingenieurausbildung, Hamburg, 1977 und Diehl, J. M. und Kohr, H. U., Entwicklung eines Fragebogens zur Beurteilung von Hochschulveranstaltungen im Fach Psychologie, in Psychologie in Erziehung und Unterricht, 24, 1977 und Untersuchung zur Einstellung von Psychologiestudenten gegenüber Statistik und Statistik- Veranstaltungen, Gießen, 1983

²² Siehe Winteler, A. und Schmolck, P., Entwicklung und Validierung eines Schätzverfahrens zur Beurteilung von Lehrveranstaltungen, Schweizerische Zeitschrift für Psychologie, 38, 1979

²³ Nach Winteler, A. und Schmolck, P., Überprüfung eines Schätzverfahrens zur Beurteilung von Lehrveranstaltungen, Schweizerische Zeitschrift für Psychologie, 42, 1983

8/23

Allerdings sind diese ersten Versuche der Entwicklung und Anwendung standardisierter Instrumente mit einigen methodischen Schwächen behaftet. Die herangezogenen Stichproben sind klein und nur aus einigen wenigen oder gar nur einer Studienrichtung gezogen. Die Ergebnisse, besonders die postulierten Dimensionen von Lehrwirksamkeit, sind daher nur beschränkt generalisierbar. Alle Verfahren unterstellen implizit, dass studentische Zufriedenheit HLQ ,QGLNDWRU GHV .RQVWUXNWV Ä/HKUZLUNVDPNHLW³ VHL XQWHUODVVHQ DEHU HLQH Validierung dieser Annahme an anderen Kriterien von Lehrwirksamkeit, wie zum Beispiel dem Lernerfolg der Studenten oder der Urteilen von Peers. Insbesondere verabsäumen sie eine systematische Kontrolle von Moderatorvariablen, welche die beobachteten Zusammenhänge zwischen studentischer Zufriedenheit und Lehrverhalten zumindest teilweise erklären könnten. Auch ist aus der einschlägigen Literatur nicht ersichtlich, dass diese Verfahren eine breitere Anwendung gefunden hätten und über ihr Entwicklungsstadium hinausgekommen wären. Preißer stellt fest, dass die Bemühungen der Hochschuldidaktik in den siebziger Jahren, die Hochschulöffentlichkeit für das Thema Lehrevaluation zu interessieren, nicht gefruchtet hätten.

Erst Ende der achtziger Jahre wird die Möglichkeit der Informationsgewinnung durch standardisierte Instrumente von den Studierenden selbst aufgegriffen. Generell liegen die meisten dieser ad- hoc entwickelten Fragebögen noch hinter den methodischen Standards der oben angeführten ersten Verfahren zurück. Durch die veränderten politischen und ökonomischen Rahmenbedingungen traten in den neunziger Jahren erstmals Staat und Hochschulverwaltung als Initiator oder Förderer von Evaluationsprojekten auf. Evaluation wurde nun unter anderen Zielsetzungen konzipiert. Während die Hochschuldidaktik eher eine formative Evaluation propagierte und Studenten erstrangig an den Informationsmöglichkeiten interessiert waren, interessier(t)en sich Ministerien und Hochschulverwaltung zwar nicht ausschließlich, aber doch primär für die Möglichkeiten einer summativen Evaluation. So kam es besonders in Deutschland an mehreren Universitäten zu ersten, für deutschsprachige Verhältnisse breit angelegten Projekten. ²⁴ Eine weitere, neue Facette brachte das Aufgreifen des Themas durch die Medien. Der Spiegel veröffentlichte 1989 erstmals eine Bewertung der

²⁴ Siehe: Daniel, H. D., Hörerbefragung an der Universität Mannheim: Konzeption, Erhebung, Auswertung, in Empirische Pädagogik, 8, 1994; Garlki, H., Grühn, D. und Hecht, H., Lehrevaluation an der FU Berlin-Begründung, Methode und Techniken, in Berendt, B. und Stray, J., Evaluation zur Verbesserung der Lehre und weitere Maßnahmen, Weinheim, 1993; Kromrey, H., Studentische Lehrevaluation. Empirische Daten und Konsequenzen für die Lehre, in Gralki, H., Grühn, D. und Hecht, H., Evaluation schafft Autonomie, Berlin, 1993; Kromrey, H., Studentische Vorlesungskritik. Empirische Daten und Konsequenzen für die Lehre, in Soziologie, 15, 1993 und Preißer, R., Lehrveranstaltungskritiken als erster Schritt einer Evaluation der Lehre an der TU Berlin, in Winkler, H., Qualität der Hochschulausbildung, Kassel, 1993 und so weiter.

9/23

Studienbedingungen durch Studenten und verarbeitete diese Umfragedaten zu Universitätsranglisten. Dieser Befragung folgten andere, auch österreichische Erhebungen. ²⁵ Diese Befragungen lösten in und außerhalb der Hochschulen heftige Reaktionen aus ²⁶ , machten die Qualität der universitären Lehre zum Gegenstand öffentlicher Diskussionen und führten auch zu heftigen Auseinandersetzungen bezüglich der methodischen Qualität dieser Umfragen. ²⁷ Insbesondere die mangelnde Repräsentativität, die methodisch nicht gerechtfertigte Rangreihung der Studienrichtungen beziehungsweise Universitäten, die Bildung von Mittelwerten als Maßzahl für die einzelnen Studienrichtungen bei sehr heterogenen Urteilen und die Wahl der Qualitätsindikatoren waren Gegenstand der Kritik. Auf welches Interesse, beziehungsweise Informationsbedürfnis aus Sicht der Studierenden, diese Veröffentlichungen stießen, zeigt eine Studie von Balke, Stiensmeier- Pelster und Welzel ²⁸ , in der die Auswirkungen der ersten Spiegel- Ranglisten auf die Wahl des Studienortes analysiert wurden. Die Autoren konnten zeigen, dass die Erstinskribiertenzahlen bei einer als gut gereihten Studienrichtung weit überdurchschnittlich anstiegen, während andere, schlechter gereihte Studienrichtungen rückläufige Erstinskribienten zu verzeichnen hatten. Ein Ergebnis, dass beeindruckend die Notwendigkeit eines methodisch fundierten Vorgehens aufzeigt. Jedenfalls ist seit Beginn der neunziger Jahre ein rasant steigendes Interesse festzustellen, was sich neben den zahlreichen Publikationen und Tagungen zu dieser Thematik, auch in einer wieder einsetzenden Forschungstätigkeit manifestiert. ²⁹ Im Gegensatz zu den frühen Forschungsarbeiten, die sich vorwiegend mit Fragebogenkonstruktion und damit der Frage nach der faktorenanalytisch begründeten Dimensionalität von Lehrwirksamkeit auseinandersetzen, gehen einige dieser Arbeiten über diesen Ansatz hinaus: Sie stellen sich vermehrt der Frage nach der prinzipiellen Möglichkeit, Lehrveranstaltungen

²⁵ Zum Beispiel Profil, Hochschulen 90- Wege aus der Krise, Wien, 12. 09. 1990

²⁶ Siehe Neidhardt, F., Die Ranking- Debatte: Evaluationsversuche im Lehrbereich der Hochschulen, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991.

²⁷ Siehe: Hornbostel, S. und Daniel, H. D., Das Spiegel- Ranking. Mediensensation oder ein Beitrag zur hochschulvergleichenden Lehrevaluation?, in Mohler, P., Universität und Lehre, Münster/New York, 1994; Kreuz, H., Universitätsrangreihen und die Bewertung der Qualität von Hochschulen, Wien, 1992; Kriz, J., Die Wirklichkeit von (Vor-)Urteilen, in Mohler, P., Universität und Lehre, Münster/New York, 1994 und Tarnai, C., Grimm, H., John, D. und Watermann, R., Studienbedingungen des Fachs Soziologie aus der Sicht seiner Studierenden, in Mohler, P., Universität und Lehre, Münster/New York, 1994

²⁸ Nach Balke, S., Stiensmeier- Pelster, J. und Welzel, A., Auswirkungen der Spiegel- Rangliste westdeutscher Hochschulen auf die Wahl des Studienorts, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim 1991

²⁹ Siehe: Astleitner, H. und Krumm, V., Studentische Einschätzungen als hochschuldidaktische Evaluationsmethode: Validitätsprobleme?, Zeitschrift für Hochschuldidaktik, 15, 1991;Hoffmann, H. und Stiksrund, A., Zufriedenheit mit einem Psychologie- Lehrbetrieb. Aspekte der Evaluation von Evaluation, Empirische Pädagogik 8, 1994; Daniel, H. D., Hörerbefragung an der Universität Mannheim: Konzeption, Erhebung, Auswertung, in Empirische Pädagogik, 8, 1994; Kromrey, H., Studentische Vorlesungskritik. Empirische Daten und Konsequenzen für die Lehre, in Soziologie, 15, 1993 und Lebeda, A., Vergleich von fachlicher- und Persönlichkeitskomponente bei Leitern von Lehrveranstaltungen, Diplomarbeit, Wien, 1993

10/23

zu vergleichen und greifen damit eine zentrale, in der Diskussion über die Möglichkeiten und Grenzen summativer Lehrevaluation aktuelle, methodische Frage auf.

5. Evaluationsmodelle

In der Literatur sind vielfältige Systematisierungsversuche der unterschiedlichen Evaluationsansätze und ±studien zu finden. Eine detaillierte Darstellung würde aber den Rahmen dieser Arbeit sprengen. Daher scheint es sinnvoll, anhand des 6\VWHPDWLVLHUXQJVNULWHULXPV Ä=LHO XQG =ZHFN YRQ /HKUHYDOXDWLRQ³ GLH XQWHUVFKLHGOLFKHQ Modelle darzustellen.

5.1. Formative und summative Lehrevaluation

Formative Evaluation wird während der zu evaluierenden Lehrveranstaltung durchgeführt. Ihr Ziel liegt in der internen Optimierung eines Evaluationsobjekts. ³⁰ Sie wirkt formend, indem sie auch eingreift und versucht Veränderungen zu initiieren. ³¹ 6XPPDWLYH(YDOXDWLRQÄUHIHUV to evaluation at the end of a program or course where the intention is a judgemental one DLPHG DW HLWKHU UHSRUWLQJ RQ RU YDOLGDWLQJ D FRXUVH´ ³² Im Gegensatz zur formativen Evaluation liegt hier die Priorität bei einer vergleichenden Beurteilung von Individuen oder Organisationseinheiten mit dem Ziel, Entscheidungsgrundlagen für Ressourcenverteilung, Personalentscheidungen, etc. zu gewinnen. Der Schwerpunkt kann hierbei auf einer statischen beziehungsweise vergangenheitsorientierten Bewertung der gefundenen Ergebnisse oder auf einer eher veränderungsorientierten, die Durchführung neuer und verbesserter Maßnahmen anregenden Interpretation liegen. 33

5.2. Evaluationsansätze nach Gralki und Hecht 34

In einer über die Unterscheidung von formativer und summativer Evaluation hinausgehenden und differenzierteren Darstellung unterscheiden Gralki und Hecht hinsichtlich Zielsetzung fünf idealtypische Lehrevaluationsmodelle, die hier um zwei zusätzliche Nebenfunktionen, die didaktische und die Taktik- Ablenkfunktion, von Lehrevaluation ergänzt werden:

5.2.1. Das Qualifikationsmodell

Das Qualifikationsmodell dient primär den Dozenten zur Reflektion ihrer Stärken und Schwächen. Die Rückmeldung der Stärken und Schwächen dient der internen Optimierung

³⁰ Nach Csanyi, G. und Sturm, M. Materialien zur Verbesserung von Lehrveranstaltungen1: Rückmeldungen, Wien, 1988

³¹ Siehe Danzinger, C., Evaluierung der universitären Lehre, Diplomarbeit, WU- ^{:LHQXQG2¶1HLO*XQG} Pennington, G., Evaluating teaching and courses from an active learning perspective, Sheffield, 1992

^{32 2¶1HLO*XQG3HQQLQJWRQ*(YDOXDWLQJWHDFKLQJDQGFRXUVHVIURPDQDFWLYHOHDUQLQJSHUVSHFWLYH6KHIILHOG} 1992, Seite 10

³³ Wottawa, H. und Thierau, H., Lehrbuch Evaluation, Bern, 1990

³⁴ Nach Gralk, H. und Hecht, H., Hochschuldidaktische Aspekte der Beurteilung von Lehrveranstaltungen durch Studenten, in Gattwinkel, H. und Grühn, D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin, 1992

11/23

der Lehrveranstaltung. Hier ist also nicht eine Vergleichbarkeit mit anderen Lehrveranstaltung beabsichtigt; es geht vielmehr um die Überprüfung von ausgesprochenen oder unausgesprochenen didaktischen Annahmen über studentische Lernprozesse. Durch diese Reflexion des Lehr- Lernprozesses können Lehrveranstaltungen kontinuierlich verbessert werden. Csanyi und Sturm ³⁵ argumentieren, dass durch regelmäßige Rückmeldungen der Lehrveranstaltungsleiter das psychologische, pädagogische und soziologische Geschehen in einer Lehrveranstaltung besser verstehen kann und dadurch seine didaktische Qualifikation weiterentwickeln kann. Durch diese Reflexion des Lehr- Lernprozesses können Lehrveranstaltungen kontinuierlich verbessert werden. Evaluation kann in diesem Zusammenhang als Maßnahme der universitären Personalentwicklung verstanden werden.

5.2.2. Das Transparenzmodell

Von Studierenden initiierte und durchgeführte Befragungen versuchen meist vorrangig, über die Qualität unterschiedlicher Lehrveranstaltungen und Dozenten zu informieren und eine Orientierung bei der Wahl dieser zu geben, also das Lehrangebot transparent zu machen. Ein Beispiel für dieses Modell ist das von der Österreichischen Hochschülerschaft getragene Evaluationsprojekt, die regelmäßig stattfindende Lehrveranstaltungsbefragung an der Universität Wien.

5.2.3. Das Kommunikationsmodell

Studierende können auch zur Beurteilung von Lehrveranstaltungen gebeten werden, um die Diskussion über die Lehre in den Fachbereichen zu entwickeln und zu fördern. Ziel ist die (QWZLFNOXQJ HLQHU Ä'LDORJNXOWXU³ ³⁶ Bedeutung erhält diese Zielsetzung auch durch zahlreiche Befunde der Hochschulforschung, die auf einen Mangel an Kontakten zwischen verwiesen. ³⁷ Lehrenden und Studierenden Durch den Einsatz geeigneter

Evaluationsinstrumente können auch Reflexionsprozesse der Studierenden angeregt und deren Kritikfähigkeit gesteigert werden. ³⁸ In diesem Sinne kann Evaluation zur Überwindung der mancherorts lokalisierten passiven Konsumhaltung der Studenten beitragen. ³⁹ $XFK 2¶ Neil und Pennington ⁴⁰ heben den kommunikationsfördernden Aspekt von Lehrevaluation

³⁵ Nach Csanyi, G. und Sturm, M. Materialien zur Verbesserung von Lehrveranstaltungen1: Rückmeldungen, Wien, 1988

³⁶ Klefner, H., Leistungsbewertung in der Lehre am Beispiel Nordrhein- Westfalen. In Bundesministerium für Wissenschaft und Forschung, Die Bewertung von Leistungen im Bereich von Lehre und Forschung, Wien, 1992, Seite 25.

³⁷ Siehe Preißer, R., Evaluation der Lehre als ein Bestandteil einer hochschulpolitischen Öffentlichkeit, Zeitschrift für Hochschuldidaktik, 15, 1991.

³⁸ Vergleich: Danzinger, C., Evaluierung der universitären Lehre, Diplomarbeit, WU- Wien, 1994

³⁹ Nach Klatzer, E., Evaluation der Lehre durch das Zielpublikum, die StudentInnen, in Altrichter, H. und Schratz, M., Qualität von Universitäten: Evaluation- Impulse für Innovation?, Innsbruck, 1992

^{40 2¶1HLO*XQG3HQQLQJWRQ*(YDOXDWLQJWHDFKLQJDQGFRXUVHVIURPDQDFWLYHOHDUQLQJSHUVSHFWLYH6KHIILHOG} 1992

12/23

hervor. Studenten können durch Evaluation sowohl über ihre Konsumentenrolle nachdenken als auch dazu angeregt werden, über Fragen der Qualität universitärer Lehre zu reflektieren.

5.2.4. Das Steuerungsmodell

Gänzlich andere Zielsetzungen werden mit dem Steuerungsansatz verfolgt. Hier sollen über die Ergebnisse von Befragungen Mittel und Ausstattungen, Privilegien und Sanktionen gesteuert werden. Vor dem Hintergrund immer knapper werdender Ressourcen einerseits und steigender Studentenzahlen andererseits werden Wege zu einem effizienten Einsatz der zur Verfügung stehenden Mittel für die Universitäten immer notwendiger. ⁴¹ Neben Studentenbefragungen sind hier auch andere Evaluationsmethoden von Interesse, besonders der Einsatz von Kennzahlsystemen. Beispielsweise könnten für Entscheidungen des universitären Personalmanagements hinsichtlich der Erteilung einer Lehrbefugnis oder bezüglich Ansuchen um Verlängerung eines Dienstvertrages Befragungsergebnisse berücksichtigt werden. ⁴² Allerdings spielen in Österreich Fragen der didaktischen und pädagogischen Qualifikation bei Personalentscheidungen traditionell eher keine Rolle, selbst bei Habilitationsverfahren sind diese Aspekte nur von untergeordneter Relevanz. ⁴³ Anders verhält es sich zum Beispiel in den USA. Laufbahnentscheidungen werden neben der Beurteilung der Forschungsleistungen auch auf Begutachtung der Lehrleistungen durch erfahrene Kollegen gestützt. Evaluationen dieser Art werden als Mittel der strategischen Personalplanung gesehen und erfolgen meistens mehrmals im Berufsleben eines amerikanischen Professors. ⁴⁴ Bei Überlegungen hinsichtlich auf den europäischen Raum sind die völlig unterschiedlichen Rahmenbedingungen der Hochschulsysteme zu berücksichtigen. ⁴⁵ Bei weitreichenden personellen Entscheidungen stellt sich auch die Frage, inwieweit studentische Urteile hinsichtlich der pädagogischen, didaktischen und fachlichen Qualifikationen von Dozenten valide Informationen darstellen. ⁴⁶ Evaluationsergebnisse können auch als Steuerungsinstrument genutzt werden, indem Gehaltsteile der LehrveranstaltungsleiWHU DXIJUXQG YRQ %HXUWHLOXQJHQ YHUJHEHQ RGHU HLQ Ä%RQXV³ IU JXWH

⁴¹ Siehe Altrichter, H. und Schratz, M,. Hohe Schulen auf dem Prüfstand. Einleitende Überlegungen zur Evaluation und Entwicklung von Universitäten. In Altrichter und Schratz, Qualität von Universitäten. Evaluation: Impulse für Innovation? Innsbruck, 1992.

⁴² Nach Weiss, R., Ziele und Probleme einer Lehrveranstaltungskritik, Zeitschrift für Hochschuldidaktik, 15, 1991.

⁴³ Siehe Schlöglmann, W., Dienstrecht und Evaluation der Lehre, Zeitschrift für Hochschuldidaktik, 15, 1991.

⁴⁴ Vergleich: Krieger, W., Evaluation von Hochschulunterricht in den USA, in Gattwinkel, H. und Grühn, D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin, 1992

⁴⁵ Nach Holtkamp, R. und Reissert, R., Evaluation der Lehre im Vergleich, in Gattwinkel, H. und Grühn, D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin, 1992

⁴⁶ Vergleich: Weiss, R., Ziele und Probleme einer Lehrveranstaltungskritik, Zeitschrift für Hochschuldidaktik, 15, 1991.

13/23

Lehrleistungen ausgeschüttet wird. ⁴⁷ Elton ⁴⁸ argumentiert bezogen auf das englische Hochschulsystem, dass durch den derzeitigen Modus der Ressourcenverteilung zwar hervorragende Forschungsleistungen gefördert werden, es aber keine adäquaten Anreize für den Bereich der Lehre gibt. Daher müsse es, wenn Lehre ihren Platz neben der Forschung einnehmen soll, Belohnungen für hervorragende Qualität auf den Ebenen der Institution, der Institute und des Individuums geben. In diesem Zusammenhang schlagen Gralki und Mitarbeiter vor, die Vielfalt der Bedürfnisse und Interessen von Universitätsangehörigen zu erfassen und daraufhin ein spezifisch abgestimmtes Anreizsystem zu entwickeln. Die mit diesem Steuerungsmodell erzielten Evaluationsergebnisse können auch zur

Rechenschaftslegung gegenüber Staat beziehungsweise Gesellschaft hinsichtlich der Verwendung von zugeteilten Mitteln verwendet werden. 49

5.2.5. Das Forschungsmodell

Schließlich können bei Evaluationsprojekten auch Forschungsinteressen im Vordergrund stehen. Zielsetzung ist die Gewinnung von genaueren Kenntnissen und die Prüfung von Hypothesen über Lehren und Lernen an der Universität.

5.2.6. Zur didaktischen Funktion

In den bisher dargestellten Evaluationsmodellen steht primär die Beurteilung und Förderung des Lehrprozesses im Vordergrund. Manche Autoren sehen aber auch ein pädagogischdidaktisches Potential in Evaluationsprojekten, dass heißt auch die Verbesserung der Qualität des Lernens kann als Ziel gelten. Wesseler ⁵⁰ führt aus, dass insbesondere die metakognitiven, strategischen Lernwege für Lernerfolg oder ±misserfolg entscheidend sein können und schlägt vor, diese Lernmuster durch offen gestellte und zur Reflexion anregende Fragen zugänglich zu PDFKHQ(VVROODOVRYHUVXFKWZHUGHQQLFKWQXUGLH)UDJHÄ:DVZXUGHJHOHUQW"³VRQGHUQ DXFKGLH)UDJHÄ:LHZXUGHJHOHUQW"³]XWKHPDWLVLHUHQGDVVKHL‰WDOVR/HUQHQOHUQHQ Auch inhaltlich- didaktische Ziele können der Durchführung von Evaluationsprojekten zugrunde liegen. Brussing und Stark ⁵¹ plädieren für die Einbeziehung von Studierenden in die Konzeption, Durchführung und Auswertung von Evaluationsvorhaben als einen Teil der Methodikausbildung.

⁴⁷ Siehe Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Leistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991.

⁴⁸ Elton, L., Universitäre Qualitätssicherung und Leistungen in der Lehre an britischen Universitäten, in Altrichter und Schratz, Qualität von Universitäten. Evaluation: Impulse für Innovation? Innsbruck, 1992.

⁴⁹ Nach Herbst, J., Lehrleistungen als Kriterium des Hochschulwettbewerbs- die US- amerikanische Erfahrung, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Leistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991.

⁵⁰ Nach Wessler, M., Evaluation zur Verbesserung der Qualität des Lernens, in Berent, B. und Stary, J., Evaluation zur Verbesserung der Lehre und weitere Maßnahmen, Weinheim, 1993.

⁵¹ Siehe Brussing, M. und Stark, G., Sieben Gründe für einen anderen Weg, in Gattwinkel, H., und Grühn, D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin 1992.

14/23

5.2.7. Zur Taktik- und Ablenkfunktion

Ä/HKUYHUDQVWDOWXQJVNUitiken degenerieren zu Feigenblättern, die die Blößen der Hochschulen PLW 6FKHLQDNWLYLWlWHQ EHGHFNHQ³ ⁵² Diese Kritik, abgegeben anlässlich einer Lehrveranstalungsevaluation an der Technischen Universität Berlin, illustriert, dass Evaluation auch ganz anderen Zielsetzungen dienen kann. Evaluation kann nicht nur zur Verbesserung der Lehr- Lernqualität eingesetzt werden, was jedem der bisher beschriebenen Modelle ein Anliegen ist. Evaluation kann auch eine Taktik- und Ablenkfunktion ⁵³ beinhalten. Eine verdeckte Zielsetzung von Evaluation kann in dem bloßen Zeitgewinn, der durch die oft mehrjährigen Projekte entsteht, gegeben sein. Das öffentliche Interesse an Missständen ist bis dahin möglicher Weise abgeklungen und die Machtposition der Auftraggeber wieder gefestigt. 54

5.3. Zur Vereinbarkeit der Evaluationsmodelle

Lehrevaluation kann mit höchst divergenten Zielsetzungen verbunden sein. Teilweise sind Kombinationen relativ unproblematisch- zum Beispiel sind die mit dem Kommunikations-und Qualifikationsmodell verbundenen Vorstellungen vereinbar. Sind aber die vorwiegend formativen Aspekte des Kommunikations- und Qualifikationsmodells mit der summativen Ausrichtung des Steuerungsmodells vereinbar? Berendt ist der Ansicht, dass die Wirkung von formativen Evaluationsprojekten in Frage gestellt wird, wenn Ergebnisse dieser Studien als Grundlage für Gehaltsentscheidungen herangezogen würden. Evaluation wird bei der 9HUPHQJXQJ HLQDQGHU ZLGHUVSUHFKHQGHU =LHOVHW]XQJHQ ]XP ÄHLHUOHJHQGHQ

:ROOPLOFKVFKZHLQ³ ⁵⁵ . Es wird aber auch von einer grundsätzlichen Vereinbarkeit von Selektions- und Förderzielen ausgegangen: Kleffner ⁵⁶ nennt zum Beispiel in einer Präsentation eines bundesdeutschen Evaluationskonzepts als Zielsetzung neben der Förderung einer Dialogkultur auch Selektionsziele; Evaluationsziele sollen auch als Grundlage von Personalentscheidungen dienen. Doch es stellt sich die Frage, ob Aspekte der Kontrolle und Selektion der Förderung von Kommunikation dienlich sind und ob Individuen oder universitäre Institutionen solchen Evaluationskonzepten aufgeschlossen sein werden. Bei der Durchführung von solchen Lehrevaluationsprojekten sind Schwierigkeiten zu erwarten, wenn nicht bereits in der Konzeptionsphase die Zielsetzung des Projekts und die

⁵² Schäfer, C. W., Noch wird mehr geredet als getan, Rheinischer Merkur, 1994, Seite 13

⁵³ Nach Treitl, E., Lehrveranstaltungsverbesserung durch Evaluation, Diplomarbeit, WU Wien, 1992

⁵⁴ Siehe Gerlich, P., Hochschule und Effizienz- Anstöße zur universitären Selbstreflexion, Wien, 1993

⁵⁵ Berendt, B., Schlussplenum- Zusammenfassung, in Berendt und Stary, Evaluation zur Verbesserung der Lehre und weitere Maßnahmen, Weinheim, 1993, Seite 326

⁵⁶ Siehe: Klefner, H., Leistungsbewertung in der Lehre am Beispiel Nordrhein- Westfalens, in Bundesministerium für Wirtschaft und Forschung, Die Bewertung von Leistungen im Bereich von Lehre und Forschung, Wien, 1992.

15/23

Verwendung der Ergebnisse klar untersucht wurde. Diese Analyse des Verwertungszusammenhangs von Evaluationsergebnissen stellt eine unverzichtbare Voraussetzung einer effizienten Projektdurchführung dar. 57

5.4. Methoden

Die in der Literatur beschriebenen Verfahren sind äußerst heterogen und umfangreich. Eine neue Entwicklung scheint sich in der zunehmenden Propagierung von betriebswirtschaftlichen Bewertungsmethoden abzuzeichnen. ⁵⁸ Insbesondere sind dabei die aus dem XQWHUQHKPHULVFKHQ&RQWUROOLQJÄHQWOLHKHQHQ³.HQQ]DKOHQV\VWHPHJHPHLQW

5.4.1. Methoden der formativen Evaluation

Diese Verfahren unterscheiden sich grundsätzlich von anderen, vorwiegend auf Vergleichbarkeit abzielenden, Methoden. Hier wird versucht, innerhalb einer Lehrveranstaltung einen Reflexionsprozess über das Lehr- Lerngeschehen in Gang zu setzen. Die unten angeführten Verfahren dienen vor allem den im Qualifikations- aber auch im Kommunikationsmodell angesprochenen Zielsetzungen: Lehrveranstaltungsleiter sollen aufgrund der Rückmeldungen ihrer Stärken und Schwächen besser erkennen und in Folge verbessern können. Die methodischen Anforderungen an diese Verfahren sind vergleichsweise gering, da kein wissenschaftliches Erkenntnisinteresse im Vordergrund steht und keine Vergleichbarkeit mit anderen Lehrveranstaltungen angestrebt wird. Eine Standardisierung der Instrumente ist daher von untergeordneter Bedeutung- Praktikabilität und Kreativität der Methode stehen im Vordergrund. Keineswegs sind die Studierenden die alleinigen Evaluatoren. Auch Kollegen oder Experten können als Beurteiler auftreten und nicht zuletzt ist auch der Lehrveranstaltungsleiter selbst als Beurteiler seiner Leistung angesprochen. 59

5.4.1.1. Schriftliche Rückmeldeverfahren 60

Neben den klassischen Fragebogenvarianten mit offenen oder geschlossenen Fragen, wird auch der Einsatz von Fragebögen mit Impulssätzen vorgeschlagen. Fragebögen können dabei zur Teilevaluation, wo nur einzelne Aspekte des komplexen Lehr- Lernprozesses herausgegriffen werden, oder zur Gesamtevaluation eingesetzt werden. Diese schriftlichen Rückmeldeverfahren können nicht nur in der gängigen Form eingesetzt werden. Eine

⁵⁷ Siehe: Wottawa, H. und Thierau, H., Lehrbuch Evaluation, Bern, 1990.

^{58 6LHKH1HXGRUIHU3'LHÄ$UEHLWVEHULFKWHGHU,QVWLWXWVYRUVWlQGH³XQGGLHÄ3HUIRUPDQFH,QGLFDWRU³-} Diskussion,in Altrichter, H. und Schratz, M., Qualität von Universitäten. Evaluation: Impulse für Innovation? Innsbruck, 1992 und ^{2¶1HLO*XQG3HQQLQJWRQ*(YDOXDWLQJWHDFKLQJDQGFRXUVHVIURPDQDFWLYHOHDUQLQJ} perspective, Sheffield, 1992

⁵⁹ Siehe Csanyi und Sturm, Materialien zur Verbesserung von Lehrveranstaltungen 1: Rückmeldungen, Wien, 1988

⁶⁰ Nach Csanyi und Sturm, Materialien zur Verbesserung von Lehrveranstaltungen 1: Rückmeldungen, Wien, 1988

16/23

Anwendung ist auch in Form von Mini-Rückmeldungen oder One-minute- papers denkbar. Herbst ⁶¹ berichtet vom Einsatz solcher Kurzfragebögen an der Harvard Universität, wo der vortragende Dozent durch das Stellen von zwei zentralen Fragen ein Feedback erhält.

5.4.1.2. Mündliche Rückmeldeverfahren

Hier stehen neben den verschiedenen Formen der mündlichen Befragung, bei denen Lehrveranstaltungsteilnehmer durch den Lehrveranstaltungsleiter oder Dritte in mehr oder minder strukturierter Form befragt werden, verschiedene Diskussionsmethoden im Vordergrund. Beim so genannten Blitzlicht geben Studierende ein kurzes Statement zu einer vom Lehrveranstaltungsleiter aufgeworfenen Frage ab ⁶² . Die Pyramiden- oder auch Schneeballmethode ermöglicht einen strukturierten Diskussionsprozess auch bei größeren Teilnehmerzahlen. Dabei werden Themen in Einzel- oder Kleingruppen bearbeitet. Diese Kleingruppen wählen Vertreter, die wiederum in einer Kleingruppe ihre Ergebnisse zusammenfassen.

5.4.1.3. Selbstevaluation

Damit sind Fragebögen und Checklisten zur Selbstevaluation des Lehrveranstaltungsleiters gemeint. ⁶³ Eine Kombination mit Tonband- oder Videoaufzeichnung kann hier sinnvoll sein. Mit einer Technik namenV Ä6:$,1³ 6WUHQJWKV- Weakness- Interests- Needs) adaptieren 2¶1HLOXQG3HQQLQJWRQ ⁶⁴ eine in der Betriebswirtschaft bekannte Methode der Selbstreflexion auf die Erfordernisse der Lehrevaluation. Dabei werden die Bereiche Stärken, Schwächen, Ziele und Interessen des Lehrenden durch gezielte Fragen zugänglich gemacht. Altricher und Posch ⁶⁵ schlagen auch das Tagebuch als eine Möglichkeit der Selbstevaluation vor.

5.4.1.4. Peer- review- Kollegen und Experten als Beobachter

Beobachter können Kollegen, Experten, Hochschuldidaktiker oder höhersemestrige Studierende sein, die eine oder mehrere Lehrveranstaltungen offen oder anhand bestimmter vorher festgelegter Beobachtungskriterien verfolgen. Gibbs und Mitarbeiter ⁶⁶ halten eine Kombination von Fremd- und Selbstbeobachtung für sinnvoll.

⁶¹ Siehe Herbst, J., Lehrleistungen als Kriterium des Hochschulwettbewerbs- die US- amerikanische Erfahrung, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991

⁶² Siehe: Csanyi und Sturm, Materialien zur Verbesserung von Lehrveranstaltungen 1: Rückmeldungen, Wien, 1988

⁶³ Siehe: Csanyi und Sturm, Materialien zur Verbesserung von Lehrveranstaltungen 1: Rückmeldungen, Wien, 1988

⁶⁴ Siehe: ^{2¶1HLO*XQG3HQQLQJWRQ*(YDOXDWLQJWHDFKLQJDQGFRXUVHVIURPDQDFWLYHOHDUQLQJSHUVSHFWLYH} Sheffield, 1992

⁶⁵ Siehe: Altrichter, H. und Posch, P., Lehrer erforschen ihren Unterreicht- Einführung in die Methode der Aktionsforschung, in der Zeitschrift für Hochschuldidaktik, 15, München, 1990

⁶⁶ Siehe Gibbs, G., Habershaw, S. und T., 53 interesting ways to appraise your teaching, Bristol, 1988

17/23

Hier kommen fast ausschließlich Fragebögen mit meist geschlossenen Fragen als Erhebungsinstrument in Frage. Qualitative Verfahren verbieten sich weitgehend aufgrund ihrer mangelnden Standardisierung und Praktikabilität bei großen Datenmengen; wobei es zumindest für finanziell potente Universitäten auch Ausnahmen gibt. Qualitative Verfahren sind allerdings als Voruntersuchungen notwendig, wenn sich eine Befragung auf noch unbekannte Lehr- und Lernformen bezieht, also die Variabilität der abzubildenden Realität noch unklar ist. ⁶⁷ Initiatoren solcher schriftlichen Befragungen sind in Österreich bisher meist die Studierenden selbst. Diese Befragungen variieren beträchtlich sowohl hinsichtlich Umfang als auch hinsichtlich Qualität, wie Lebeda ⁶⁸ ansatzweise herausarbeitet. Die vorrangige Zielsetzung dieser lehrveranstaltungsvergleichenden Erhebung ist die Information der Studierenden. ⁶⁹ Allerdings sind auch Fragebögen mit offen gestellten Fragen denkbar. Webler ⁷⁰ berichtet von der Durchführung von Befragung mit offen gestellten Fragen an der Harvard Universität, die in jeder Lehrveranstaltung ausgegeben werden. Die Daten dieser qualitativen Befragung werden von einer Kommission ausgewertet und den Studienanfängern des nächsten Jahres als eine 650 Seiten umfassende Orientierungshilfe zur Verfügung gestellt.

5.4.3. Verfahren auf Studienrichtungs-, Fakultäts- oder Universitätsebene Hier sind in erster Linie drei Verfahren angesprochen:

Leistungsorientierte Kennzahlen

5.4.3.1. Leistungsorientierte Kennzahlen

Leistungsorientierte Kennzahlen (Performance Indicators) können nach Danzinger ⁷¹ als quantitative Maßzahlen verstanden werden, die auf einen Vergleich des Ist- Zustandes mit einem Standard oder Ziel abzielen. In der Forschung sind leistungsorientierte Kennzahlen bereits relativ bekannt und verbreitet. Verwendet werden Indikatoren wie die Zahl der Publikationen in Fachzeitschriften, eventuell gewichtet nach der Bedeutung der veröffentlichenden Zeitschrift, und die Zahl der Zitierungen, wiederum eventuell gewichtet nach der Relevanz der zitierenden Zeitschrift. International, beispielsweise in den Niederlanden, wo dieses Evaluationsinstrumentarium insbesondere in Kombination mit Peer-

⁶⁷ SieheBortz, J., und Döring, N., Forschungsmethoden und Evaluation für Sozialwissenschaftler, Springer-Verlag, 1995.

⁶⁸ Siehe Lebeda, A., Vergleich von fachlicher- und Persönlichkeitskomponente bei Leitern von Lehrveranstaltungen, Diplomarbeit, Wien, 1993

⁶⁹ Vergleich Klatzer, E., Evaluation der Lehre durch das Zielpublikum, die StudentInnen, in Altrichter und Schratz, Qualität von Universitäten: Evaluation- Impulse für Innovation, Innsbruck, 1992

⁷⁰ Siehe Webler, W. D., Evaluation der Lehre: Praxiserfahrung und Methodenhinweise, in Gattwinkel, H. und Grühn, D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin, 1992

⁷¹ Siehe Danzinger, C., Evaluierung der universitären Lehre, Diplomarbeit WU- Wien, 1994

18/23

review- Verfahren eingesetzt wird ⁷² , hat die Entwicklung von Kennzahlensystemen einen wichtigen Stellenwert in den Bemühungen um Qualitätssicherung der universitären Lehre erhalten. Eine internationale Vergleichsstudie macht die weit unterdurchschnittliche Entwicklung Österreichs in diesem Bereich deutlich. Für die Einführung von Leistungskennzahlensystemen wird vor allem mit dem Hinweis auf die Legitimierung der steigenden Ausgaben des Hochschulsektors argumentiert. ⁷³ Die Vorteile des Einsatzes und der Entwicklung von Kennzahlen liegen in der neutralen Erfassung verschiedener Aspekte der universitären Wirklichkeit. ⁷⁴ Derartige Kennzahlen sollen eine objektive, sachliche und nach vollziehbare Steuerung und Kontrolle der Universitäten begünstigen. Im Hochschulbericht 1993 ⁷⁵ werden folgende möglichen Leistungsindikatoren angeführt:

Output an Absolventen

Bewertung von Lehrveranstaltungen durch Teilnehmer

Bewertung von Lehrveranstaltungen durch externe Gutachter

Studienerfolgsquoten

Durchschnittliche Studiendauer

Allerdings wird der Einsatz solcher Kennziffern auch recht kritisch kommentiert. ⁷⁶ Die wesentlichen Argumente sind folgende:

Im Bereich der Lehre und Forschung kommt es alleine auf Qualität an, die nicht messbar und in Kennzahlen ausdrückbar ist. Daher ist es nicht legitim, die in der Betriebswirtschaft entwickelten Systeme auf die Hochschulen zu übertragen.

Kennzahlen sind nur auf Basis einer Zielübereinstimmung sinnvoll.

Die Messungen fördern Anpassung und strategisches Verhalten. Derartig evaluierte Universitäten, Fakultäten oder Institute würden dazu neigen, ihre Leistungen alleinig an diesen Indikatoren zu orientieren. Wenn sich eine universitäre Organisationseinheit

⁷² Siehe Richter, R., Qualitätsevaluation von Lehre und Forschung an den Universitäten der Niederlande, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991

⁷³ Nach Turner, G., Staatliche Forderungen an die Universitäten- Statement des Senators für Wissenschaft und Forschung, in Hummel, T. R., Leistungsorientierte Kennzahlen im Spannungsfeld von Hochschulen und Staat, Fankfurt/Main, 1988

⁷⁴ Siehe Richter, R., Qualitätsevaluation von Lehre und Forschung an den Universitäten der Niederlande, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991

⁷⁵ Siehe BMfWF, 1993

⁷⁶ Siehe Neidhardt, F., Die Ranking- Debatte: Evaluationsversuche im Lehrbereich der Hochschulen, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991 und Turner, G., Staatliche Forderungen an die Universitäten- Statement des Senators für Wissenschaft und Forschung, in Hummel, T. R., Leistungsorientierte Kennzahlen im Spannungsfeld von Hochschulen und Staat, Fankfurt/Main, 1988

19/23

DQGHP,QGLNDWRUÄ6WXGHQWHQRXWSXW³RULHQWLHUWZLUGGLHVQLFKWXQEHGLQJW]X Qualitätssteigerungen führen.

5.4.3.2. Peer- review

International, beispielsweise in den Niederlanden ⁷⁷ oder in den USA ⁷⁸ , ist die Evaluation von universitären Organisationseinheiten durch externe Beurteiler ein gängiges Mittel zur Sicherung der Lehr- und Forschungsqualität. Auf diesem Gebiet kann auch in Österreich auf erste Erfahrungen verwiesen werden. Die Österreichische Physikalische Gesellschaft unterzog ihre Institute ihrer Fachdisziplin einer Evaluation, um den Stand der österreichische physikalischen Forschung im internationalen Vergleich zu evaluieren. ⁷⁹ Auch wurden 1992 die beiden Fakultäten für Elektrotechnik der TU Wien und der TU Graz von einer Gruppe von elf international anerkannten Experten hinsichtlich ihrer Lehr- und Forschungstätigkeit evaluiert. 80

5.4.3.3. Metaevaluation

Metaevaluation kann als Evaluation von Evaluation verstanden werden und wird beispielsweise in den Hochschulsystemen Großbritanniens ⁸¹ und der Niederlande ⁸² als externe Evaluation universitätsinterner Evaluationsmaßnahmen eingesetzt. Die Qualitätssicherung liegt dabei in der Verantwortung der Universitäten selbst, allerdings müssen sie sich der Evaluation dieser Qualitätssicherungsmaßnahmen durch staatliche Aufsichtsbehörden stellen.

6. Kriterien von Lehrwirksamkeit

Zusammenfassend muss die Frage nach quasi allgemeingültigen Qualitätskriterien von Lehrveranstaltungen eher skeptisch beantwortet werden. Zwar konnten für einzelne

⁷⁷ Siehe: Richter, R., Qualitätsevaluation von Lehre und Forschung an den Universitäten der Niederlande, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991 und Vroeijenstijn, A. I., Qualitätssicherung basiert auf Selbstbeurteilung und Expertentechnik. Erfahrungen an niederländischen Universitäten mit der externen Qualitätsbeurteilung, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991

⁷⁸ Siehe Holtkamp, R. und Reissert, R., Evaluation der Lehre im Vergleich, in Gattwinkel, H. und Grühn, D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin, 1992

⁷⁹ Siehe Hackl, E., Gesetzliche Grundlagen der Evaluation von Hochschulen in Österreich und erste Erfahrungen mit dem Peer- Review Verfahren, in Altrichter, H. und Schratz, M., Qualität von Universitäten. Evaluation: Impulse für Innovation?, Innsbruck, 1992 und Österreichische Physikalische Gesellschaft, Bericht der Kommission der physikalischen Forschung in Österreich 1990/91, Linz, 1991

⁸⁰ Siehe Kommenda, M., Evaluation Elektrotechnik 1993. Buko- Info- Hochschulpolitische Informationen der Bundeskonferenz, 1994/1

⁸¹ Siehe Elton, L., Universitäre Qualitätssicherung und Leistungen in der Lehre an britischen Universitäten, in Altrichter, H. und Schratz, M., Qualität von Universitäten. Evaluation: Impulse für Innovation?, Innsbruck, 1992

⁸² Richter, R., Qualitätsevaluation von Lehre und Forschung an den Universitäten der Niederlande, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991 und Vroeijenstijn, A. I., Qualitätssicherung basiert auf Selbstbeurteilung und Expertentechnik. Erfahrungen an niederländischen Universitäten mit der externen Qualitätsbeurteilung, in Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991

20/23

Instrumente stabile Faktorenstrukturen in den unterschiedlichsten universitären und nationalen Kontexten ermittelt werden, die generalisierbare Ergebnisse nahe legen. Auch Feldman ⁸³ ermittelte in seiner Metaanalyse einschlägiger Forschungsarbeiten konsistente Qualitätsmerkmale universitärer Lehre. Aber es spricht einiges gegen diese Annahme: (1) Die mangelnde Übereinstimmung der mit verschiedenen Instrumenten ermittelten Faktorenstruktur, (2) die von Neumann und Neumann ⁸⁴ belegten divergenten Determinanten studentischer Urteile in verschiedenen Wissenschaftsdisziplinen, (3) die mangelnde Akzeptanz einer derartigen Vorgangsweise bei Lehrenden und Studierenden und (4) auch die methodischen Alternativen, die eine Gewichtung von Dimensionen oder Lehrzielen je nach spezifischer Veranstaltung zulassen. Nicht zu vergessen sind auch die Schwächen eines empirisch- pragmatischen Zugangs, der auf einen theoretischen Bezugsrahmen weitgehend verzichtet. Der Vorteil einer solchen Vorgangsweise liegt zweifellos in der praxisnahen Formulierung von Fragestellungen. Nicht zu vernachlässigen sind allerdings auch die Nachteile, (1) eine gewisse Beliebigkeit in der Konstruktion von Evaluationsmethoden, (2) eine mangelnde theoretische Vernetzung der vielfältigen empirischen Forschungsergebnisse und (3) auch eine manchmal willkürliche Anwendung des statistischen Methodeninventars bei Fragebogenkonstruktion und Auswertung.

7. Validität studentischer Urteile

Im deutschsprachigen Raum werden vorwiegend studentische (Zufriedenheits-) Urteile als Indikatoren von Lehrwirksamkeit herangezogen. Allerdings ist dies nicht die einzig mögliche Indikatorengruppe. Auch kann das durch Studenten eingeschätzte Ausmaß der Lehrzielerreichung als Kriterium für effektive Lehre herangezogen werden. Neben den Zufriedenheitsurteilen von Studierenden können auch die Einschätzungen der Lehrveranstaltungsleiter verwendet werden. Nicht zuletzt ist zu erwarten, dass sich effektive Lehre auch in höheren Lern- und Prüfungsleistungen niederschlägt. Diese Indikatoren können nicht nur verwendet werden, um effektive Lehre zu erfassen, sondern auch um die konvergente Validität studentischer Urteile bestimmen zu können. Hohe Korrelationen zwischen den genanten Kriterien und studentischen Einschätzungen würden die Validität studentischer Lehrevaluation bestätigen. Es kann jedenfalls davon ausgegangen werden, dass die Validierung studentischer Lehrevaluation ein komplexes Vorhaben darstellt, da kein allein

^{83 6LHKH)HOGPDQ.$7KHVXSULRUFROOHJHWHDFKHUIURPWKHVWXGHQWV¶YLHZLQ5HVHDUFKLQ+LJKHU(GXFDWLRQ} 5, 1976

⁸⁴ Vergleich: ^{1HXPDQQ/XQG1HXPDQQ<'HWHUPLQDQWVRIVWXGHQWV¶LQVWUXFWLRQDOHYDOXDWLRQ$FRPSDULVRQ} of four level of academic areas, in Journal of Educational Research, 78, 1985

21/23

gültiger Indikator effektiver Lehre existiert, an dem ein entsprechendes Verfahren validiert werden könnte.

8. Bibliographie

Altrichter und Schratz, Qualität von Universitäten. Evaluation: Impulse für Innovation?, Innsbruck, 1992

Altrichter, H. und Posch, P., Lehrer erforschen ihren Unterreicht- Einführung in die Methode der Aktionsforschung, in der Zeitschrift für Hochschuldidaktik, 15, München, 1990 Astleitner, H., Das Problem impliziter Theorien, in Psychologie in Erziehung und Unterricht, 38, 1991

Berendt und Stray, Evaluation zur Verbesserung der Lehre und weitere Maßnahmen, Weinheim, 1993 BMfWF, 1993

Bortz, J., und Döring, N., Forschungsmethoden und Evaluation für Sozialwissenschaftler, Springer- Verlag, 1995

Buko- Info- Hochschulpolitische Informationen der Bundeskonferenz, 1994/1 Bundesministerium für Wirtschaft und Forschung, Die Bewertung von Leistungen im Bereich von Lehre und Forschung, Wien, 1992

Csanyi, G. und Sturm, M. Materialien zur Verbesserung von Lehrveranstaltungen1: Rückmeldungen, Wien, 1988

Danzinger C., Evaluierung der universitären Lehre, Diplomarbeit, WU- Wien, 1994 Empirische Pädagogik, 8, 1994

Feldman, K. A., The suprior college teacher from the studentV¶YLHZLQ5HVHDUFKLQ+LJKHU Education, 5, 1976

Fröhlich, W.D. und Drever, J., Wörterbuch zur Psychologie, München, 1978 Gattwinkel H. und Grühn D., Evaluation von Lehrveranstaltungen- Überfrachtung eines sinnvollen Instruments?, Berlin 1992

Georgi, W., Kleingruppenarbeit und computerunterstützter Unterricht in der Ingenieurausbildung, Hamburg, 1977

Gerlich, P., Hochschule und Effizienz- Anstöße zur universitären Selbstreflexion, Wien, 1993 Gibbs, G., Habershaw, S. und T., 53 interesting ways to appraise your teaching, Bristol, 1988 Gralki, H., Grühn, D. und Hecht, H., Evaluation schafft Autonomie, Berlin, 1993Psychologie in Erziehung und Unterricht, 38, 1991

Huber, L., Bürmann, I., Francke, R. und Schmidt, W., Auswertung, Rückmeldung und Kritik im Hochschulunterricht, Hamburg, 1978

22/23

Hummel, T. R., Leistungsorientierte Kennzahlen im Spannungsfeld von Hochschulen und Staat, Fankfurt/Main, 1988 Journal of Educational Psychology, 82, 1990 Journal of Educational Research, 78, 1985 Kommenda, M., Evaluation Elektrotechnik 1993

Kreuz, H., Universitätsrangreihen und die Bewertung der Qualität von Hochschulen, Wien, 1992

Lebeda, A., Vergleich von fachlicher- und Persönlichkeitskomponente bei Leitern von Lehrveranstaltungen, Diplomarbeit, Wien, 1993 Mitteilungen des Hochschulverbandes, 40, 1992 Mohler, P., Universität und Lehre, Münster/New York, 1994

Österreichische Physikalische Gesellschaft, Bericht der Kommission der physikalischen Forschung in Österreich 1990/91, Linz, 1991

2¶1HLO, G. und Pennington, G., Evaluating teaching and courses from an active learning perspective, Sheffield, 1992

Profil, Hochschulen 90- Wege aus der Krise, Wien, 12. 09. 1990 Psychologie in Erziehung und Unterricht, 24, 1977 Schröder, H., Grundwortschatz Erziehungswissenschaft, München, 1985

Schäfer, C. W., Noch wird mehr geredet als getan, Rheinischer Merkur, 1994, Schweizerische Zeitschrift für Psychologie, 38, 1979 Schweizerische Zeitschrift für Psychologie, 42, 1983 Soziologie, 15, 1993

Treitl, E., Lehrveranstaltungsverbesserung durch Evaluation, Diplomarbeit, WU Wien, 1992 Webler, W. D. und Otto, H. U., Der Ort der Lehre in der Hochschule. Lehrleistungen, Prestige und Hochschulwettbewerb, Weinheim, 1991 Winkler, H., Qualität der Hochschulausbildung, Kassel, 1993 Wottawa, H. und Thierau, H., Lehrbuch Evaluation, Bern, 1990 Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 3, 1971 Zeitschrift für Hochschuldidaktik, 15, München, 1990

23/23