i

Inhaltsverzeichnis

1.  Einleitung.  1

1.1  Anlass der Arbeit  1

1.2  Ziel und Vorgehensweise.  2

2.  Theoretische Grundlagen.  4

2.1  Software-Ergonomie.  4

2.1.1  Begriffsklärungen  4

2.1.2  Software-ergonomische Normen nach DIN EN ISO.  5

2.1.3  Definition von Usability  7

2.1.4  Grundsätze der Dialoggestaltung.  8

2.2  Methoden zur Messung von Usability  10

2.2.1  Klassifikation der Evaluationsmethoden  10

2.2.2  Web Usability Index (WUI)  12

2.2.3  Usability-Test.  16

2.3  Erläuterungen zu der untersuchten Software  17

2.3.1  Auswahlverfahren.  17

2.3.2  Startseiten der untersuchten Webangebote  19

3.  Eigene Fragestellung.  22

4.  Methodisches Vorgehen  24

4.1  Evaluation mit dem WUI.  24

4.1.1  Gutachter.  24

4.1.2.  Durchführung.  24

4.1.3  Geräte.  24

4.2  Usability-Test.  25

4.2.1  Versuchspersonen  25

4.2.2  Versuchsdurchführung.  25

4.2.3  Versuchsmaterialien.  28

4.2.4  Versuchsgeräte.  32

4.3  Versuchsdesign  32

5.  Verwendete Verfahren der Datenanalyse  34

5.1  Verfahren zur Bestimmung der Interraterreliabilität des WUI  34

5.1.1  Wilcoxon-Test  34

ii

5.1.2  Rangkorrelation nach Spearman (Spearmans rho, r s )  34

5.2  Testverfahren für den Usability-Test.  35

5.2.1  Einfaktorielle Varianzanalyse mit Messwiederholungen  35

5.2.2  Friedman-Test.  36

5.3  Verfahren zur Berechnung der Zusammenhänge zwischen WUI und  

Usability  -Test.  37

5.3.1  Rangkorrelation nach Spearman (Spearmans rho, r s )  37

5.3.2  Produkt-Moment-Korrelation nach Pearson (r)  37

6.  Ergebnisse.  38

6.1  Web Usability Index  38

6.1.1  Übereinstimmung der beiden Gutachter (Interraterreliabilität)  38

6.1.2.  Auswertung der Evaluation  40

6.2  Usability-Test.  48

6.2.1  Auswertung der Leistungsmaße.  48

6.2.2  Auswertung der Zufriedenheitsmaße.  52

6.2.3  Auswertung der Ranglisten der Webangebote.  55

6.2.4  Zusammenfassung der Ergebnisse.  56

6.3  Zusammenhänge zwischen WUI und Usability-Test  57

7.  Diskussion.  61

7.1  Kritische Reflexion des Untersuchungsansatzes  61

7.1.1  Mögliche Einflussfaktoren auf die Ergebnisse des Usability-Tests  61

7.1.2  Expertenorientierte versus nutzerorientierte Methode.  67

7.2.  Interpretation der Ergebnisse  71

7.2.1  Reliabilität des Web Usability Index  71

7.2.2  Validität des Web Usability Index.  72

7.2.3  Erklärungen für die ermittelten Zusammenhänge  73

7.3  Folgerungen aus den Ergebnissen für den WUI  80

8.  Zusammenfassung  84

9.  Literaturverzeichnis  86

10.  Anhänge  89

Anhang A:  Versuchsmaterialien.  90

Anhang B:  Versuchsergebnisse  110

iii

Tabellenverzeichnis   

Tabelle Seite   

1:  Versuchsdesign der vorliegenden Untersuchung.  33

2:  Prüfung der Homogenität der Randverteilungen der Gutacher-Urteile  

mit  dem Wilcoxon-Test. Es werden die Rangvergleiche zwischen den  

Gutachtern  und die jeweiligen Rangsummen und mittleren Ränge auf-  

gef  ührt. Im unteren Tabellenteil sind die Ergebnisse der Signifi-  

kanzpr  üfung zu sehen.  39

3:  Übereinstimmung zwischen den beiden Gutachtern (Interraterreliabi-  

lit  ät) bei der Beurteilung von drei Webangeboten mit drei Kategorien  

des  WUI.  40

4:  WUI: Usability-Mängel sowie NZ-Koeffizient (in Klammern) in be-  

zogen  auf die einzelnen Kategorien und auf die Gesamt-Usability der  

Website.   40

5:  WUI: Gegenüberstellung der Webangebote mit den wenigsten und den  

h  äufigsten Usability-Mängeln in der Kategorie NO.  42

6:  WUI: Gegenüberstellung der Webangebote mit den wenigsten und den  

h  äufigsten Usability-Mängeln in der Kategorie II.  44

7:  WUI: Gegenüberstellung der Webangebote mit den wenigsten und den  

h  äufigsten Usability-Mängeln in der Kategorie AQ.  45

8:  WUI: Gegenüberstellung der Webangebote mit den wenigsten und den  

h  äufigsten Usability-Mängeln in der Kategorie IT.  46

9:  WUI: Gegenüberstellung der Webangebote mit den wenigsten und den  

h  äufigsten Usability-Mängeln in der Kategorie AZ.  48

10:  Prozentsatz der gelösten Aufgaben für jede Aufgabe und über alle Auf-  

gaben  bei den Instituts-Websites im Usability-Test.  49

11:  Deskriptive Daten zur Variable Effektivität.  49

12:  Ergebnis der ANOVA für abhängige Stichproben (Effektivität)  50

13:  Deskriptive Daten zur Variable Zeitbedarf.  50

14:  Deskriptive Daten zur Variable Klickhäufigkeit.  50

15:  Deskriptive Daten zur Variable Effizienz zeit  

   51

16:  Deskriptive Daten zur Variable Effizienz klick  

   51

17:  Ergebnis der ANOVA für abhängige Stichproben (Effizienz zeit )  

   51

18:  Ergebnis der ANOVA für abhängige Stichproben (Effizienz klick )  

   51

19:  Paarweise Vergleiche der Webangebote mit signifikanten Unterschie-  

den  durch den Bonferroni-Test (Effizienz klick )  

   52

20:  Deskriptive Daten zur Variable Aufgabenzufriedenheit.  52

21:  Ergebnis der ANOVA für abhängige Stichproben (Aufgabenzufrieden-  

heit  )  53

iv

Tabelle Seite   

22:  Mittelwerte der fünf Webangebote bei den Skalen des ISONORM  

9241/10.....................................................................................................   53

23:  Deskriptive Daten zur Variable Gesamtwert des ISONORM 9241/10.  54

24:  Ergebnis der ANOVA für abhängige Stichproben (ISONORM  

9241/10)....................................................................................................   54

25:  Paarweise Vergleiche der Webangebote mit signifikanten Unterschie-  

den  durch den Bonferroni-Test (ISONORM 9241/10)  54

26:  Deskriptive Daten zur Variable Ranglisten der Webangebote.  55

27:  Ergebnis des Friedman-Tests (Rangliste der Webangebote)  56

28:  Paarweise Vergleiche der Webangebote mit signifikanten Unterschie-  

den  durch den Vorzeichenrang-Tests (Rangliste der Webangebote)  56

29:  Mittelwerte und Ränge der Variablen des Usability-Test.  56

30:  Rangkorrelation nach Spearman zwischen den Ranglisten der Weban-  

gebote  des WUI und des Usability-Test.  57

31:  Produkt-Moment Korrelation zwischen den Gesamtwerten des ISO-  

NORM  9241/10 aus dem Usability-Test und den Prozentwerten der  

Usability  -Mängel aus dem WUI.  58

32:  Produkt-Moment Korrelation zwischen der Skala Selbstbeschreibungs-  

f  ähigkeit des ISONORM 9421/10 aus dem Usability-Test und den Pro-  

zentwerten  der Usability-Mängel der Kategorie II aus dem WUI.  59

33:  Produkt-Moment Korrelation zwischen der Aufgabenzufriedenheit aus  

dem  Usability-Test und den Prozentwerten der Usability-Mängel aus  

dem  WUI.  59

34:  Produkt-Moment Korrelationen zwischen der Effizienz in Bezug auf  

den  Zeitbedarf sowie der Effizienz in Bezug auf die Klickhäufigkeit  

aus  dem Usability-Test und den Prozentwerten der Usability-Mängel  

aus  dem WUI.  60

35:  Produkt-Moment Korrelation zwischen der Effektivität aus dem Usabi-  

lity  -Test und den Prozentwerten der Usability-Mängel aus dem WUI.  60

36:  Mittelwerte der Variable Effektivität bei den Gruppen „Psychologie-  

Studenten  “, „Studenten aus anderen Studiengängen“ und „berufstätige  

Personen  “ sowie über alle drei Gruppen (in Klammern SD)  63

37  Paarweise Vergleiche der Gruppen mit signifikanten Unterschieden  

durch  den Bonferroni-Test (Effektivität)  64

38  Rangmittelwerte der Variable Rangliste der Webangebote bei den  

Gruppen  „Psychologie-Studenten“, „Studenten aus anderen Studien-  

g  ängen“ und „berufstätige Personen“ sowie über alle drei Gruppen.  64

39  Produkt-Moment Korrelationen zwischen den Kategorien des WUI und  

den  Skalen des ISONORM 9241/10, N 5  76

40  Produkt-Moment Korrelationen zwischen den Kategorien des WUI und  

dem  Gesamtwert des ISONORM 9241/10, N 5.  77

41  Rangmittelwerte der Variable Rangliste der Webangebote bei den stu-  

dentischen  Versuchspersonen  79

B-2-1 Effizienz klick : Paarweise Vergleiche der Webangebote durch den

Bonferroni-Test ....................................................................................... 115

B-2-2 ISONORM 9241/10, Skala Aufgabenangemessenheit (AA): Paarweise Vergleiche der Webangebote durch den Bonferroni-Test........................ 115

B-2-3 ISONORM 9241/10, Skala Selbstbeschreibungsfähigkeit (SB): Paarweise Vergleiche der Webangebote durch den Bonferroni-Test.............. 115

B-2-4 ISONORM 9241/10, Skala Steuerbarkeit (ST): Paarweise Vergleiche der Webangebote durch den Bonferroni-Test.......................................... 116

B-2-5 ISONORM 9241/10, Skala Erwartungskonformität (EK): Paarweise Vergleiche der Webangebote durch den Bonferroni-Test........................ 116

B-2-6 ISONORM 9241/10, Skala Fehlertoleranz (FT): Paarweise Vergleiche der Webangebote durch den Bonferroni-Test.......................................... 116

B-2-7 ISONORM 9241/10, Skala Lernförderlichkeit (LF): Paarweise Vergleiche der Webangebote durch den Bonferroni-Test............................. 117

B-2-8 Gesamtwert des ISONORM 9241/10: Paarweise Vergleiche der Webangebote durch den Bonferroni-Test........................................................ 117

B-2-9 Paarweise Vergleiche der Webangebote durch den Vorzeichenrang-Test (Rangliste der Webangebote)........................................................... 117

B-2-10 Paarweise Vergleiche der Gruppen "Psychologie-Studenten", "Studenten aus anderen Studiengängen" und "berufstätige Personen" durch den

Bonferroni-Test (Effektivität).................................................................. 118

B-2-11 Paarweise Vergleiche der Gruppen "Psychologie-Studenten", "Studenten aus anderen Studiengängen" und "berufstätige Personen" durch den Mann-Whitney U-Test (Rangliste der Webangebote)............................. 118

B-2-12 ISONORM 9241/10: Mittelwerte der Items bei den fünf Webangebo-

ten............................................................................................................. 119

B-2-13 Korrelationen zwischen Effektivität und Gesamtwert des ISONORM

9241/10..................................................................................................... 119

B-2-14 Korrelationen zwischen Aufgabenzufriedenheit und Effektivität........... 120

B-2-15 Korrelationen zwischen Aufgabenzufriedenheit und Effizienz klick ....... 120

B-2-16 Korrelationen zwischen Aufgabenzufriedenheit und Effizienz zeit ......... 121

B-2-17 Usability-Test: Daten zu den Versuchspersonen..................................... 121

vi

Abbildungsverzeichnis   

Abbildung   

1:  Struktur der software-ergonomischen Normen DIN EN ISO 9241 Teil  2

und  Teile 10 bis 17 (aus Dzida et al., 2001, S. 34)  6

2:  Komponenten der Usability (aus DIN, 2004, S. 98)  8

3:  Ausschnitt aus dem Tabellenblatt „Evaluation“ des WUI.  15

4:  Ausschnitt aus dem Tabellenblatt „Auswertung-numerisch“ des  

WUI.   16

5:  Häufigkeitsverteilung der Professuren an psychologischen Instituten an  

deutschen  Universitäten.  18

6:  Startseite der Website des Instituts der Psychologie der Technischen  

Universit  ät Braunschweig.  19

7:  Startseite der Website des Instituts für experimentelle Psychologie der  

Universit  ät Düsseldorf.  20

8:  Startseite der Website des Fachbereichs Psychologie der Universität  

Koblenz  -Landau.  20

9:  Startseite der Website des Instituts für Psychologie der Universität  

Magdeburg.   21

10:  Startseite der Website des psychologische Instituts der Universität  

T  übingen.  21

11:  Skala zur Angabe der Zufriedenheit mit der Website.  30

12:  Beispielitem des Fragebogens ISONORM 9421/10.  31

13:  WUI: Häufigkeitsverteilung der Noten durch die beiden Gutachter.  

Grauer  Balken: Gutachter 1, Weißer Balken: Gutachter 2.  39

14:  WUI: Grafische Übersicht über die Usability-Mängel der evaluier-ten  

Websites  bei den fünf Kategorien und bei der Gesamt-Usability  

  (GU)  41

15:  WUI: Usability-Mängel der Webangebote in der Kategorie NO.  42

16:  WUI: Usability-Mängel der Webangebote in der Kategorie II.  44

17:  WUI: Usability-Mängel der Webangebote in der Kategorie AQ.  45

18:  WUI: Usability-Mängel der Webangebote in der Kategorie IT.  46

19:  WUI: Usability-Mängel der Webangebote in der Kategorie AZ.  47

20:  Grafische Übersicht über die Skalenmittelwerte des ISONORM  9241/10

bei  den Webangeboten der fünf psychologischen Institute.  53

21:  Box-Plots der Webangebote (Rangliste der Webangebote)  55

22:  Streudiagramm zur Korrelation der Webangebote zwischen den  

Ranglisten  des Usability-Test und des WUI mit Regressionsgerade.  58

23:  Streudiagramm zur Korrelation der Webangebote zwischen den Mit-  

telwerten  der Variable Rangliste der Webangebote des Usability-Tests  

und  den Gesamtkennwerten des WUI mit Regressionsgerade  78

1. Einleitung

1.1 Anlass der Arbeit

Im World Wide Web des Internets bietet eine nahezu unüberschaubare Menge von

Dienstleistern den Betreibern von Webangeboten eine Überprüfung ihrer Webpräsenz ¹ auf Gebrauchstauglichkeit bzw. Usability an. Eine Abfrage unter dem Stichwort „Web Usability Test“ in der Suchmaschine „Google“ im April 2006 ergab eine Anzahl von 236 Einträgen mit Links zu Unternehmen, die unter Anwendung unterschiedlicher Methoden versprachen, Websites auf Usability-Mängel zu testen und Vorschläge für eine benutzerfreundlichere Gestaltung von Websites zu unterbreiten. Dieser große Markt im deutschsprachigen Raum lässt darauf schließen, dass es einen ebenso großen Bedarf an Kunden gibt, die ein Interesse an der Verbesserung ihrer Webpräsenz zeigen. Tatsächlich ist in den letzten Jahren die Einsicht von Firmen in die Notwendigkeit einer gebrauchstauglichen Aufmachung ihres Webangebots gestiegen. Die zunehmende Konkurrenz auf Grund des exponentiellen Wachstums des Internets eröffnet den Nutzern

des Internets mehr Auswahlmöglichkeiten in allen Bereichen ² . Die Konsequenz ist, dass es den Benutzern von Webangeboten zunehmend leichter fällt, von einer für sie unbefriedigenden Website zu einer anderen Website mit einer ähnlichen Angebotspalette zu wechseln. Damit nimmt gleichzeitig die Bedeutung der benutzerfreundlichen Gestaltung von Webangeboten zu, sodass die Betreiber von Webpräsenzen gezwungen sind, ihre Webseiten an die Bedürfnisse der Nutzer anzupassen.

Eine detailliertere Betrachtung der von diesen Internet-Dienstleistern angewandten Methoden zur Prüfung der Usability zeigt, dass hauptsächlich Checklisten bzw. Kriterienkataloge verwendet werden. Dabei orientieren sich so genannte Experten bei der Usability-Inspektion an Standards oder Richtlinien, die in Checklisten zum Abhaken zusammengefasst werden. Diese auf Grund ihrer schnellen und damit kostengünstigen Anwendbarkeit populärste Form der Evaluation bezieht sich allerdings auf Kriterien, deren Gültigkeit und Zuverlässigkeit nicht hinreichend überprüft worden sind. So setzen beispielsweise einige Dienstleister den Kriterienkatalog Web Usability Index ein, ohne

¹ Im Verlauf dieser Arbeit sind die Begriffe „Website“ oder „Webpräsenz“ als Synonym für „Webangebot“ zu verstehen. Eine „Website“ besteht aus einer Gruppe zusammengehöriger „Webseiten“.

² Die weltweite Anzahl der Websites hat sich in den vergangenen drei Jahren verdoppelt. Während im April 2003 die 40 Millionen-Marke überschritten wurde, gab es im April 2006 bereits über 80 Millio- nen Websites (http://news.netcraft.com, Stand: 28.04.2006).

zu wissen, ob dieses Instrument tatsächlich die Usability-Mängel erfasst, die es zu erfassen vorgibt.

Der Web Usability Index (WUI) stammt aus dem Jahr 2002 und ist von deutschen Informationswissenschaftlern basierend auf einem bereits vorhandenen Kriterienkatalog, dem Keevil Usability Index (KUI), entwickelt worden. Es handelt sich um einen der ersten Versuche, die in wissenschaftlichen Untersuchungen gewonnenen Erkenntnisse zu Merkmalen der Usability in einen deutschsprachigen Kriterienkatalog zu integrieren. Wegen seiner einfachen Bedienbarkeit und der automatischen Auswertung der Evaluationsergebnisse erfreut er sich einer steigenden Attraktivität bei Anbietern von Usability-Tests, die zudem den wissenschaftlichen Hintergrund dieses Instruments bei der Anwerbung ihrer Kunden hervorheben. Aber auch Forschende im Bereich der Software-Evaluation sind an einem Verfahren interessiert, mit dem sie unter geringem Auf-wand die Usability von Software-Produkten erheben und gegebenenfalls mit den Ergebnissen anderer Testverfahren vergleichen können. Aus dem vorhandenen Bedarf nach einer seriösen, effizienten Methode zur Bestimmung der Usability von Webangeboten ergibt sich der Anlass für diese Arbeit, die Aussagekraft des Web Usability Index einer genaueren Überprüfung zu unterziehen.

1.2 Ziel und Vorgehensweise

Das Ziel der vorliegenden Arbeit besteht darin, den Kriterienkatalog Web Usability Index auf seine Validität bzw. Gültigkeit zu überprüfen. Neben der Objektivität und Reliabilität ist die Validität ein Hauptgütekriterium in Bezug auf die Beurteilung, ob eine Methode brauchbare und verlässliche Aussagen liefert (Lienert und Raatz, 1994). Im Falle des WUI gibt die Validität den Grad der Genauigkeit an, mit dem dieses Instrument tatsächlich diejenigen Usability-Mängel erfasst, die es erfassen soll. Der WUI wäre vollkommen valide, wenn die Ergebnisse einen unmittelbaren und fehlerfreien Rückschluss auf den Ausprägungsgrad der Usability-Mängel zuließen. Um die Validität des WUI bestimmen zu können, ist es erforderlich, die Evaluationsergebnisse mit diesem Instrument mit den Ergebnissen eines Außenkriteriums, d. h. eines anderen Verfahrens zur Erfassung der Usability, zu vergleichen. Bei der Bestimmung dieser so genannten kriterienbezogenen Validität wird die Übereinstimmung bzw. der Zusammenhang zwischen den Ergebnissen dieser beiden Verfahren erhoben. Der berechnete Validitätskoeffizient gibt als Maßzahl für den Grad der Validität an, wie

genau der WUI die in einem Webangebot vorhandenen Usability-Mängel bestimmen kann.

Die vorliegende Untersuchung gliederte sich in zwei Abschnitte. Zunächst untersuchte der Verfasser dieser Arbeit mit Hilfe des WUI die Websites von fünf an deutsche Universitäten angeschlossenen psychologischen Instituten auf ihre Usability. Danach führte er mit einer Anzahl von 30 Versuchspersonen einen so genannten Usability-Test durch. Bei diesem auch unter dem Begriff Nutzertest bekannten Verfahren erprobten Versuchspersonen unter kontrollierten Laborbedingungen und vorgegebenen, vergleichbaren Aufgabenstellungen die Usability von denjenigen Webangeboten, die bereits zuvor mit dem WUI evaluiert worden waren. Nachdem die Versuchsteilnehmer die Webangebote sowohl unter Leistungs- als auch unter Akzeptanzbedingungen getestet hatten, erstellten sie eine persönliche Rangliste der Webangebote. Die Rangmittelwerte aller Versuchspersonen fungierten als Außenkriterium für die Bestimmung der Validität des WUI. Daneben wurden bei der Durchführung der Usability-Tests verschiedene objektive und subjektive Variablen erhoben, die als weitere Kriteriumswerte mit den Werten des WUI korreliert wurden.

Im Folgenden werden zunächst die theoretischen Hintergründe der vorliegenden Arbeit dargestellt (Abschnitt 2). Dem schließt sich eine Herleitung der empirischen Fragestellung an (Abschnitt 3). Abschnitt 4 informiert über das methodische Vorgehen bei der Evaluation mit dem WUI und dem Usability-Test. Nach einer Darstellung der statistischen Verfahren (Abschnitt 5) werden die Ergebnisse der Datenerhebungen vorgestellt (Abschnitt 6). In der abschließenden Diskussion erfolgt neben einer kritischen Reflexion des Untersuchungsansatzes die Interpretation der Ergebnisse, woraus wiederum Fol- gerungen für den WUI abgeleitet werden (Abschnitt 7).

2. Theoretische Grundlagen

Eine Evaluation der Usability von Webangeboten setzt voraus, dass die theoretischen Hintergründe von Usability bekannt sind. Aus diesem Grund erfolgt in Abschnitt 2.1 zunächst eine Einordnung dieser Thematik in den wissenschaftlichen Kontext. Die Usability von Webseiten fällt in den Bereich der Software-Ergonomie, die als Teilgebiet der Ergonomie Gegenstand arbeitspsychologischer Forschung ist (2.1.1). Erkenntnisse der Ergonomie finden sich in der Definition von Normen wieder, weshalb die für die Softwaregestaltung relevante Norm DIN EN ISO 9241 vorgestellt wird (2.1.2). In dieser Norm wird definiert, was unter Usability zu verstehen ist (2.1.3) und es werden konkrete Empfehlungen aus dieser Definition abgeleitet, die in Form von Grundsätzen der Dialoggestaltung eine angemessene Software-Ergonomie gewährleisten sollen (2.1.4). Ge-genstand von Abschnitt 2.2 sind die in der vorliegenden Arbeit verwendeten Methoden zur Evaluation der Webangebote. Nach einer Zuordnung der Methoden in eine Klassifikation von Evaluationsmethoden (2.2.1) werden die in der vorliegenden Arbeit eingesetzten Verfahren, der Web Usability Index (2.2.2) und der Usability-Test (2.2.3), beschrieben. Die untersuchten Webangebote werden abschließend in Abschnitt 2.3 vorgestellt.

2.1 Software-Ergonomie

2.1.1 Begriffsklärungen

Als eine Teildisziplin der Arbeitswissenschaft beschäftigt sich die Ergonomie mit der menschlichen Arbeit im Hinblick auf den individuellen Gesundheitsschutz. Ihr Ziel ist, dass die Arbeitenden schädigungslose, ausführbare, erträgliche und beeinträchtigungsfreie Arbeitsbedingungen vorfinden (Riechenhagen, Prümper und Wagner, 1997, S. 1). Es geht demnach bei ergonomischen Fragestellungen darum, die Arbeitsbedingungen und -werkzeuge an die Merkmale des Menschen anzupassen. Aus dieser Zielstellung leitet sich das Aufgabenfeld der Ergonomie, die Analyse und Optimierung menschlicher Arbeitsmittel und Arbeitsbedingungen, ab (Wandmacher, 1993, S. 1, Heinecke, 2004, S. 34). Da der Mensch im Mittelpunkt steht, ist die Ergonomie ein originäres Themenfeld der Psychologie, wobei je nach Bereich und Fragestellung andere wissenschaftliche Disziplinen im Vordergrund stehen können.

In einer Teildisziplin der Ergonomie, der Software-Ergonomie, verbinden sich die Informatik, die Psychologie, das Ingenieurwesen und die Arbeitswissenschaften

(Heinecke, 2004, S. 43f). Unter Software versteht man Computerprogramme, welche die Hardware eines Computers zur Ausführung von Aktionen veranlassen (Microsoft Computer Lexikon, 2005, S. 629). Betriebssysteme wie Windows und Anwenderprogramme wie das Office-Paket oder Webseiten fallen unter den Begriff der Software. Aufgabe der Software-Ergonomie ist die Gestaltung der Mensch-Maschine-Kommunikation bzw. der Mensch-Maschine-Schnittstelle. Der zentrale Aspekt der Software-Ergonomie besteht in der Untersuchung der Benutzbarkeit von Software. Sie befasst sich vorrangig mit der Frage, wie der Dialog des Nutzers mit dem Computer benutzungsfreundlich gestaltet werden kann. Bei der Gestaltung von benutzerfreundlicher Software ist es demnach erforderlich, das Dialogsystem an die physischen und psychischen Eigenschaften des Menschen anzupassen (Frieling und Sonntag, 1999, S. 332; Wandmacher, 1993, S. 1; Riechenhagen et al., 1997, S. 68). Es müssen die kognitiven, mentalen, psychischen und physiologischen Grundlagen und Grenzen der Benutzer berücksichtigt werden. So spielen beispielsweise Benutzermerkmale wie Lerngewohnheiten, der Grad an Erfahrung, die Aufmerksamkeitsspanne, die Grenzen des Kurzzeitgedächtnisses, das mentale Modell des Benutzers sowie die Häufigkeit der Benutzung der Software eine entscheidende Rolle bei der Anwendung von Computerprogrammen (Deutsches Institut für Normung [DIN], 2004, S. 84). In national und international festgelegten Normen und Richtlinien wird die menschengerechte Gestaltung von Software explizit konkretisiert. In Deutschland regelt die Verordnung über Sicherheit und Gesundheitsschutz bei der Arbeit an Bildschirmgeräten (Bildschirmarbeitsverordnung) den gesetzlichen Arbeitsschutz zur Bildschirmarbeit. Die auf internationaler Ebene von der Internationalen Organisation für Normung (ISO) festgelegten Normen für Dialogsysteme sind als Auslegungshilfe zur Bildschirm-arbeitsverordnung heranzuziehen (Riechenhagen et al., 1997, S. 17; Schneider, 1998, S.

X). Diese so genannten DIN EN ISO-Normen ³ dienen der Konkretisierung von Anforderungen der Ergonomie und beinhalten somit auch Anforderungen an Software. Sie werden im nächsten Abschnitt erläutert.

2.1.2 Software-ergonomische Normen nach DIN EN ISO

Die Internationale Organisation für Normung bezieht sich in der seit 1996 geltenden Normenreihe ISO 9241 Part 10 bis 17 auf software-ergonomische Anforderungen. Die-

³ Im Folgenden wird die Norm kurz als ISO 9241 bezeichnet oder bestimmte Teile der Norm wie ISO 9241-11 benannt. DIN EN ISO bedeutet, dass es eine deutsche, europäische und international gültige Norm darstellt.

se Normen sind auf europäischer Ebene übernommen worden und entsprechen in der deutschen Übersetzung den Normen DIN EN ISO 9241 Teil 10 bis 17. Grundlage für die ergonomische Gestaltung von Bildschirmarbeit ist Teil 2, in dem Anforderungen an die Qualität von Arbeitaufgaben definiert werden. Die Erfüllung dieser Anforderungen ist Voraussetzung für eine zufriedenstellende Arbeitssituation und beeinflusst somit auch die Mensch-Computer-Interaktion über das Medium Software. Beispielsweise kann die beste Software bei monotonen, überdauernden Eingabetätigkeiten keine zufriedenstellende Arbeitssituation herbeiführen (Dzida et al, 2001, S. 34). Abbildung 1 verdeutlicht die Struktur der software-ergonomischen Normen:

Abbildung 1: Struktur der software-ergonomischen Normen DIN EN ISO 9241 Teil 2 und Teile 10 bis 17 (aus Dzida et al, 2001, S. 34)

Teil 11 bildet den software-ergonomischen Rahmen, in dem definiert wird, was

Gebrauchstauglichkeit bzw. Usability ⁴ von Softwareprodukten ist. Die Teile 10 und 12 enthalten Designgrundsätze und bilden somit den Überbau für die Benutzerführung (Teil 13) und für die Gestaltungsmerkmale spezieller Dialogtechniken, die in den Teilen 14 bis 17 (Menü-Dialoge, Kommando-Dialoge, direkte Manipulationen, Bildschirm-formulare) beschrieben werden.

4

In der deutschen Fassung der ISO 9241-11 wurde Usability offiziell mit Gebrauchstauglichkeit übersetzt. Da der Begriff Usability jedoch mehr umfasst als der Begriff Gebrauchstauglichkeit, wird in dieser Arbeit stets der erstere verwendet.

Im Rahmen der vorliegenden Arbeit stehen die Teile 10 und 11 der ISO 9241 im Vordergrund. Die Dialoggrundsätze aus Teil 10 sind in dem Benutzerfragebogen ISO-NORM 9421/10 von Prümper und Anft (1993) in Form von 35 Items operationalisiert worden. Dieser Fragebogen ist im Rahmen der Datenerhebung der vorliegenden Arbeit eingesetzt worden und wird in Abschnitt 4.2.3 näher erläutert. Aus den Leitsätzen der Usability von Softwareprodukten aus Teil 11 leiten sich alle weiteren software-ergonomischen Normen ab. Sie bilden demnach auch die Grundlage für die Untersuchungen in der vorliegenden Arbeit. Im Folgenden wird zunächst der Begriff der Usability näher erläutert. Danach werden die im Teil 10 wiedergegebenen Grundsätze der Dialoggestaltung dargestellt.

2.1.3 Definition von Usability

Usability ist „das Ausmaß, in dem ein Produkt durch bestimmte Benutzer in einem bestimmten Nutzungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufriedenstellend zu erreichen“ (DIN, 2004, S. 96). Diese allgemeine Begriffsbestimmung von Usability nach der Internationalen Organisation für Normung beinhaltet mehrere Komponenten, die in der ISO 9241-11 spezifiziert (DIN, 2004, S. 97ff) und auf die Untersuchungen in der vorliegenden Arbeit angewandt werden können: N Das Produkt ist die Software, die evaluiert werden soll. In der vorliegenden Arbeit waren das die Websites von sechs universitären Psychologie-Institute. N Der Nutzungskontext umfasst die Benutzer, die Arbeitsaufgabe, die Arbeitsmittel und die Umgebung, in der das Produkt genutzt wird. Diese Aspekte werden in Abschnitt 4 ausführlich erläutert.

N Das Ziel ist das angestrebte Arbeitsergebnis. In der vorliegenden Arbeit bestand das Ziel zum einen in der Erfassung von Usability-Mängeln bei der Evaluation mit dem Web Usability Index. Zum anderen sollten beim Usability-Test die Versuchsteilnehmer Aufgaben lösen sowie daran anschließend die Akzeptanz der Webangebote bewerten.

N Effektivität, Effizienz und Zufriedenstellung sind Maße zur Messung der Usability und werden folgendermaßen definiert:

o Die Effektivität ist die Genauigkeit und Vollständigkeit, mit der Benutzer ein bestimmtes Ziel erreichen. Beim Usability-Test ist die Anzahl der gelösten Aufga- ben ein Indikator für die Effektivität der jeweiligen Webangebote.

o Die Effizienz ist der im Verhältnis zur Genauigkeit und Vollständigkeit eingesetzte Aufwand, mit dem Benutzer ein Ziel erreichen. Beim Usability-Test sind der Zeitbedarf und die Klickhäufigkeit zur Lösung einer Aufgabe Indikatoren für den Aufwand.

o Die Zufriedenstellung ist das Ausmaß, in dem Benutzer von Beeinträchtigungen frei sind, und ihre Einstellungen zur Nutzung des Produkts. Beim Usability-Test wird die Einstellung der Benutzer durch den Benutzerfragebogen ISONORM 9421/10 erfasst.

Die Beziehungen zwischen den einzelnen Komponenten der Usability werden in Abbildung 2 verdeutlicht.

Abbildung 2: Komponenten der Usability (aus DIN, 2004, S. 98).

2.1.4 Grundsätze der Dialoggestaltung

Die im Teil 10 der ISO 9241 veröffentlichten „Grundsätze der Dialoggestaltung“ setzen zusammen mit den Teilen 12 bis 17 die im vorherigen Abschnitt erläuterte Definition von Usability in konkrete Empfehlungen um. Die Erfüllung dieser sieben Kriterien sol- len unter Einbezug der anderen Normen eine angemessene Software-Ergonomie ge-

währleisten, was gleichbedeutend ist mit einer guten Usability der Software. Zur besseren Anschaulichkeit werden zu jedem Gestaltungsgrundsatz Beispiele gegeben.

(1) Aufgabenangemessenheit: „Ein Dialog 5 ist aufgabenangemessen, wenn er den Benutzer unterstützt, seine Arbeitsaufgabe effektiv und effizient zu erledigen“ (DIN, 2004, S. 85).

Bei der Gestaltung von Grafiken wird auf minimale Wartezeiten Wert gelegt. Auf einer Website sind Ansprechpartner zu finden, so dass ein Benutzer sein Ziel, eine E-Mail persönlich zu adressieren, erreichen kann.

(2) Selbstbeschreibungsfähigkeit: „Ein Dialog ist selbstbeschreibungsfähig, wenn jeder einzelne Dialogschritt durch Rückmeldung des Dialogsystems unmittelbar verständlich ist oder dem Benutzer auf Anfrage erklärt wird“ (DIN, 2004, S. 86). Die Angabe des Änderungsdatums auf jeder Seite stellt dar, ob der Inhalt einer Seite neueren Datums ist oder sich seit dem letzten Besuch geändert hat. Ein Web-Angebot hat eine Online-Hilfe, die kontextspezifische Bedienhinweise gibt. (3) Steuerbarkeit: „Ein Dialog ist steuerbar, wenn der Benutzer in der Lage ist, den Dialogablauf zu starten sowie seine Richtung und Geschwindigkeit zu beeinflussen, bis das Ziel erreicht ist“ (DIN, 2004, S. 87).

Umfangreiche Grafiken werden als „Thumbnails“ dargestellt, die bei Bedarf vom Benutzer vergrößert werden können. Während des Ladens einer Webseite ist bereits der Inhalt erkennbar, damit der Benutzer den Ladevorgang abbrechen kann. (4) Erwartungskonformität: „Ein Dialog ist erwartungskonform, wenn er konsistent ist und den Merkmalen des Benutzers entspricht, z. B. seinen Kenntnissen aus dem Arbeitsgebiet, seiner Ausbildung und seiner Erfahrung sowie allgemeinen anerkannten Konventionen“ (DIN, 2004, S. 87).

Unterstrichene Wörter sind immer Hypertext-Links. Der Link zur Startseite ist unter dem Firmenlogo oben links platziert.

(5) Fehlertoleranz: „Ein Dialog ist fehlertolerant, wenn das beabsichtigte Arbeitsergebnis trotz erkennbar fehlerhafter Eingaben entweder mit keinem oder mit minimalem Korrekturaufwand seitens des Benutzers erreicht werden kann“ (DIN, 2004, S. 88).

⁵ Ein Dialog wird definiert als Interaktion zwischen einem Benutzer und einem Dialogsystem, um ein bestimmtes Ziel zu erreichen (DIN, 2004, S. 84). Ein Dialogsystem ist eine Kombination von Hardware- und Softwarekomponenten. In der vorliegenden Arbeit bestand das Dialogsystem aus den Hardwarekomponenten der verwendeten Computer sowie aus den fünf Webangeboten der universitären Psy- chologie-Institute als Softwarekomponenten.

Fehlermeldungen werden nicht technisch verklausuliert oder als Nummer angezeigt, sondern in der Sprache der Benutzer formuliert. Über ein Skript werden die Daten eines Formulars auf Plausibilität, fehlende oder unvollständige Eingaben geprüft, bevor sie abgesendet werden.

(6) Individualisierbarkeit: „Ein Dialog ist individualisierbar, wenn das Dialogsystem Anpassungen an die Erfordernisse der Arbeitsaufgabe sowie an die individuellen Fähigkeiten und Vorlieben des Benutzers zulässt“ (DIN, 2004, S. 89). Auf der Startseite einer Website besteht die Möglichkeit, eine HTML- oder Flash-Version anzuwählen.

(7) Lernförderlichkeit: „Ein Dialog ist lernförderlich, wenn er den Benutzer beim Erlernen des Dialogsystems unterstützt und anleitet“ (DIN, 2004, S. 90). In einer Sitemap kann sich der Benutzer ansehen, nach welcher Logik eine Website strukturiert ist. Selten verwendete Icons sind so gestaltet, dass sie selbsterklärend sind und mit Zusatzinformationen versehen sind.

2.2 Methoden zur Messung von Usability

In diesem Abschnitt erfolgt die Beschreibung der in der Untersuchung verwendeten Evaluationsmethoden. Es wird der Web Usability Index vorgestellt, der in der vorliegenden Arbeit einer Überprüfung im Hinblick auf seine Validität unterzogen wird. Getestet wird die Güte des WUI mit einem so genannten Usability-Test, dessen Merkmale im Anschluss an die Darstellung des WUI beschrieben werden. WUI und Usability-Test unterscheiden sich in ihrem Zugang zur Erfassung von Usability, weil sie unterschiedlichen Hauptkategorien von Evaluationsmethoden angehören. Zum Verständnis der kate-gorialen Unterschiede zwischen diesen beiden Verfahren erfolgt zunächst eine Klassifikation der Evaluationsmethoden, bevor der WUI und der Usability-Test im Einzelnen vorgestellt werden.

2.2.1 Klassifikation der Evaluationsmethoden

Gediga und Hamborg (2002, S. 43ff) klassifizieren Methoden der Software-Evaluation in zwei Hauptkategorien, die deskriptiven und prädiktiven Evaluationsmethoden. Deskriptive Evaluationsmethoden zielen auf eine objektive, reliable und valide Beschreibung des Software-Status ab. Sie können aufgeteilt werden in N verhaltensbasierte Methoden, bei denen die tatsächliche Benutzung der Software durch die Benutzer aufgezeichnet wird. Die Verhaltensbeobachtung, die Videokon- frontation und das „laute Denken“ zählen zu dieser Unterkategorie.

N meinungsbasierte Methoden, bei denen die subjektive Bewertung der Software durch die Benutzer im Vordergrund steht. Beispiele sind Interviews und Fragebogenmethoden.

N Benutzbarkeitstests, die in früheren Zeiten dem klassischen experimentellen Design verpflichtet waren, mittlerweile jedoch verhaltens- und meinungsbasierte Methoden kombinieren.

Der in der vorliegenden Arbeit eingesetzte Usability-Test entspricht den Benutzbarkeitstest, da sowohl verhaltens- als auch meinungsbasierte Methoden eingesetzt werden und die Benutzbarkeit bzw. Usability der Software getestet wird.

Prädiktive Evaluationsmethoden zielen direkt auf die Identifikation von Schwächen der Benutzbarkeit der Software und auf Gestaltungsempfehlungen für die weitere Entwicklung der Software. Diese Methoden erfordern den Einsatz von Software-Experten, die ihre Kenntnisse einsetzen, um die ergonomische Qualität der Software beurteilen zu können. Dabei stehen den Experten verschiedene Techniken und Hilfsmittel zur Verfügung, die sich in ihrem Strukturiertheitsgrad unterscheiden:

N Das strukturierte Expertenurteil enthält detaillierte Angaben zu Kriterien, die häufig entweder Richtlinien, Standards, Normen oder allgemeinen Gestaltungsgrundsätzen entstammen.

Die heuristische Evaluation von Nielsen (1993) ist das prominenteste Beispiel für diese Art von Urteil. Hierbei handelt es sich um eine Technik, bei der mehrere Experten mit Hilfe einer Liste von standardisierten Heuristiken in mindestens zwei Durchgängen die Ergonomie von Software begutachten. Nielsen schlägt vor, bei der Begutachtung von Software die folgenden zehn Kriterien zu beachten: „1) simple and natural dialogue; 2) speak the user’s language; 3) minimize user memory load; 4) consistency; 5) provide feedback; 6) clearly marked exits; 7) shortcuts; 8) good error messages; 9) prevent errors, and 10) help and documentation“ (Nielsen, 1993, 115ff). Die Experten fassen die Ergebnisse der Evaluation in einer Liste mit einzelnen Usability-Problemen zusammen, die Begründungen für verletzte Prinzipien beinhaltet. Anschließend bewerten die Experten für jedes dokumentierte Problem, inwieweit gegen eine Heuristik verstoßen wurde.

N Das methodengeleitete Expertenurteil umfasst ein festgelegtes Auswertungs- und Bewertungsvorgehen. Neben den Prüfkriterien werden auch die anzuwendenden Methoden für die Prüfung der Software vorgegeben.

Der Evaluationsleitfaden EVADIS II (Oppermann, Murchner, Reiterer und Koch, 1992) ist ein Beispiel für diese Art von Urteil. Dieses Verfahren gibt eine genaue Vorgehensweise bei der Evaluation der Software vor. Ein Experte beantwortet ausgewählte Testitems aus einem vorgegebenen Kriterienkatalog mit Bezug auf die für einen Anwendungsbereich typischen Aufgaben sowie im Hinblick auf die Nutzergruppe. Das Ergebnis ist eine computergestützte Bewertung der Software, die in einem Prüfbericht erläutert wird.

Der in der vorliegenden Arbeit eingesetzte Web Usability Index ist eher dem strukturierten Expertenurteil zuzuordnen, enthält aber auch einige Merkmale des methodengeleiteten Expertenurteils. Diese leitfadenorientierte Methode enthält wie beim strukturierten Expertenurteil konkrete Kriterien zur Bewertung von Webangeboten, unterscheidet sich jedoch zum Beispiel von der heuristischen Evaluation dadurch, dass die Anzahl der Prüfkriterien deutlich höher und das Auswertungsverfahren festgelegt ist. Im Gegensatz zum methodengeleiteten Expertenurteil werden die Schritte der Evaluationsprozedur nicht explizit vorgegeben und der Experte wird nicht von einer großen Anzahl von Materialien, Datenbanken und Durchführungsvorschriften unterstützt. Allerdings besteht eine Übereinstimmung in Bezug auf die große Menge von detaillierten Prüffragen und bezüglich der vorgegebenen Bewertungs- und Auswertungsprozedur. Der Web Usability Index wird im folgenden Abschnitt ausführlich beschrieben.

2.2.2 Web Usability Index (WUI)

Ziele und Grundlagen des Verfahrens

Der Web Usability Index wurde von den Informationswissenschaftlern Schweibenz und Strobel entwickelt und erstmals im Jahr 2002 auf der 24. DGI-Online-Tagung in Frankfurt am Main der Öffentlichkeit vorgestellt. Schweibenz und Strobel verfolgten mit der Erstellung dieser expertenorientierten Evaluationsmethode zwei Ziele (Schweibenz, 2002):

N eine relativ einfache und schnelle Evaluation von informationsorientierten Webangeboten sowie

N die Möglichkeit einer quantitativen Vergleichbarkeit der Usability-Mängel von konkurrierenden oder thematisch ähnlichen Webangeboten.

Entsprechend dieser beiden Zielvorstellungen erstellten Schweibenz und Strobel basierend auf der Grundidee einer anderen Checkliste, dem Keevil Usability Index (KUI), einen Kriterienkatalog. Der vom kanadischen Beratungsunternehmen Keevil &

Associates zusammengestellte Index ist als Tabelle in Microsoft Excel gestaltet. Er besteht aus 203 Fragen, die in fünf Kategorien eingeteilt sind. Zu jeder Frage gibt es die drei Antwortmöglichkeiten „Ja“, „Nein“ oder „Nicht zutreffend“, die von einem Experten in die Excel-Tabelle eingetragen werden. Das Excel-Programm errechnet automatisch für jede der fünf Kategorien und für den gesamten Index eine Prozentzahl, mit der die Usability einer Website angegeben wird.

Der WUI übernimmt einige Grundelemente des KUI, versteht sich jedoch durch die Einarbeitung einiger Verbesserungen als eine Weiterentwicklung dieses Verfahrens. Erstens wurden die Kategorien an den Stand der Forschung angepasst, indem Ergebnisse aus verschiedenen Untersuchungen zur Usability und Anregungen aus anderen Verfahren aufgegriffen wurden. Zweitens erfolgte eine Differenzierung der Bewertungsmöglichkeiten, sodass die Beschränkung des Beurteilungsspielraums auf Grund absoluter Ja- oder Nein-Aussagen aufgehoben wurde. Drittens wurde die Berechnungsformel verbessert, indem eine separate Berechnung der Kategorien ermöglicht und der Kontext der Fragen innerhalb einer Kategorie berücksichtigt wurde. Die Formel bezieht die Anzahl der Fragen innerhalb einer Kategorie und die Anzahl der mit „Nicht Zutreffend“ beantworteten Fragen mit ein. Im Gegensatz zum KUI, der mit seiner Kennzahl die Usability einer Website abbildet, liefert der WUI als Ergebnis den Anteil der Usability-Mängel einer Website.

Kennwerte

Der WUI enthält zwei Kennwerte, die (a) den Mangel an Usability eines Webangebots und (b) die Aussagekraft der Evaluation abbilden.

(a) Usability-Mängel ermittelt das Excel-Programm mittels der folgenden Berechnungs-formel:

((Anzahl der Fragen - Anzahl der „Nicht Zutreffend“ Bewertungen) x 4) Das Ergebnis dieser Berechnung drückt den Anteil von Usability-Mängeln in einer Prozentzahl aus. Je niedriger der Prozentwert ist, umso weniger Mängel hat eine Website. Dementsprechend zeigt ein hoher Prozentwert an, dass viele Usability-Mängel existieren.

Die Summe der Fragenwerte berechnet sich aus den Skalenwerten der einzelnen Fragen. In Anlehnung an das Schulnotensystem reicht die Skala von „sehr gut“ über

„gut“, „befriedigend“, „ausreichend“ bis zu „mangelhaft“. Als sechste Stufe der Skala gibt es die Bewertungsmöglichkeit „Nicht zutreffend (NZ)“, die vergeben wird, wenn der Gutachter ein Merkmal als unzutreffend für die Bewertung eines Webangebots einstuft. Das Excel-Programm vergibt automatisch für die Schulnoten Werte von 1 bis 5 und für „NZ“ den Wert 0 und errechnet mit der Formel neben dem Gesamtergebnis die Prozentwerte für die einzelnen Kategorien.

(b) Neben der Prozentzahl der Usability-Mängel berechnet das Excel-Programm den NZ-Koeffizienten, der angibt, wie aussagekräftig die Bewertung der einzelnen Kategorien und der Gesamtindex ist. Dieser Koeffizient ist das Verhältnis der von „NZ“ gekennzeichneten Fragen zu allen mit 1 bis 5 bewerteten Fragen. Je geringer der Koeffizient ist, desto größer ist die Aussagekraft. Dieser Zusammenhang ergibt sich aus der Feststellung, dass die mit einer Schulnote bewerteten Fragen eine zu starke Rolle zugewiesen bekommen, wenn zu viele Fragen mit „NZ“ beantwortet werden. Die Basis der Bewertung wäre dann auf Grund der geringen Anzahl von bewerteten Fragen zu klein, um eine angemessene Aussage über Usability-Mängel machen zu können.

Kategorien und Merkmale

Der WUI umfasst insgesamt 137 Fragen, die sich auf fünf Kategorien verteilen. Innerhalb der Kategorien gibt es einige Unterkategorien, die mehrere Merkmale bzw. Fragen beinhalten. Im Folgenden werden die einzelnen Kategorien vorgestellt. Die einzelnen Fragen zu den Kategorien können im Anhang B-1 eingesehen werden. N Navigation und Orientierung: Diese Kategorie enthält 30 Fragen zur Steuerbarkeit einer Website. Die Merkmale für die Evaluation beziehen sich auf den Navigationsbereich, auf die Orientierung und auf Links.

N Interaktion und Informationsaustausch: Zu dieser Kategorie werden 24 Fragen gestellt, die sich auf den Dialog zwischen Benutzer und den Webangebot beziehen. Diese Merkmale helfen, den Informations- und Kommunikationsfluss zu erleichtern und entsprechen in etwa dem Dialoggrundsatz „Selbstbeschreibungsfähigkeit“ der ISO-Norm 9241-10 (siehe Abschnitt 2.1.4), da sich die Fragen auf die Handhabung der Website und auf Rückmeldungen des Dialogsystems beziehen. N Aktualität und Qualität: In dieser kleinsten Kategorie mit nur 13 Fragen geht es um die Glaubwürdigkeit einer Website. Es werden Fragen gestellt zur Aktualität, Zuor- denbarkeit und Genauigkeit der Informationen.

N Informations- und Textdesign: Die Merkmale in dieser größten Kategorie mit insgesamt 50 Fragen befassen sich mit der Text- und Bildgestaltung eines Webangebots. N Auffindbarkeit und Zugänglichkeit: Die Kategorie analysiert, inwieweit eine Webpräsenz auffindbar und technisch zugänglich ist. Es sind 20 Fragen zu beantworten, die diese Merkmale sowohl aus der Sicht von Benutzern als auch im Hinblick auf technische Aspekte beleuchten.

Anwendung des WUI

Der WUI kann unter der Leitseite des Arbeitsbereichs Usability der Fachrichtung In-formationswissenschaft der Universität Saarbrücken kostenlos als Excel-Datei heruntergeladen werden. Es ist möglich, den WUI unmittelbar für die Evaluation eines Webangebots einzusetzen, da der Gutachter lediglich die vorgegebenen 137 Fragen beantworten muss. Dafür steht für jede Frage eine Menüauswahl der Bewertungsmöglichkeiten zur Verfügung, aus der ein Gutachter die passende Note oder „Nicht zutreffend“ auswählen kann (siehe Abbildung 3).

Abbildung 3: Ausschnitt aus dem Tabellenblatt „Evaluation“ des WUI.

Die Auswertung führt das Tabellenkalkulationsprogramm Excel durch, indem es automatisch die Usability-Mängel und den NZ-Koeffizienten für die einzelnen Kategorien sowie für den gesamten Index nach der bereits beschriebenen Formel errechnet. Die einzelnen Ergebnisse werden in einem anderen Tabellenblatt in Tabellenform wieder- gegeben (siehe Abbildung 4).

Abbildung 4: Ausschnitt aus dem Tabellenblatt „Auswertung-numerisch“ des WUI.

In weiteren Tabellenblättern bietet der WUI einen Vergleich der Ergebnisse mittels grafischer Darstellungen an. Balken- und Liniendiagramme geben eine Übersicht über die Verteilung sowohl der Gesamtwerte als auch der Werte für jede Kategorie und erleichtern somit die quantitative Vergleichbarkeit der Usability-Mängel von konkurrierenden Webangeboten.

2.2.3 Usability-Test

Bei einem Usability-Test handelt es sich um eine subjektive, nutzerorientierte Methode zur Überprüfung eines Software-Produkts (z. B. das Webangebot eines Unternehmens) durch geeignete Versuchspersonen. Indem die Versuchspersonen als Nutzer dieses Produkts zuvor festgelegte Aufgaben lösen, kann ein Versuchsleiter verschiedene Maße zur Erfassung der Usability des Produkts erheben. Erhebungsmaße sind beispielsweise Leistungsdaten wie die benötigte Zeit zur Bewältigung der Aufgaben oder der Prozentsatz der korrekten Erfüllung der Aufgaben (= Erfolgsrate) und subjektive Daten wie die Zufriedenheit der Nutzer (Zhu, Proctor und Vu, 2005; Rubin, 1994). Es gibt verschiedene Varianten des Usability-Tests, die sich u. a. in ihrer methodischen Strenge und in der Anzahl der Versuchspersonen voneinander unterscheiden. In der vorliegenden Arbeit ist der so genannte konkurrierende Ansatz („competitive usability testing“) zum Einsatz gekommen, bei dem ähnliche Produkte, die in Konkurrenz zueinander stehen, miteinander verglichen werden (Shneiderman, 2002, S. 168). Dieser Ansatz erfordert die Konstruktion von parallelen Aufgabengruppen für alle Produkte und einen Ausgleich bei der Reihenfolge der präsentierten Produkte, um mögliche Feh-

lerquellen zu kontrollieren. Durch das Ausbalancieren der Treatmentreihenfolge der einzelnen Untersuchungsbedingungen können Positions- und Übertragungseffekte vermieden werden (Bortz und Döring, 2002, S. 549f). Außerdem müssen die Versuchsteilnehmer jedes Produkt testen können, um Vergleiche zwischen den Produkten anstellen zu können. Bei diesem so genannten within-subjekt-design bzw. Messwiederholungsdesign nimmt jede Versuchsperson an jeder Versuchsbedingung teil.

Der Usability-Test in der vorliegenden Arbeit zielte darauf ab, die Probanden in die Lage zu versetzen, eine Rangliste der Akzeptanz der betrachteten Webangebote der psychologischen Institute Braunschweig, Düsseldorf, Landau, Magdeburg und Tübingen aufzustellen. Jede der 30 Versuchsperson hat demnach fünf Webangebote der universitären Psychologie-Institute betrachtet, um auf der Grundlage von Vergleichen zwischen den konkurrierenden Webangeboten eine Rangordnung der Institute bilden zu können (siehe Abschnitt 4). Erläuterungen zu den in dieser Arbeit untersuchten Websites folgen nun in Abschnitt 2.3.

2.3 Erläuterungen zu der untersuchten Software

2.3.1 Auswahlverfahren

Bei der untersuchten Software handelt es sich um Websites universitärer Psychologie-Institute. Die Auswahl dieser Produkte orientierte sich an der Zusammensetzung der Stichprobe beim Usability-Test, die überwiegend aus Studentinnen und Studenten be-stand. Da ein Usability-Test von Software-Produkten nach den Erkenntnissen der Usa-bility-Forschung (Zhu et al., 2005; Rubin, 1994) am besten mit Personen durchgeführt wird, die mit den Produkten vertraut sind, war es folgerichtig, Webangebote mit universitärem Bezug auszuwählen. Wegen der zu erwartenden Versuchsteilnahme von Psychologie-Studentinnen und -Studenten fiel die Wahl der zu evaluierenden Produkte auf die Websites von Instituten, die den Diplomstudiengang Psychologie anbieten. In Deutschland gibt es insgesamt 44 psychologische Institute an Universitäten (Stand: November 2005). Für die Untersuchung kamen nur Institute in Frage, in denen Psychologie als Diplomstudiengang angeboten wird. Um das Kriterium der Vergleichbarkeit der konkurrierenden Webangebote einzuhalten, mussten die Institute ungefähr gleich groß sein. Maßstab für die Größe der Institute war die Anzahl der Professuren. Die Häufigkeitsverteilung der Professuren bildet Abbildung 5 ab.

Abbildung 5: Häufigkeitsverteilung der Professuren an psychologischen Instituten an deutschen Universitäten.

Zur Bestimmung der Institute für die Untersuchung wurden die Institute in drei Untergruppen aufgeteilt. Maßeinheit für die Aufteilung in Untergruppen war eine Standardabweichung vom Mittelwert (M = 9.14, SD = 3.74), sodass es folgende Kategorien an Gruppen gab: kleine Institute (2 bis 5 Professuren), mittelgroße Institute (6 bis 12 Professuren) und große Institute (13 bis 17 Professuren). Die mittelgroße Kategorie enthielt 27 Institute, von denen diejenigen Institute ausgeschlossen wurden, bei denen der Navigationsbereich innerhalb der Webseiten uneinheitlich war. Zugelassen wurden nur Institute, bei denen lediglich bei einer Abteilung innerhalb der Institute ein anderer Navigationsbereich im Unterschied zur Startseite vorkam. Dieses Ausschlusskriterium wurde getroffen, um eine Vergleichbarkeit der Webangebote im Hinblick auf Bedien- und Gestaltungselemente zu gewährleisten. Es blieben letztlich noch acht Institute übrig, von denen sechs Institute mit einer ähnlichen Anzahl an Professuren für die Evaluation mit dem WUI in Frage kamen. Als Ersatz im Falle eines Ausfalls eines Webangebots wurde demnach ein weiteres Institut mit dem WUI evaluiert. Tatsächlich fiel das Webangebot des Instituts der Psychologie der Universität Greifswald zwischenzeitlich aus, sodass am Ende die fünf folgenden Webangebote als Untersuchungsgegenstände für den Usability-Test übrig blieben (in Klammern die jeweilige URL der Startseite, Stand: Januar 2006): N das Institut der Psychologie der Technischen Universität Braunschweig (http://www.tu-braunschweig.de/psychologie),

N das Institut für experimentelle Psychologie der Universität Düsseldorf (http://www.psycho.uni-duesseldorf.de),

N der Fachbereich Psychologie der Universität Koblenz-Landau (http://www.uni-landau.de/fb8/index.htm), N das Institut für Psychologie der Universität Magdeburg (http://www.uni-magdeburg.de/ipsy), N das psychologische Institut der Universität Tübingen (http://www.uni-tuebingen.de/psychologie).

Im folgenden Abschnitt sind mit den Abbildungen 6 bis 10 die Startseiten der Webangebote dieser Institute zu sehen.

2.3.2 Startseiten der untersuchten Webangebote

Abbildung 6: Startseite der Website des Instituts der Psychologie der Technischen Universität Braunschweig.