Die vorliegende Arbeit befasst sich mit der kriterienbezogenen Validität des Web Usability Index (WUI), einem expertenbasierten Instrument zur Evaluation von Webangeboten. Den Untersuchungsgegenstand bildeten die fünf Websites der psychologischen Institute der Universitäten Düsseldorf, Braunschweig, Koblenz-Landau, Magdeburg und Tübingen.
Ein Gutachter ermittelte zunächst mit dem WUI die Usability-Mängel der fünf Webpräsenzen. Zur Beurteilung der Interraterreliabilität erfolgte zum gleichen Zeitpunkt eine zweite Expertise durch einen weiteren Gutachter. Anschließend wurde an den selben Websites ein Usability-Test mit einer Stichprobe von 30 Versuchspersonen durchgeführt. Die in diesem Test erhobenen Variablen dienten als Außenkriterien zur Bestimmung der Validität des WUI. In Anlehnung an die Usability-Definition der Internationalen Organisation für Normung (ISO) wurden die Effizienz und die Effektivität der Webangebote erfasst sowie die Benutzerzufriedenheit mit den Webangeboten anhand des Benutzerfragebogens ISONORM 9241/10 erhoben. Als Hauptkriterium für die Validierung galt die am Ende des Tests von den Probanden erstellte Rangliste der Webangebote. Zur Erfassung der Validität wurden die Ergebnisse aus dem Usability-Test mit den Evaluationsergebnissen des WUI korreliert.
Alle Zusammenhänge waren entgegen der Hypothesen nicht signifikant. Die Korrelation zwischen der Rangliste des Usability-Tests und des WUI betrug rs = .6. Der höchste Zusammenhang bestand zwischen der Benutzerzufriedenheit und dem WUI mit r = -.660, während zwischen den objektiven Variablen (Effektivität sowie Effizienz) und dem WUI kein Zusammenhang zu erkennen war. Außerdem zeigte sich, dass die objektiven und subjektiven Maße des Usability-Tests nur schwach positiv korrelierten.
Aus den Ergebnissen wird der Schluss gezogen, dass die Validität des WUI im mittleren bis hohen Bereich anzusiedeln ist. Mögliche Validitätseinschränkungen können zum einen auf die Untersuchung bezogen werden (Stichprobenfehler, begrenzte Eignung des verwendeten Außenkriteriums, eingeschränkte Reliabilität der Evaluation mit dem WUI durch den Gutachter), zum anderen in dem Fragenkatalog selbst begründet sein (fehlende Fragen zu objektiven Leistungsdaten sowie zum Design von Webangeboten, methodische Unzulänglichkeiten, unspezifische Ausrichtung des Kriterienkatalogs).
Inhaltsverzeichnis
- Einleitung
- Anlass der Arbeit
- Ziel und Vorgehensweise
- Theoretische Grundlagen
- Software-Ergonomie
- Definition von Usability
- Begriffsklärungen
- Software-ergonomische Normen nach DIN EN ISO
- Grundsätze der Dialoggestaltung
- Methoden zur Messung von Usability
- Klassifikation der Evaluationsmethoden
- Web Usability Index (WUI)
- Usability-Test
- Erläuterungen zu der untersuchten Software
- Auswahlverfahren
- Startseiten der untersuchten Webangebote
- Eigene Fragestellung
- Methodisches Vorgehen
- Evaluation mit dem WUI
- Gutachter
- Durchführung
- Geräte
- Usability-Test
- Versuchspersonen
- Versuchsdurchführung
- Versuchsmaterialien
- Versuchsgeräte
- Versuchsdesign
- Verwendete Verfahren der Datenanalyse
- Verfahren zur Bestimmung der Interraterreliabilität des WUI
- Wilcoxon-Test
- Rangkorrelation nach Spearman (Spearmans rho, rs)
- Testverfahren für den Usability-Test
- Einfaktorielle Varianzanalyse mit Messwiederholungen
- Friedman-Test
- Verfahren zur Berechnung der Zusammenhänge zwischen WUI und Usability-Test
- Rangkorrelation nach Spearman (Spearmans rho, r§)
- Produkt-Moment-Korrelation nach Pearson (r)
- Ergebnisse
- Web Usability Index
- Übereinstimmung der beiden Gutachter (Interraterreliabilität)
- Auswertung der Evaluation
- Usability-Test
- Auswertung der Leistungsmaße
- Auswertung der Zufriedenheitsmaße
- Auswertung der Ranglisten der Webangebote
- Zusammenfassung der Ergebnisse
- Zusammenhänge zwischen WUI und Usability-Test
- Diskussion
- Kritische Reflexion des Untersuchungsansatzes
- Mögliche Einflussfaktoren auf die Ergebnisse des Usability-Tests
- Expertenorientierte versus nutzerorientierte Methode
- Interpretation der Ergebnisse
- Reliabilität des Web Usability Index
- Validität des Web Usability Index
- Erklärungen für die ermittelten Zusammenhänge
- Folgerungen aus den Ergebnissen für den WUI
- Zusammenfassung
Zielsetzung und Themenschwerpunkte
Die vorliegende Arbeit befasst sich mit der Validierung des Web Usability Index (WUI) als Instrument zur Evaluation von Webangeboten. Im Fokus steht dabei die Überprüfung der Brauchbarkeit des WUI im Vergleich zu einem nutzerorientierten Usability-Test.
- Bewertung der Reliabilität und Validität des WUI
- Analyse der Übereinstimmung zwischen Expertenbeurteilung (WUI) und Nutzererfahrung (Usability-Test)
- Identifizierung von Faktoren, die die Ergebnisse des Usability-Tests beeinflussen können
- Abgleich der Erkenntnisse aus Experten- und Nutzerperspektive
- Entwicklung von Empfehlungen für die zukünftige Anwendung des WUI
Zusammenfassung der Kapitel
- Einleitung: Die Arbeit stellt den Anlass und das Ziel der Untersuchung dar. Sie erläutert die Relevanz des Themas Web Usability und die Notwendigkeit eines validen Evaluationsinstruments.
- Theoretische Grundlagen: Dieses Kapitel definiert den Begriff Usability, beleuchtet die Bedeutung von Software-Ergonomie und stellt verschiedene Methoden zur Messung von Usability vor, darunter der Web Usability Index (WUI) und der Usability-Test.
- Eigene Fragestellung: Die Arbeit formuliert die Forschungsfrage, die im Rahmen der Untersuchung beantwortet werden soll. Es geht darum, die Validität des WUI im Vergleich zu einem Usability-Test zu untersuchen.
- Methodisches Vorgehen: Dieses Kapitel beschreibt die Durchführung der Untersuchung, die sowohl eine Evaluation mit dem WUI als auch einen Usability-Test umfasst. Es werden die Versuchspersonen, die verwendeten Materialien und das Versuchsdesign vorgestellt.
- Verwendete Verfahren der Datenanalyse: Hier werden die statistischen Verfahren erläutert, die zur Auswertung der Daten eingesetzt werden. Dazu gehören beispielsweise der Wilcoxon-Test, die Rangkorrelation nach Spearman und die Varianzanalyse.
- Ergebnisse: Dieses Kapitel präsentiert die Ergebnisse der Untersuchung. Es werden sowohl die Ergebnisse der WUI-Evaluation als auch die Ergebnisse des Usability-Tests dargestellt und analysiert.
Schlüsselwörter
Die Arbeit befasst sich mit den zentralen Themen Usability, Web Usability Index (WUI), Usability-Test, Expertenbeurteilung, Nutzererfahrung, Validierung, Interraterreliabilität, Effektivität, Effizienz, Zufriedenheit, Methodenvergleich, Software-Ergonomie.
- Arbeit zitieren
- Andreas Othmer (Autor:in), 2006, Ist der Web Usability Index ein brauchbares Instrument zur Evaluation von Webangeboten?, München, GRIN Verlag, https://www.grin.com/document/61980
