Die vorliegende Arbeit befasst sich mit der kriterienbezogenen Validität des Web Usability Index (WUI), einem expertenbasierten Instrument zur Evaluation von Webangeboten. Den Untersuchungsgegenstand bildeten die fünf Websites der psychologischen Institute der Universitäten Düsseldorf, Braunschweig, Koblenz-Landau, Magdeburg und Tübingen.
Ein Gutachter ermittelte zunächst mit dem WUI die Usability-Mängel der fünf Webpräsenzen. Zur Beurteilung der Interraterreliabilität erfolgte zum gleichen Zeitpunkt eine zweite Expertise durch einen weiteren Gutachter. Anschließend wurde an den selben Websites ein Usability-Test mit einer Stichprobe von 30 Versuchspersonen durchgeführt. Die in diesem Test erhobenen Variablen dienten als Außenkriterien zur Bestimmung der Validität des WUI. In Anlehnung an die Usability-Definition der Internationalen Organisation für Normung (ISO) wurden die Effizienz und die Effektivität der Webangebote erfasst sowie die Benutzerzufriedenheit mit den Webangeboten anhand des Benutzerfragebogens ISONORM 9241/10 erhoben. Als Hauptkriterium für die Validierung galt die am Ende des Tests von den Probanden erstellte Rangliste der Webangebote. Zur Erfassung der Validität wurden die Ergebnisse aus dem Usability-Test mit den Evaluationsergebnissen des WUI korreliert.
Alle Zusammenhänge waren entgegen der Hypothesen nicht signifikant. Die Korrelation zwischen der Rangliste des Usability-Tests und des WUI betrug rs = .6. Der höchste Zusammenhang bestand zwischen der Benutzerzufriedenheit und dem WUI mit r = -.660, während zwischen den objektiven Variablen (Effektivität sowie Effizienz) und dem WUI kein Zusammenhang zu erkennen war. Außerdem zeigte sich, dass die objektiven und subjektiven Maße des Usability-Tests nur schwach positiv korrelierten.
Aus den Ergebnissen wird der Schluss gezogen, dass die Validität des WUI im mittleren bis hohen Bereich anzusiedeln ist. Mögliche Validitätseinschränkungen können zum einen auf die Untersuchung bezogen werden (Stichprobenfehler, begrenzte Eignung des verwendeten Außenkriteriums, eingeschränkte Reliabilität der Evaluation mit dem WUI durch den Gutachter), zum anderen in dem Fragenkatalog selbst begründet sein (fehlende Fragen zu objektiven Leistungsdaten sowie zum Design von Webangeboten, methodische Unzulänglichkeiten, unspezifische Ausrichtung des Kriterienkatalogs).
Inhaltsverzeichnis
1. Einleitung
1.1 Anlass der Arbeit
1.2 Ziel und Vorgehensweise
2. Theoretische Grundlagen
2.1 Software-Ergonomie
2.1.1 Begriffsklärungen
2.1.2 Software-ergonomische Normen nach DIN EN ISO
2.1.3 Definition von Usability
2.1.4 Grundsätze der Dialoggestaltung
2.2 Methoden zur Messung von Usability
2.2.1 Klassifikation der Evaluationsmethoden
2.2.2 Web Usability Index (WUI)
2.2.3 Usability-Test
2.3 Erläuterungen zu der untersuchten Software
2.3.1 Auswahlverfahren
2.3.2 Startseiten der untersuchten Webangebote
3. Eigene Fragestellung
4. Methodisches Vorgehen
4.1 Evaluation mit dem WUI
4.1.1 Gutachter
4.1.2. Durchführung
4.1.3 Geräte
4.2 Usability-Test
4.2.1 Versuchspersonen
4.2.2 Versuchsdurchführung
4.2.3 Versuchsmaterialien
4.2.4 Versuchsgeräte
4.3 Versuchsdesign
5. Verwendete Verfahren der Datenanalyse
5.1 Verfahren zur Bestimmung der Interraterreliabilität des WUI
5.1.1 Wilcoxon-Test
5.1.2 Rangkorrelation nach Spearman (Spearmans rho, rs)
5.2 Testverfahren für den Usability-Test
5.2.1 Einfaktorielle Varianzanalyse mit Messwiederholungen
5.2.2 Friedman-Test
5.3 Verfahren zur Berechnung der Zusammenhänge zwischen WUI und Usability-Test
5.3.1 Rangkorrelation nach Spearman (Spearmans rho, rs)
5.3.2 Produkt-Moment-Korrelation nach Pearson (r)
6. Ergebnisse
6.1 Web Usability Index
6.1.1 Übereinstimmung der beiden Gutachter (Interraterreliabilität)
6.1.2. Auswertung der Evaluation
6.2 Usability-Test
6.2.1 Auswertung der Leistungsmaße
6.2.2 Auswertung der Zufriedenheitsmaße
6.2.3 Auswertung der Ranglisten der Webangebote
6.2.4 Zusammenfassung der Ergebnisse
6.3 Zusammenhänge zwischen WUI und Usability-Test
7. Diskussion
7.1 Kritische Reflexion des Untersuchungsansatzes
7.1.1 Mögliche Einflussfaktoren auf die Ergebnisse des Usability-Tests
7.1.2 Expertenorientierte versus nutzerorientierte Methode
7.2. Interpretation der Ergebnisse
7.2.1 Reliabilität des Web Usability Index
7.2.2 Validität des Web Usability Index
7.2.3 Erklärungen für die ermittelten Zusammenhänge
7.3 Folgerungen aus den Ergebnissen für den WUI
8. Zusammenfassung
Zielsetzung & Themen der Arbeit
Das Hauptziel dieser wissenschaftlichen Hausarbeit ist die Überprüfung der Validität bzw. Gültigkeit des Kriterienkatalogs "Web Usability Index" (WUI) als Instrument zur Evaluation von Webangeboten. Die Forschungsfrage untersucht, ob dieses expertenbasierte Verfahren brauchbare Aussagen liefert, indem es die Ergebnisse des WUI mit den Resultaten eines nutzerorientierten Usability-Tests vergleicht.
- Validierung des Web Usability Index (WUI) durch empirische Vergleichsstudien.
- Anwendung von nutzerorientierten Usability-Tests unter kontrollierten Laborbedingungen.
- Analyse der Korrelationen zwischen objektiven Leistungsdaten und Expertenurteilen.
- Untersuchung der Übereinstimmung zwischen Experten- und Nutzerperspektiven bei der Usability-Bewertung.
- Ableitung von Optimierungspotenzialen für den expertenorientierten Evaluationskriterienkatalog.
Auszug aus dem Buch
1.1 Anlass der Arbeit
Im World Wide Web des Internets bietet eine nahezu unüberschaubare Menge von Dienstleistern den Betreibern von Webangeboten eine Überprüfung ihrer Webpräsenz auf Gebrauchstauglichkeit bzw. Usability an. Eine Abfrage unter dem Stichwort „Web Usability Test“ in der Suchmaschine „Google“ im April 2006 ergab eine Anzahl von 236 Einträgen mit Links zu Unternehmen, die unter Anwendung unterschiedlicher Methoden versprachen, Websites auf Usability-Mängel zu testen und Vorschläge für eine benutzerfreundlichere Gestaltung von Websites zu unterbreiten. Dieser große Markt im deutschsprachigen Raum lässt darauf schließen, dass es einen ebenso großen Bedarf an Kunden gibt, die ein Interesse an der Verbesserung ihrer Webpräsenz zeigen. Tatsächlich ist in den letzten Jahren die Einsicht von Firmen in die Notwendigkeit einer gebrauchstauglichen Aufmachung ihres Webangebots gestiegen. Die zunehmende Konkurrenz auf Grund des exponentiellen Wachstums des Internets eröffnet den Nutzern des Internets mehr Auswahlmöglichkeiten in allen Bereichen. Die Konsequenz ist, dass es den Benutzern von Webangeboten zunehmend leichter fällt, von einer für sie unbefriedigenden Website zu einer anderen Website mit einer ähnlichen Angebotspalette zu wechseln. Damit nimmt gleichzeitig die Bedeutung der benutzerfreundlichen Gestaltung von Webangeboten zu, sodass die Betreiber von Webpräsenzen gezwungen sind, ihre Webseiten an die Bedürfnisse der Nutzer anzupassen.
Eine detailliertere Betrachtung der von diesen Internet-Dienstleistern angewandten Methoden zur Prüfung der Usability zeigt, dass hauptsächlich Checklisten bzw. Kriterienkataloge verwendet werden. Dabei orientieren sich so genannte Experten bei der Usability-Inspektion an Standards oder Richtlinien, die in Checklisten zum Abhaken zusammengefasst werden. Diese auf Grund ihrer schnellen und damit kostengünstigen Anwendbarkeit populärste Form der Evaluation bezieht sich allerdings auf Kriterien, deren Gültigkeit und Zuverlässigkeit nicht hinreichend überprüft worden sind. So setzen beispielsweise einige Dienstleister den Kriterienkatalog Web Usability Index ein, ohne zu wissen, ob dieses Instrument tatsächlich die Usability-Mängel erfasst, die es zu erfassen vorgibt.
Zusammenfassung der Kapitel
1. Einleitung: Dieses Kapitel motiviert die Untersuchung durch den steigenden Bedarf an validen Usability-Instrumenten und definiert das Ziel der Arbeit sowie die methodische Vorgehensweise.
2. Theoretische Grundlagen: Hier werden die Konzepte Software-Ergonomie und Usability in einen wissenschaftlichen Kontext gestellt und die für die Arbeit zentralen Evaluationsmethoden, WUI und Usability-Test, detailliert beschrieben.
3. Eigene Fragestellung: In diesem Abschnitt werden die zentralen Forschungsfragen und die daraus abgeleiteten Hypothesen zur Validität des WUI explizit formuliert.
4. Methodisches Vorgehen: Dieses Kapitel erläutert den konkreten Versuchsaufbau, die Auswahl der Gutachter und Versuchspersonen sowie die eingesetzten Geräte und Materialien.
5. Verwendete Verfahren der Datenanalyse: Hier werden die statistischen Methoden, wie der Wilcoxon-Test, die Varianzanalyse und verschiedene Korrelationsmaße, zur Auswertung der erhobenen Daten begründet.
6. Ergebnisse: Dieser Abschnitt präsentiert die deskriptiven und interferenzstatistischen Ergebnisse der WUI-Evaluation und des Usability-Tests sowie die Überprüfung der Hypothesen.
7. Diskussion: Das Kapitel bietet eine kritische Reflexion des Untersuchungsansatzes, interpretiert die Ergebnisse und leitet Folgerungen für die zukünftige Verbesserung des WUI ab.
8. Zusammenfassung: Abschließend werden die zentralen Erkenntnisse und Schlussfolgerungen der Untersuchung nochmals komprimiert dargestellt.
Schlüsselwörter
Web Usability, Web Usability Index, Software-Ergonomie, Validität, Usability-Test, Dialoggestaltung, DIN EN ISO 9241, Interraterreliabilität, Nutzerorientierung, Expertenurteil, Evaluation, Effektivität, Effizienz, Benutzerzufriedenheit, ISONORM 9241/10.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit beschäftigt sich mit der Validierung des "Web Usability Index" (WUI), einem Instrument zur Bewertung der Benutzerfreundlichkeit von Webseiten durch Experten.
Was sind die zentralen Themenfelder der Untersuchung?
Zentrale Themen sind die Software-Ergonomie, die kriterienbezogene Validität von Testverfahren, die Durchführung von Usability-Tests und der Vergleich zwischen Expertenurteilen und Nutzerverhalten.
Was ist das primäre Ziel oder die Forschungsfrage?
Das primäre Ziel ist es, wissenschaftlich zu prüfen, ob der WUI tatsächlich ein valides Instrument ist, um Usability-Mängel von Websites präzise zu erfassen.
Welche wissenschaftliche Methode wird in der Arbeit verwendet?
Es wurde ein zweifaktorieller Versuchsplan angewandt, der eine Expertenevaluation mit dem WUI mit einem nutzerorientierten Usability-Test kombiniert, um die Ergebnisse mittels statistischer Korrelationen zu validieren.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil umfasst die theoretische Fundierung, die detaillierte Beschreibung des methodischen Vorgehens (Stichprobe, Versuchsdesign), die statistische Auswertung sowie die Ergebnisse und die anschließende kritische Diskussion.
Welche Schlüsselwörter charakterisieren diese wissenschaftliche Arbeit?
Wichtige Begriffe sind Web Usability, WUI, Validität, Usability-Test, Ergonomie, Interraterreliabilität und Benutzerzufriedenheit.
Warum wurden genau fünf psychologische Institute für die Untersuchung gewählt?
Die Auswahl erfolgte aufgrund ihrer strukturellen Vergleichbarkeit, gemessen an der Anzahl der Professuren, um eine solide Basis für eine aussagekräftige Validierungsstudie zu schaffen.
Welche Rolle spielt der Vergleich zwischen Experten und Nutzern?
Der Vergleich verdeutlicht, dass Experten und Nutzer oft komplementäre Aspekte der Usability bewerten; die Arbeit zeigt auf, dass der WUI technische Konventionen stärker gewichtet, während Nutzer eher auf individuelle Erfahrungen und Effizienz bei der Aufgabenlösung fokussieren.
Welche Schlussfolgerung zieht der Autor für den WUI?
Der Autor schließt, dass der WUI zwar ein nützliches Instrument mit mittlerer bis hoher Validität sein kann, aber durch fehlende Gewichtungen und die Einbeziehung von Fragen zu Effektivitäts- und Effizienzkriterien noch signifikant optimiert werden sollte.
- Quote paper
- Andreas Othmer (Author), 2006, Ist der Web Usability Index ein brauchbares Instrument zur Evaluation von Webangeboten?, Munich, GRIN Verlag, https://www.grin.com/document/61980
