Die vorliegende Arbeit befasst sich mit der kriterienbezogenen Validität des Web Usability Index (WUI), einem expertenbasierten Instrument zur Evaluation von Webangeboten. Den Untersuchungsgegenstand bildeten die fünf Websites der psychologischen Institute der Universitäten Düsseldorf, Braunschweig, Koblenz-Landau, Magdeburg und Tübingen.
Ein Gutachter ermittelte zunächst mit dem WUI die Usability-Mängel der fünf Webpräsenzen. Zur Beurteilung der Interraterreliabilität erfolgte zum gleichen Zeitpunkt eine zweite Expertise durch einen weiteren Gutachter. Anschließend wurde an den selben Websites ein Usability-Test mit einer Stichprobe von 30 Versuchspersonen durchgeführt. Die in diesem Test erhobenen Variablen dienten als Außenkriterien zur Bestimmung der Validität des WUI. In Anlehnung an die Usability-Definition der Internationalen Organisation für Normung (ISO) wurden die Effizienz und die Effektivität der Webangebote erfasst sowie die Benutzerzufriedenheit mit den Webangeboten anhand des Benutzerfragebogens ISONORM 9241/10 erhoben. Als Hauptkriterium für die Validierung galt die am Ende des Tests von den Probanden erstellte Rangliste der Webangebote. Zur Erfassung der Validität wurden die Ergebnisse aus dem Usability-Test mit den Evaluationsergebnissen des WUI korreliert.
Alle Zusammenhänge waren entgegen der Hypothesen nicht signifikant. Die Korrelation zwischen der Rangliste des Usability-Tests und des WUI betrug rs = .6. Der höchste Zusammenhang bestand zwischen der Benutzerzufriedenheit und dem WUI mit r = -.660, während zwischen den objektiven Variablen (Effektivität sowie Effizienz) und dem WUI kein Zusammenhang zu erkennen war. Außerdem zeigte sich, dass die objektiven und subjektiven Maße des Usability-Tests nur schwach positiv korrelierten.
Aus den Ergebnissen wird der Schluss gezogen, dass die Validität des WUI im mittleren bis hohen Bereich anzusiedeln ist. Mögliche Validitätseinschränkungen können zum einen auf die Untersuchung bezogen werden (Stichprobenfehler, begrenzte Eignung des verwendeten Außenkriteriums, eingeschränkte Reliabilität der Evaluation mit dem WUI durch den Gutachter), zum anderen in dem Fragenkatalog selbst begründet sein (fehlende Fragen zu objektiven Leistungsdaten sowie zum Design von Webangeboten, methodische Unzulänglichkeiten, unspezifische Ausrichtung des Kriterienkatalogs).
Inhaltsverzeichnis
- 1. Einleitung
- 1.1 Anlass der Arbeit
- 1.2 Ziel und Vorgehensweise
- 2. Theoretische Grundlagen
- 2.1 Software-Ergonomie
- 2.1.1 Definition von Usability
- 2.1.2 Software-ergonomische Normen nach DIN EN ISO
- 2.1.3 Grundsätze der Dialoggestaltung
- 2.1.4 Begriffsklärungen
- 2.2 Methoden zur Messung von Usability
- 2.2.1 Klassifikation der Evaluationsmethoden
- 2.2.2 Web Usability Index (WUI)
- 2.2.3 Usability-Test
- 2.3 Erläuterungen zu der untersuchten Software
- 2.3.1 Auswahlverfahren
- 2.3.2 Startseiten der untersuchten Webangebote
- 3. Eigene Fragestellung
- 4. Methodisches Vorgehen
- 4.1 Evaluation mit dem WUI
- 4.1.1 Gutachter
- 4.1.2 Durchführung
- 4.1.3 Geräte
- 4.2 Usability-Test
- 4.2.1 Versuchspersonen
- 4.2.2 Versuchsdurchführung
- 4.2.3 Versuchsmaterialien
- 4.2.4 Versuchsgeräte
- 4.3 Versuchsdesign
- 5. Verwendete Verfahren der Datenanalyse
- 5.1 Verfahren zur Bestimmung der Interraterreliabilität des WUI
- 5.1.1 Wilcoxon-Test
- 5.2 Testverfahren für den Usability-Test
- 5.2.1 Rangkorrelation nach Spearman (Spearmans rho, rs)
- 5.2.2 Friedman-Test
- 5.3 Verfahren zur Berechnung der Zusammenhänge zwischen WUI und Usability-Test
- 5.3.1 Rangkorrelation nach Spearman (Spearmans rho, r§)
- 5.3.2 Produkt-Moment-Korrelation nach Pearson (r)
- 6. Ergebnisse
- 6.1 Web Usability Index
- 6.1.1 Übereinstimmung der beiden Gutachter (Interraterreliabilität)
- 6.1.2 Auswertung der Evaluation
- 6.2 Usability-Test
- 6.2.1 Auswertung der Leistungsmaße
- 6.2.2 Auswertung der Zufriedenheitsmaße
- 6.2.3 Auswertung der Ranglisten der Webangebote
- 6.2.4 Zusammenfassung der Ergebnisse
- 6.3 Zusammenhänge zwischen WUI und Usability-Test
- 7. Diskussion
- 7.1 Kritische Reflexion des Untersuchungsansatzes
- 7.1.1 Mögliche Einflussfaktoren auf die Ergebnisse des Usability-Tests
- 7.1.2 Expertenorientierte versus nutzerorientierte Methode
- 7.2 Interpretation der Ergebnisse
- 7.2.1 Reliabilität des Web Usability Index
- 7.2.2 Validität des Web Usability Index
- 7.2.3 Erklärungen für die ermittelten Zusammenhänge
- 7.3 Folgerungen aus den Ergebnissen für den WUI
- 8. Zusammenfassung
Zielsetzung und Themenschwerpunkte
Diese Arbeit untersucht die Brauchbarkeit des Web Usability Index (WUI) zur Evaluation von Webangeboten. Ziel ist die Validierung eines expertenzentrierten Kriterienkatalogs durch einen nutzerorientierten Usability-Test. Die Studie vergleicht die Ergebnisse beider Methoden und analysiert deren Übereinstimmung.
- Validierung des Web Usability Index (WUI)
- Vergleich experten- und nutzerzentrierter Evaluationsmethoden
- Analyse der Übereinstimmung zwischen WUI und Usability-Test
- Identifizierung von Einflussfaktoren auf die Usability
- Ableitung von Schlussfolgerungen für die praktische Anwendung des WUI
Zusammenfassung der Kapitel
1. Einleitung: Dieses Kapitel führt in das Thema ein, beschreibt den Anlass der Arbeit und benennt die Zielsetzung sowie die Vorgehensweise der Untersuchung. Es wird die Relevanz der Usability-Evaluation von Webangeboten hervorgehoben und der Forschungsansatz skizziert.
2. Theoretische Grundlagen: Dieses Kapitel legt die theoretischen Grundlagen der Arbeit dar. Es definiert den Begriff der Usability, erläutert software-ergonomische Normen und Prinzipien der Dialoggestaltung. Darüber hinaus werden verschiedene Methoden zur Messung der Usability vorgestellt, insbesondere der Web Usability Index (WUI) und der Usability-Test. Schließlich werden die im Rahmen der Studie untersuchten Webangebote vorgestellt.
3. Eigene Fragestellung: Hier wird die konkrete Forschungsfrage der Arbeit formuliert, die sich auf die Validierung des WUI und den Vergleich mit einem nutzerorientierten Usability-Test konzentriert. Diese Fragestellung leitet direkt zu den methodischen Vorgehensweisen in Kapitel 4 über.
4. Methodisches Vorgehen: Dieses Kapitel beschreibt detailliert die Methodik der durchgeführten Untersuchung. Es erläutert die Durchführung der Evaluation mit dem WUI, inklusive der Auswahl der Gutachter und der verwendeten Geräte. Weiterhin wird der Usability-Test detailliert dargestellt, inklusive der Beschreibung der Versuchspersonen, der Versuchsdurchführung, der verwendeten Materialien und Geräte sowie des Versuchsdesigns. Die angewendeten statistischen Verfahren werden im folgenden Kapitel dargestellt.
5. Verwendete Verfahren der Datenanalyse: In diesem Kapitel werden die statistischen Verfahren zur Datenanalyse vorgestellt, die zur Auswertung der Ergebnisse aus der WUI-Evaluation und dem Usability-Test eingesetzt wurden. Es umfasst Verfahren zur Bestimmung der Interraterreliabilität des WUI sowie Testverfahren für den Usability-Test und zur Berechnung der Zusammenhänge zwischen beiden Methoden.
6. Ergebnisse: Dieses Kapitel präsentiert die Ergebnisse der durchgeführten Untersuchung. Es enthält die Auswertung der Daten sowohl aus der WUI-Evaluation als auch aus dem Usability-Test. Die Ergebnisse der Interraterreliabilität für den WUI werden ebenso präsentiert wie die Ergebnisse der Leistungs- und Zufriedenheitsmaße des Usability-Tests, inklusive der Ranglisten der Webangebote. Schließlich werden die Zusammenhänge zwischen den Ergebnissen beider Methoden dargestellt.
7. Diskussion: In diesem Kapitel werden die Ergebnisse kritisch reflektiert und interpretiert. Es werden mögliche Einflussfaktoren auf die Ergebnisse des Usability-Tests diskutiert, und die Vor- und Nachteile von experten- und nutzerzentrierten Methoden werden gegenübergestellt. Die Reliabilität und Validität des WUI werden im Detail betrachtet, und Schlussfolgerungen für die zukünftige Anwendung des WUI werden abgeleitet.
Schlüsselwörter
Web Usability Index (WUI), Usability-Test, Usability-Evaluation, Software-Ergonomie, Expertenbewertung, Nutzerzentrierung, Validierung, Reliabilität, Validität, Webseiten-Evaluation, Benutzerfreundlichkeit.
Häufig gestellte Fragen (FAQ) zur Arbeit: Validierung des Web Usability Index (WUI)
Was ist das Thema der Arbeit?
Die Arbeit untersucht die Brauchbarkeit des Web Usability Index (WUI) zur Evaluation von Webangeboten. Im Kern geht es um den Vergleich eines expertenzentrierten (WUI) und eines nutzerzentrierten (Usability-Test) Evaluationsverfahrens und die Analyse ihrer Übereinstimmung.
Welche Ziele verfolgt die Arbeit?
Das Hauptziel ist die Validierung des Web Usability Index (WUI) durch einen Vergleich mit den Ergebnissen eines Usability-Tests. Weitere Ziele sind der Vergleich experten- und nutzerzentrierter Methoden, die Analyse der Übereinstimmung zwischen beiden Methoden, die Identifizierung von Einflussfaktoren auf die Usability und die Ableitung von Schlussfolgerungen für die praktische Anwendung des WUI.
Welche Methoden wurden angewendet?
Die Arbeit verwendet zwei Hauptmethoden: Die Evaluation mit dem Web Usability Index (WUI) durch zwei unabhängige Gutachter und einen Usability-Test mit mehreren Versuchspersonen. Die Datenanalyse umfasst die Bestimmung der Interraterreliabilität des WUI (Wilcoxon-Test), die Auswertung der Usability-Testdaten (Spearman-Rangkorrelation, Friedman-Test) und die Analyse der Zusammenhänge zwischen WUI und Usability-Test (Spearman-Rangkorrelation, Pearson-Korrelation).
Welche Daten wurden analysiert?
Analysiert wurden die Ergebnisse der WUI-Evaluation (Bewertung der Webangebote durch zwei Gutachter) und die Daten des Usability-Tests (Leistungsmaße, Zufriedenheitsmaße, Ranglisten der Webangebote der Versuchspersonen). Die Datenanalyse konzentrierte sich auf die Übereinstimmung der Gutachterbewertungen, die Ergebnisse des Usability-Tests und die Korrelation zwischen den Ergebnissen beider Methoden.
Welche Ergebnisse wurden erzielt?
Die Arbeit präsentiert die Ergebnisse der Interraterreliabilität des WUI, die Auswertung der Leistungs- und Zufriedenheitsmaße des Usability-Tests und die Analyse der Zusammenhänge zwischen den Ergebnissen beider Methoden. Konkrete Ergebnisse zu Übereinstimmungen und Diskrepanzen zwischen WUI und Usability-Test werden detailliert dargestellt und diskutiert.
Wie wurden die Ergebnisse interpretiert?
Die Ergebnisse werden kritisch reflektiert, unter Berücksichtigung möglicher Einflussfaktoren auf den Usability-Test. Es wird diskutiert, inwieweit der WUI eine valide und zuverlässige Methode zur Evaluation von Webangeboten darstellt und welche Schlussfolgerungen sich für die praktische Anwendung des WUI ergeben.
Welche Schlüsselwörter beschreiben die Arbeit?
Web Usability Index (WUI), Usability-Test, Usability-Evaluation, Software-Ergonomie, Expertenbewertung, Nutzerzentrierung, Validierung, Reliabilität, Validität, Webseiten-Evaluation, Benutzerfreundlichkeit.
Welche Kapitel beinhaltet die Arbeit?
Die Arbeit gliedert sich in acht Kapitel: Einleitung, Theoretische Grundlagen, Eigene Fragestellung, Methodisches Vorgehen, Verwendete Verfahren der Datenanalyse, Ergebnisse, Diskussion und Zusammenfassung. Jedes Kapitel behandelt einen spezifischen Aspekt der Untersuchung, von der Einführung in das Thema bis zur Schlussfolgerung und Interpretation der Ergebnisse.
- Citar trabajo
- Andreas Othmer (Autor), 2006, Ist der Web Usability Index ein brauchbares Instrument zur Evaluation von Webangeboten?, Múnich, GRIN Verlag, https://www.grin.com/document/61980
