Usability Evaluation
Identifizierung von Nutzungsproblemen mittels Eye-
Tracking-Parametern

Diplomarbeit

von Hermann Schmidts

Datum der Abgabe: 20. August 2006
Überarbeitete Version vom 11. Nov. 2007

Dieses Buch widme ich meinem Vater Dr. Walter G. Schmidts.

Zusammenfassung

Dieses Buch liefert einen Beitrag zur Steigerung der Effizienz von Eye-Tracking als Me-thodik für die Usability-Evaluation durch die Entwicklung empirisch validierter Eye-Tracking-Parameter. Die statistische Analyse in dieser Studie wird durch das Mapping von objektiven Performanzdaten (Blickmuster) und subjektiven Nutzerdaten (aus Fragenbögen und Interviews) einer Testgruppe während der Interaktion mit einer Webapplikation reali-siert. Insgesamt werden sechs Blickbewegungsparamter mit vier konkreten Nutzungsprob-lemen verknüpft und auf ihre Indikatorstärke hin überprüft. Die Ergebnisse zeigen, dass Eye-Tracking-Parameter prinzipiell das Potential haben, spezifische, subjektiv erlebte Nut-zungsprobleme zu identifizieren. Für weiterführende Studien stellt dieses Buch eine Über-sicht wichtiger Modelle von Nutzungsproblemen sowie einen Pool aus interpretierten Eye-Tracking-Parametern bereit. Darüber hinaus beschreibt dieses Buch ausführlich die Beson-derheiten der Mensch-Computer-Interaktion, die Bedeutung und Durchführung der Evalu-ation von Usability sowie ein modernes, integratives Usability-Qualitätsmodell und charak-terisiert die Besonderheiten der visuellen Wahrnehmung ebenso wie technische Aspekte der Erfassung von Blickbewegungen.
Schlagwörter: Usability-Evaluation, Eye-Tracking, Nutzungsproblem, Mensch-Computer-Interaktion, Kommunikationspsychologie

Abstract

This book contributes to making eye tracking as a method for usability-evaluation more ef-ficient by developing empirically validated eye-tracking-parameters. The statistical analysis in this study is based on mapping a test group´s subjective user data (via questionaires and interviews) on objective performance data (gaze-patterns) while interacting with a webap-plication. Four specific problems which users face during computer inter¬action are mapped on six eye-tracking-parameters and tested for quality of problem indication. The findings of this study point out that eye-tracking-parameters do ge¬nerally have the potential to indicate specific usage problems. This book also paves the way for future studies by giving both an overview of important models of usage problems and providing a pool of interpreted eye-tracking-parameters. Furthermore, this study provides a detailed description of the features of Human-Computer-Interaction, outlines the importance and procedure of evaluating us-ability and gives insight into a modern quality-model of usability, the features of visual per-ception and current eye-tracking-technology.
Keywords: Usability-Evaluation, Eye-Tracking, Usage Problem, Human-Computer-Interaction, Communication-Psychology

Inhaltsverzeichnis

1. Einleitung 5
1.1 Motivation & Problemstellung 5
1.2 Zielstellung 6
1.3 Inhalt 8
Teil A – Theoretische Grundlagen 9
2. Evaluation der Mensch-Computer-Interaktion 9
2.1 Interaktion zwischen Mensch & Computer (MCI) 9
2.1.1 Menschliche Kommunikation/Interaktion 9
2.1.2 MCI als ergonomische Disziplin 12
2.1.3 Aufgabe-Benutzer-Computer-Relation in der MCI 13
2.2 Usability 15
2.2.1 Begriff und Qualitätsmodell 15
2.2.2 Usability-Evaluation 21
2.2.3 Usability-Engineering 35
3. Nutzungsprobleme in der MCI 42
3.1 Nutzungsprobleme als Handlungsfehler 42
3.2 Nutzungsprobleme als Transformationsprobleme 47
3.3 Nutzungsprobleme als Syntheseprobleme 49
4. Charakteristika von Blickbewegungen 56
4.1 Typen von Augenbewegungen 56
4.2 Registrierung von Augenbewegungen 61
4.3 Blickbewegungen und kognitive Prozesse 63
4.3.1 Visuelle Aufmerksamkeit 63
4.3.2 Blickbewegungen und visuelle Aufmerksamkeit 66
4.3.3 Fixationen/Sakkaden und kognitive Prozesse 67
5. Gaze-Tracking Parameter & Nutzungsprobleme 73
5.1 Parameter-Pool 73
5.2 Gaze-Tracking Parameter zur Identifizierung von Nutzungsproblemen 73
5.2.1 Erwartungsabweichung 73
5.2.2 Nicht-Erkennen 76
5.2.3 Nicht-Verstehen 79
5.2.4 Schlechte Orientierung 79
Teil B – Empirische Bearbeitung 84
6. Methodik 84

7. Messinstrumente 85
7.1 Eye-Tracking-System 85
7.2 Videokonfrontation 86
7.3 Fragebögen 86
8. Datenerhebung 88
8.1 Testsetting 88
8.2 Testapplikation 88
8.3 Testpersonen (Stichprobe) 89
8.4 Vortests 90
8.5 Versuchsablauf 91
8.5.1 Instruktion & Wiederholung 91
8.5.2 Übung zur Kennzeichnung von Nutzungsproblemen 92
8.5.3 Kalibrierung der Technik 92
8.5.4 Aufgabenbearbeitung und Eye-Tracker 93
8.5.5 Videokonfrontation 94
8.5.6 Fragebogen 97
9. Hypothesen 98
10. Ergebnisdarstellung 101
10.1 Problemphase vs. Nicht-Problemphase 101
10.1.1 PA Backtracks 101
10.1.2 PA Suchzeit 103
10.1.3 PA Durchschn. Sakkadenweite 103
10.1.4 PA Wiederkehrende semantische Fixationen 105
10.1.5 PA Pfadlänge 105
10.1.6 PA Übergangshäufigkeiten 107
10.2 Zusammenhangsanalyse 108
10.2.1 PA Backtracks / NP Erwartungsabweichung 108
10.2.2 PA Suchzeit; PA Sakkadenweite / NP Nicht-Erkennen 109
10.2.3 PA Wiederk. semantische Fixationen / NP Nicht-Verstehen 109
10.2.4 PA Blickpfadlänge - Übergangshäufigkeit / NP Schl. Orientierung 109
11. Diskussion 111
11.1 Ergebnisse 111
11.2 Methodische Aspekte 114
11.2.1 Subjektive Daten aus Videokonfrontation 114
11.2.2 Statistische Verfahren 114
12. Schlussbetrachtung 116
13. Glossar 119

14. Abkürzungsverzeichnis 122
15. Abbildungsverzeichnis 123
16. Tabellenverzeichnis 125
17. Literaturverzeichnis 126
18. Anhang 132

1. Einleitung

1.1 Motivation & Problemstellung

Usability steht für eine konsequente Ausrichtung und Anpassung von Softwareprodukten auf die Bedürfnisse, Probleme und Wünsche ihrer Zielanwender. Das Usability-Labor er-möglicht eine Überprüfung der Softwarequalität und bietet einen Einblick in den Praxisfall. In Nutzertests bearbeiten Testanwender prototypische Aufgaben der zu evaluierenden Software. Dabei können durch die Messtechnik im Labor objektive Verhaltensdaten der Testanwender aufgezeichnet, sowie deren subjektive Erfahrungen im Umgang mit der Testsoftware über verschiedene Befragungstechniken (Fragebögen, Interviews etc.) erfasst werden. Das erhobene Datenmaterial dient als Grundlage der Usability-Evaluation zur schrittweisen Optimierung der Software.

Durch den Fortschritt bei Mess- und Informationstechnik verfügen heutzutage immer mehr Usability-Labore über die Möglichkeit, eine große Menge objektiver Daten unterschiedlichen Typs aus Nutzertests zu erfassen. Mit einer entsprechenden Laborausstattung können z.B. Blickbewegungen, Klickverhalten, Mausverhalten, Tastaturevents und psycho-physiologische Daten einer Nutzergruppe aufgezeichnet werden. Damit kann das Nutzerverhalten während eines Tests objektiviert werden, d.h. dieses kann direkt, ohne die Gefahr subjektiver Verzerrungen aufgezeichnet werden (Schiessl, Duda et al., 2003).

Die Laborpraxis zeigt jedoch, dass der Fülle objektiver Nutzerdaten eine verhältnismäßig kleine Menge an Interpretationsansätzen zur Auswertung gegenüber steht (Dzida 2004, zitiert nach Riebeck, 2006; S. 108). Einem Großteil der Daten fehlt es so an Bedeutungsgehalt und kann nicht effektiv für die Usability-Evaluation genutzt werden. Denn: Neben der aktuellen Gebrauchsqualität eines Produktes ist der Auftraggeber einer Usability-Evaluation meist noch stärker an konkreten Optimierungsmöglichkeiten interessiert. Schließlich soll eine Verbesserung der Usability die Kundenzufriedenheit und damit den Absatz des Produktes entscheidend verstärken. Demzufolge muss eine Software-Evaluation über die reine Datenbeschreibung, auf welche man beim Fehlen geeigneter Interpretationsansätze beschränkt wäre, hinausgehen, um konkrete Optimierungsmöglichkeiten eines Testsystems aufzuzeigen. Der Mangel fehlender Auswertungsstandards wiegt umso schwerer, wenn man in Betracht zieht, welch hoher Aufwand an Technik betrieben und wie viel Laborzeit investiert wird, um relativ wenige Usability-Probleme aus dem gewonnenen Datenmaterial zu extrahieren. In der Verwertung und Analyse von Messergebnissen scheint daher noch viel Potential zu liegen.

Diesen Mangel objektiver Messdaten zur Nutzung für die Usability-Evaluation bestätigt auch die Laborpraxis im Fraunhofer-Institut für Graphische Datenverarbeitung in Rostock (IGD-R). Das RealEYES-Testsystem, welches seit Ende der 90er Jahre am Fraunhofer IGD-R aufgebaut wird, ermöglicht insbesondere die Analyse objektiver Daten im Usability-Test. Das RealEYES-Testsystem ist Teil eines Konzeptes zur computerunterstützten Usa-

bility-Evaluation im Rahmen eines nutzerzentrierten Software-Entwicklungsprozesses. Das System stellt Werkzeuge zur Erhebung, Verarbeitung und Präsentation verschiedener Interaktionsdaten zur Verfügung (Oertel & Schultz, 2003). Damit können Resultate subjekti-ver Daten sinnvoll ergänzt und verifiziert werden. Testeraussagen können z.B. konkret überprüft und Indikatoren für bestimmte Usability-Probleme gefunden werden. So leistet das RealEYES-Testsystem auch einen wichtigen Beitrag zur Teil-Automatisierung von Evaluierungsprozessen. Wie die Systembezeichnung nahe legt, ist eine Hauptfunktion des RealEYES-Testsystems die Erfassung und Auswertung von Blickbewegungsdaten (Oertel & Schultz, 2003).

Blickbewegungsdaten scheinen generell geeignet zu sein, um das Interaktionverhalten eines Nutzers abzubilden. Nach Rötting (2001; S. 2) sind Augen– und Blickbewegungen Zeugen der menschlichen Aktivität; dies sowohl auf bewusster Ebene (bewusst regulierte Handlungen) sowie auf unbewusster Ebene (sensumotorische Automatismen). Für eine effiziente Nutzung dieser Verhaltensmuster zur Bestimmung der Gebrauchsqualität muss jedoch herausgefunden werden, wie das Datenmaterial mit Nutzungsproblemen, die der Nutzer während der Interaktion mit dem System erfährt (z.B. Verständnisprobleme bzgl. der Bedienelemente oder schlechte Orientierung), in Verbindung gebracht werden kann. Daraus können Interpretationsansätze abgeleitet werden, die es ermöglichen, konkrete Nutzungsprobleme mittels Blickbewegungsdaten zu identifizieren, Hinweise für deren Ursache zu erhalten und entsprechende Lösungsansätze zu entwickeln.

1.2 Zielstellung

Seit Anfang der 90er Jahre ist eine verstärkte Publikation – vor allem aus dem englischsprachigen Raum - von Eye-Tracking-Studien festzustellen, die sich auf die Suche nach aussagekräftigen Blickbewegungsparametern konzentrieren, die zur Überprüfung der Usability einer Software eingesetzt werden können (z.B. Yamamoto & Kuto, 1992; Goldberg & Kotval, 1998; 1999; Crowe & Narayanan, 2000; Cowen, 2001; Goldberg, Stimson et al., 2002). Einen wichtigen Baustein zum praktischen Einsatz der Blickbewegungsregistrierung liefert besonders Rötting (2001), indem er in Form einer ausführlichen Systematik eine Vielzahl von Eye-Tracking-Parameter definiert, operationalisiert sowie deren üblichen Wertebereiche angibt.

Beim Großteil der Studien zum Einsatz von Blickbewegungen für die Usability-Evaluation ist allerdings eines sehr auffällig: Es werden keine Aussagen über den Zusammenhang zwischen den in den Blickdaten zu findenden Interaktionsmustern und der subjektiv (durch die Nutzer selbst) erlebten Gebrauchsqualität getroffen. Diese Tatsache erscheint ein geeigneter Angriffspunkt dieser Arbeit zu sein, ausgehend von folgenden Überlegungen:

Usability als ergonomisches Konzept betont das Ziel, Computersysteme den menschlichen Fähigkeiten, Schwächen und Bedürfnissen einer bestimmten Nutzergruppe anzupassen (Bräutigam, 1998). Aus dieser Perspektive kann Usability als subjektives Qualitätsmaß begriffen werden. So sei die Zufriedenstellung der Benutzer letztlich darüber entscheidend, ob

die Abweichung von einem spezifischen Usability-Kriterium (z.B. die ISO-Norm 9241-12 zur ergonomischen Darstellung von Informationen, siehe Abschnitt 2.2) innerhalb eines zu evaluierenden Systems als Usability-Problem zu werten ist oder nicht (DATech, 2004; S. 18). Über eine direkte Befragung von Nutzern lassen sich hauptsächlich Schlussfolgerungen über die Akzeptanz des Systems, den Grad der Zufriedenstellung und Problembereiche der Schnittstelle ziehen (Oppermann, 1988). Aus diesem Grund erscheint es zunächst sinnvoll, zur Identifizierung von Usability-Problemen die subjektiven Erfahrungen von Nutzern (subjektive Methoden) gegenüber mittels Messtechnik erfassten Verhaltensdaten zu bevorzugen (objektive Methoden).

Der in der modernen Usability-Forschung eingeschlagene Weg ist allerdings ein anderer. Objektive und subjektive Evaluationsmethoden stehen sich nicht konkurrierend gegenüber, sondern ergänzen sich gegenseitig. Durch diese als Mapping (Kawalek, 2003) bezeichnete Vorgehensweise der Verknüpfung subjektiver und objektiver Nutzerdaten, können die Nachteile beider Datenerhebungsmethoden kompensiert werden. In dieser Hinsicht machen Schweibenz und Thissen (2003) deutlich, dass „(…) zwischen dem, was Testpersonen sagen, und dem, wie sie sich tatsächlich verhalten, ein gravierender Unterschied bestehen kann“ (S. 77).

Diese Beobachtung zeigt, dass es sehr schwer ist, allein von Testeraussagen auf tatsächliche Nutzungsprobleme zu schließen. Das grundsätzliche Problem subjektiver Daten setzt sich aus zwei Teilen zusammen. Zum einen kann ein Teil des Verhaltens, das eine Person während der Interaktion mit einem Computersystem vollzieht, von dieser nicht bewusst verarbeitet und damit nicht verbalisiert werden, was vor allem für Augen- und Blickbewegungen gilt (Rötting, 2001; S. 4). Zum anderen muss immer damit gerechnet werden, dass Testeraussagen Verzerrungseffekte beinhalten. So sind z.B. die Antworten eines Testers von seinen Vermutungen über das Untersuchungsziel geleitet und entsprechen nicht seinen eigentlichen Erfahrungen (Sponsorship-Bias) (Bortz & Döring, 2002).

Im Gegensatz dazu schließen objektive Daten wie Blickbewegungen oder Logfiles (Maus- und Tastaturevents) subjektive Einflüsse aus und bilden das Interaktionsverhalten des Nutzers direkt ab. Der bereits erwähnte Nachteil besteht nun darin, dass der Bedeutungsinhalt der Daten nicht erfasst wird. Dieser gravierende Mangel kann allerdings durch die Kombination mit dazugehörigen subjektiven Daten ausgeglichen werden (Witt, 2001). Schon 1994 forderten Oppermann und Reiterer daher die Kombination software-ergonomischer Evaluierungsmethoden, um ganzheitliche Qualitätsurteile über eine Benutzungsschnittstelle zu erhalten. Diese Forderung motiviert besonders die Verknüpfung von subjektiven und objektiven Daten zur Evaluation einer Benutzungsschnittstelle.

Als Konsequenz der vorausgegangenen Überlegungen ergibt sich für die vorliegende Arbeit die Aufgabe, den Zusammenhang zwischen Eye-Tracking-Daten und subjektiv erlebten Nutzungsproblemen einer Testergruppe zu untersuchen, um auf diesem Weg einen Beitrag zur Validierung von Eye-Tracking-Daten zum effizienteren Einsatz in der Usability-Evaluation zu leisten.

1.3 Inhalt

Die Arbeit untereilt sich in einen Theorieteil A (Kap. 2-5) und einen empirischen Teil B (Kap. 6-11). Im theoretischen Teil werden die wichtigsten wissenschaftlichen Aspekte zur Mensch-Computer-Interaktion, zur Usability-Evaluation, zur Konzeptualisierung von Nutzungsproblemen und zur Anwendung von Eye-Tracking (-Parametern) umfassend erörtert. Diese münden im empirischen Teil in eine statistische Analyse des Zusammenhangs zwischen objektiven Blickbewegungsdaten und subjektiv erlebten Nutzungsproblemen.

Ausgehend von der Charakterisierung menschlicher Kommunikation werden im Kapitel 2 zum einen die Besonderheiten und Beziehungen in der Interaktion zwischen Mensch und Computer dargestellt. Zum anderen soll die Bedeutung und Durchführung von Usability-Evaluationsprozessen für die Softwareentwicklung aufgezeigt werden. Dabei wird im Besonderen ein spezielles Usability-Qualitätsmodell vorgestellt, welches die Grundlage eines modularen Vorgehens zur Überprüfung und Sicherung von Usability bildet. Hier wird auch die Nutzung von Eye-Tracking für die Usability-Evaluation anderen wichtigen Methoden gegenübergestellt. Das dritte Kapitel stellt drei unterschiedliche Konzepte zur Beschreibung von Nutzungsproblemen vor, wovon sich eines speziell auf Eye-Tracking-Parameter bezieht. Kapitel 4 beschreibt die wichtigsten Eigenschaften von Blickbewegungen und der visuellen Wahrnehmung im Hinblick auf deren Nutzen für die Identifizierung von Nutzungsproblemen. Im fünften und letzten Kapitel wird der erstellte Pool an Eye-Tracking-Parametern vorgestellt, woraus ausgewählte Parameter konkreten Nutzungsproblemen zugeordnet werden.

Im Empirie-Teil werden das methodische Vorgehen und die Ergebnisse der statistischen Überprüfung des Zusammenhangs zwischen sechs ausgewählten Parametern und vier konkreten Nutzungsproblemen ausführlich erörtert.

Teil A – Theoretische Grundlagen

2. Evaluation der Mensch-Computer-Interaktion

2.1 Interaktion zwischen Mensch & Computer (MCI)

Die Interaktion zwischen Mensch und Computer kann in erster Linie durch den Austausch von Informationen charakterisiert werden. Auf diesen Informationsaustausch ist ein Computernutzer angewiesen, will er seine intendierten Ziele (bestimmte Aufgaben) im Computersystem erreichen. So werden Mensch und Computer als informationsverarbeitende Systeme betrachtet, die sich aber in grundlegenden Aspekten der Informationsverarbeitung unterscheiden. Die Interaktion zwischen Mensch und Computer wird über eine entsprechende Schnittstelle realisiert, welche unter Berücksichtigung zentraler System-, Aufgaben- und Benutzermerkmale gestaltet ist (User Interface Design) (Cooper & Robert, 2003).

Eine derartige Beschreibung der Mensch-Computer-Interaktion (MCI) referiert vornehmlich auf ihre Funktion zur Unterstützung von zweckbestimmten Arbeitstätigkeiten. Daneben finden sich auch zweckfreie Tätigkeiten wie Computerspiele als weitere Haupt-Kategorie der MCI. Diese Studie konzentriert sich ausschließlich auf erstere Funktion.

2.1.1 Menschliche Kommunikation/Interaktion

Generell gilt die Kommunikation zwischen Menschen als Vorbild und Orientierung für die Mensch-Computer-Interaktion (Hüwel, 2001). Die Erforschung der zwischenmenschlichen Kommunikation¹ stellt eine Reihe unterschiedlicher Kommunikationsmodelle zur Verfügung, welche geeignet sind, zur Charakterisierung der Mensch-Computer-Interaktion beizutragen.

Einer der frühesten Beiträge stammt von Shannon & Weaver (1949). Das Informations-Transformationsmodell stellt den technischen Aspekt der Kommunikation in den Vordergrund und legte auch den Grundstein für die heute geläufige sprachliche Orientierung, bei der Betrachtung kommunikativer Prozesse von Kommunikationskanälen zu sprechen (Ka

^{1 Zwischen und innerhalb verschiedener Fachdisziplinen (Informatik, Psychologie etc.) fällt die Definition von Interaktion und Kommunikation äußerst durchaus gegensätzlich aus. So setzt z.B. der Kommunikationspsychologe Paul Watzlawick mit seinem berühmten Axiom Man kann nicht nicht kommunizieren (2000) Kommunikation und Verhalten gleich. Auf dieser psychologischen Ebene wird Kommunikation demnach seiner Beschränkung auf den Austausch verbaler Codes enthoben. Für diese Arbeit soll allerdings die Mensch-Computer-Interaktion von der Kommunikation zwischen Mensch und Computer abgegrenzt werden. Interaktion meint hier den Informationsaustausch mit einem Computersystem mittels Eingabegeräten (Maus, Tastatur) und einer graphischen Benutzungsoberfläche. Kommunikation meint die Arbeit mit einem Computer über gegenseitige Spracheingabe und Sprachausgabe. Letztere soll nicht Gegenstand dieser Studie sein.}

[...]