Empirischer Vergleich subjektiver und objektiver Verfahren der Software-Evaluation

Inhaltsverzeichnis

Kapitel 1 Grundlegung und Eingrenzung der Arbeit
1.1 Einleitung
1.2 Aufbau der Arbeit

TEIL A - THEORETISCHE GRUNDLAGEN

Kapitel 2 Software-Ergonomie
2.1 Grundlagen der Software-Ergonomie
2.2 Gebrauchstauglichkeit (Usability)
2.3 Grundsätze der Dialoggestaltung
2.4 Normkonformität
2.5 Zusammenfassung und Ausblick

Kapitel 3 Software-Evaluierung
3.1 Ziele der Evaluierung von Software
3.2 Methoden zur Evaluierung von Benutzungsschnittstellen
3.2.1 Subjektive Methoden
3.2.2 Objektive Methoden
3.2.3 Leitfadenorientierte Methoden
3.2.4 Experimentelle Methoden
3.2.5 Kombination von Methoden
3.3 Benutzbarkeitstest im Usability-Labor
3.3.1 Der Einsatz von Logfiles im Usability-Labor
3.3.2 Mapping von objektiven und subjektiven Daten
3.4 Zusammenfassung

Kapitel 4 Das RealEYES-Testsystem

TEIL B - EMPIRISCHE BEARBEITUNG

Kapitel 5 Methodisches Vorgehen
5.1 Vorüberlegungen zum Forschungsgegenstand
5.2 Beschreibung der Untersuchung
5.2.1 Kurzbeschreibung der Webseite
5.2.2 Beschreibung des Benutzbarkeitstests
5.3 Erhebungsinstrumente im Benutzbarkeitstest
5.3.1 Subjektive Verfahren
5.3.2 Objektive Verfahren
5.4 Konkretisierung des Forschungsziels
5.5 Vorüberlegungen zur Datenanalyse
5.6 Zusammenfassung

Kapitel 6 Ergebnisdarstellung
6.1 Beschreibung der Stichprobe
6.2 Auswertung der Benutzerbefragung
6.3 Auswertung der Benutzerbeobachtung
6.4 Angewandte Verfahren zur Datenexploration
6.5 Mapping von Bearbeitungszeit und subjektiver Bewertung
6.6 Mapping von motorischem Aufwand und subjektiver Bewertung
6.7 Mapping von Anzahl markierter Probleme und subjektiver Bewertung
6.8 Mapping von Bearbeitungserfolg und subjektiver Bewertung .
6.9 Untersuchung der Aufgabentypen
6.10 Zusammenfassung

Kapitel 7 Interpretation der Ergebnisse

Kapitel 8 Diskussion methodischer Aspekte

Kapitel 9 Schlusswort

LITERATURVERZEICHNIS

ANHANG

“Empirical comparison among subjective and objective software evaluation methods”

Diploma Thesis by: Marcel Riebeck

Abstract. The focus of this diploma thesis is on comparing data from logfiles and questionnaires. Analysed data were collected within a usability test of a website supported by the RealEYES-Framework at the Fraunhofer Institute for Computer Graphics Rostock. The goal of this thesis is to find out if recorded objective performance data possibly indicate why users become more or less satisfied using a software product. Methods for mapping of subjective ratings on objective data, fundamental ergonomic requirements in the software engineering process and the data recording process are described. To analyse the relation between objective and subjective information, results of 18 test subjectives were quantitative-explorative evaluated. The findings of this study point out that recorded objective figures are indicators for efficiency and effectiveness of the working process. However, no statistic significant relations between logged data and user satisfaction were found. In conclusion, these findings indicate that the used objective information by itself are not suitable to identify information about user satisfaction. Further development of the RealEYES-Framework (e.g. detailed diagnostics of objective user data and usability problems within logfiles) has to be done to measure the influence of usability problems on user satisfaction.

Danksagung

An dieser Stelle möchte ich ganz herzlich allen danken, die in irgendeiner Form zum Gelingen der vorliegenden Arbeit beigetragen haben.

Herrn Prof. Dr. Kawalek danke ich für die fachliche Unterstützung. Weiterhin danke ich meiner Betreuerin Frau Dr. Karina Oertel am Fraunhofer-Institut für Graphische Datenverarbeitung, Institutsteil Rostock für die kooperative Zusammenarbeit, Unterstützung und Hilfsbereitschaft.

Mein besonderer Dank gilt Herrn Dr. Wolfgang Dzida für seine vielfältigen und konstruktiven Anmerkungen, die zahlreich in die Arbeit eingeflossen sind.

Danken möchte ich auch meiner Familie für die Geduld und soziale Unterstützung in diesem besonderen Lebensabschnitt. Nicht vergessen möchte ich meine Freunde für ihr Verständnis und ihre Ausdauer mit mir.

Abbildungsverzeichnis

Abbildung 1: Mapping von subjektiven und objektiven Daten zur Ermittlung objektiver benutzerorientierter Parameter (Quelle: Seitz et al. 1994, S. 9)

Abbildung 2: Testszene im Labor unter Verwendung des RealEYES- Testsystems

Abbildung 3: Testszene im RealEYES-iAnalyzer

Abbildung 4: Mapping von subjektiven und objektiven Daten

Abbildung 5: Testanwendung „Rostock-Digital“

Abbildung 6: Beispielfrage für den Grundsatz der Fehlertoleranz im Fragebogen ISONORM 9241/10

Abbildung 7: Beispielfrage aus dem WAMMI-Fragebogen

Abbildung 8: Ausschnitt eines Logfiles des RealEYES-Testsystems

Abbildung 9: Ergebnisse der Benutzerbefragung zur Zufriedenstellung

Abbildung 10: Ergebnisse der Benutzerbefragung zum Dialogverhalten der Webseite

Abbildung 11: Anzahl Mausklicks nach Bearbeitungszeitgruppen

Abbildung 12: Zusammenhang zwischen dem motorischen Aufwand und der Bewertung der Lernförderlichkeit, Individualisierbarkeit und Erwartungskonformität der Webseite

Abbildung 13: Gegenüberstellung der Bewertungen von Lernförderlichkeit, Aufgabenangemessenheit und Selbstbeschreibungsfähigkeit der Webseite nach der Problemanzahl

Abbildung 14: Gegenüberstellung der Gesamtanzahl markierter Probleme bei Such- und Formularaufgaben

Tabellenverzeichnis

Tabelle 1: Überblick über die Häufigkeitsverteilung der Mausklicks während der Bearbeitung der Testaufgaben

Tabelle 2: Häufigkeitsverteilung nach Alter der Tester

Tabelle 3: Häufigkeitsverteilung nach Geschlecht der Tester

Tabelle 4: Häufigkeitsverteilung nach Erfahrung im Umgang mit Online- Stadtportalen

Tabelle 5: Ergebnisse der Benutzerbeobachtung

Tabelle 6: Statistik Bearbeitungszeit

Tabelle 7: Bewertung der Fehlertoleranz nach Bearbeitungszeit

Tabelle 8: Gegenüberstellung der gebildeten Teilstichproben nach dem motorischen Aufwand und der Bearbeitungszeit

Tabelle 9: Gegenüberstellung der gebildeten Teilstichproben nach der Anzahl markierter Probleme

Kapitel 1 Grundlegung und Eingrenzung der Arbeit

1.1 Einleitung

Die zunehmende Durchdringung des menschlichen Umfelds mit IT-Technik erfordert nicht mehr nur die Bereitstellung von funktionierenden Systemen im beruflichen Kontext, sondern vielmehr von Systemen, die auch im Bereich der Freizeitgestaltung eine reibungslose Kommunikation zwischen dem Benutzer¹ und dem zur Aufgabenbewältigung vorgesehenen System ermöglichen. Fehler bei der Nutzung des Systems, umständliche Handhabung sowie zusätzlicher, unnötiger Handlungsaufwand behindern den Nutzer bei der Aufgabenbe-wältigung und sollen möglichst in einer frühen Phase der Systementwicklung aufgedeckt werden (vgl. Gediga & Hamborg 2002, S. 1). Notwendige Voraus-setzung zur Problemanalyse und Systemverbesserung ist die Prüfung des Ist-Zustands. Zur Identifikation solcher Probleme bei der Nutzung von Software stellt unter anderem die Psychologie Verfahren zur Verfügung. Ziel des Ein-satzes dieser Verfahren ist nicht nur das Aufzeigen von Nutzungsproblemen, sondern auch die Erklärung von Ursachen. Der Bewertungsprozess von Produkten wird Evaluierung genannt. Das Ergebnis dieses Prozesses wird als Evaluation bezeichnet. Die durch die Evaluierung ermittelten Daten bilden die Grundlage für die Identifikation von Schwachstellen und sind somit eine wichtige Voraussetzung für die Produktoptimierung. Hierbei gewinnen neben der Nutzerbefragung verschiedene Formen der technisch unterstützten Be-obachtung und Aufzeichnungen der Mensch-Maschine-Interaktion (MMI) eine immer größere Bedeutung (vgl. Hamborg & Gediga in Vorb., S. 20).

Durch den Einsatz der genannten Verfahren werden unterschiedliche Typen von Daten gewonnen. Anhand dieser Daten können die verschiedenen Erhe-bungsarten charakterisiert werden (vgl. Oppermann & Reiterer 1994, S. 342ff).

Beobachtungsmethoden werden dabei den objektiven und Befragungs-methoden den subjektiven Verfahren zugeordnet. Mit diesen zwei Methoden zur Evaluierung von Software setzt sich die vorliegende Arbeit auseinander. Der kombinierte Einsatz subjektiver und objektiver Verfahren ist kennzeichnend für Usability- beziehungsweise Benutzbarkeitstests². Der Fokus dieser Arbeit wird deshalb auf die Untersuchung von Testsituationen im Usability-Labor und die dort im Benutzbarkeitstest gewonnenen Daten gerichtet. Den Schwerpunkt bildet der empirische Vergleich von Logfile³ - und Fragebogendaten.

Beurteilungen, die Tester über die Qualität einer Webseite in Fragebögen abgeben, werden als subjektive Daten bezeichnet. Diese Daten sollen mit objektiven, in den Logfiles erfassten, Eigenschaften der Produktnutzung, die unabhängig von den reflektierten Erfahrungen der Testanwender sind, ver-glichen werden. Mit Hilfe der Methode des Mappings (vgl. Kap. 3.3.2) soll versucht werden, die subjektiven Bewertungen der Benutzer auf objektive Sachverhalte zurückzuführen. Ziel der Rückführung ist es, Hinweise darüber zu erhalten, woran es liegt, dass Nutzer mehr oder weniger zufrieden gestellt sind. Der Nutzen einer solchen Rückführung wäre, dass bereits während der Durchführung von Benutzbarkeitstest Aussagen über die Zufriedenstellung (vgl. Kap. 2.2) der Benutzer möglich würden. Zu untersuchen ist, inwieweit die in den Logfiles erhobenen Daten zu diesem Zweck überhaupt beitragen können.

Die Idee zur Untersuchung des Zusammenhangs von subjektiven und objektiven Daten bei der Evaluierung von Software entstand in Zusammenarbeit mit dem Fraunhofer-Institut für Graphische Datenverarbeitung, Institutsteil Rostock (IGD-R). Das Interesse an dieser Fragestellung baut auf vorliegenden Logfile-Daten auf, die im Rahmen einer umfassenden Usability-Evaluierung am Fraunhofer IGD-R erhoben wurden, bei den bisherigen Auswertungen aber wenig Berücksichtigung fanden. Unterstützt wurde die Evaluations-maßnahme durch den Einsatz des RealEYES-Testsystems (Oertel & Hein 2003, Oertel & Schultz 2003) (vgl. Kap. 4). Dieses System gestattet unter anderem die Aufzeichnung von Logfiles während der Bearbeitung einer Arbeitsaufgabe unter kontrollierten Bedingungen im Labor. Die vorhandenen Fragebogen-und Logfile-Daten sollen explorativ-quantitativ untersucht werden, um bislang unberücksichtigte beziehungsweise unentdeckte Muster in den Ergebnissen sichtbar zu machen.

1.2 Aufbau der Arbeit

Diese Arbeit ist in zwei Teile untergliedert: Im ersten Teil (Teil A) werden die theoretischen Grundlagen der vorliegenden Arbeit vorgestellt. Das Thema dieser Arbeit kann in den Bereich der Software-Ergonomie eingeordnet werden. Diese Disziplin soll in Kapitel 2 vorgestellt werden. Anschließend erfolgt die Erläuterung zentraler Begriffe, wobei besonders auf das Konzept der Gebrauchstauglichkeit und Nutzungsprobleme eingegangen wird. Ausgehend von den Prinzipien der Software-Ergonomie werden in Kapitel 3 Ziele und Verfahren zur Bewertung von Software dargestellt. Auf den Einsatz unter-schiedlicher Methoden und deren Kombination im Benutzbarkeitstest wird ebenfalls eingegangen. Aufbauend darauf wird in Kapitel 4 das am Fraunhofer IGD-R entwickelte RealEYES-Testsystem, als Verfahren zur Bewertung von Software, vorgestellt.

Der zweite Teil (Teil B) beschäftigt sich mit der methodischen Vorgehensweise zur Realisierung des Forschungsziels. In Kapitel 5 erfolgt die Beschreibung des methodischen Vorgehens zur empirischen Bearbeitung der Fragestellung. Die in den Logfiles erfassten Informationen werden detailliert dargelegt und die konkreten Fragestellungen zur Datenexploration benannt. Die angewandten Methoden zur Datenauswertung und die Ergebnisdarstellung sind Bestandteil des 6. Kapitels. Im 7. Kapitel werden die erzielten Ergebnisse interpretiert und mögliche Implikationen der gewonnenen Erkenntnisse für die Praxis erörtert. Die kritische Darstellung methodischer Schwächen der Arbeit und die Diskussion von Grenzen, an welche die Arbeit methodisch oder inhaltlich stößt, erfolgt im 8. Kapitel. Das Schlusswort im letzten Kapitel beendet diese Arbeit.

Teil A - Theoretische Grundlagen

Kapitel 2 Software-Ergonomie

Im folgenden Kapitel wird zu Beginn grundlegendes Begriffsmaterial der Software-Ergonomie erläutert. Es wird der Begriff Gebrauchstauglichkeit beziehungsweise Usability zur Beschreibung der Benutzungsfreundlichkeit von Softwareprodukten und Webanwendungen eingeführt. Anschließend werden Usability-Probleme in Einarbeitungs- und Nutzungsprobleme unterteilt. Anhaltspunkte für das Erkennen und Bewerten von Usability-Problemen können aus den Grundsätzen der Dialoggestaltung abgeleitet werden und sollen deshalb ebenfalls dargestellt werden. Für die genannten Punkte dienen die relevanten Teile 10 und 11 der internationalen Norm ISO 9241 als Orientierungshilfe.

2.1 Grundlagen der Software-Ergonomie

Bei der Software-Ergonomie handelt es sich um eine anwendungsorientierte, multidisziplinäre Wissenschaftsrichtung, die dem Bereich der Mensch-Computer-Interaktion untergeordnet ist, welcher wiederum dem Gesamtgebiet der Mensch-Maschine-Systeme zugeordnet werden kann (vgl. Dzida & Wandke in Vorb., S. 1). Wesentliche Beiträge zur Entwicklung dieser Disziplin haben die Informatik und die Psychologie geliefert. Den Bezugsrahmen für die Software-Ergonomie bildet das Zusammenwirken von Mensch und Arbeitsmittel Software in der Arbeitswelt mit der Kernfrage, „(…) wie gut sich Software für die Erledi-gung von Arbeitsaufgaben gebrauchen lässt.“ (Dzida & Wandke in Vorb., S. 1). Die Software-Ergonomie ist demnach eine Disziplin, die sich mit der menschengerechten Gestaltung von Benutzungsschnittstellen⁴ befasst. Zur Orientierung im Bereich der Software-Ergonomie ist die Kenntnis der ein-schlägigen Normen notwendig. Von zentraler Bedeutung für diese Arbeit ist die internationale Norm ISO 9241, in welcher die ergonomischen Anforderungen für Bürotätigkeiten mit Bildschirmgeräten dargelegt werden. Für die Software-gestaltung sind die Teile 10 und 11 der ISO 9241, in denen die Grundsätze der Dialoggestaltung und die Anforderungen an die Gebrauchstauglichkeit dargestellt werden, besonders von Interesse. Der Geltungsbereich der ISO 9241-11 be-schränkt sich nicht nur auf Bürotätigkeiten mit Bildschirmgeräten. Die Norm kann auch für Situationen angewendet werden „(…) in denen Benutzer mit einem Produkt arbeiten, um ein Ziel zu erreichen.“ (ISO 9241-11 1998, S. 4). Folglich können die in Teil 11 der ISO 9241 formulierten Anforderungen auch als Grundlage zur Evaluierung von Webanwendungen herangezogen werden. Für die Verwendung der ISO 9241-10 in der Praxis gilt, dass die dort ver-ankerten Grundsätze der Dialoggestaltung ebenfalls bei der Evaluierung von Webseiten berücksichtigt werden. Die Autoren Dzida und Wandke (in Vorb.) stimmen zusammenfassend damit überein, wenn Sie feststellen, dass „(…) sich die Prinzipien und Methoden der Software-Ergonomie weitgehend (auf die Web-Usability) übertragen lassen.“ (S. 28).

2.2 Gebrauchstauglichkeit (Usability)

Der Begriff der Gebrauchstauglichkeit ist Gegenstand des Teils 11 der ISO 9241 und wird dort als „das Ausmaß, in dem ein Produkt durch bestimmte Benutzer in einem bestimmten Nutzungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufrieden stellend zu erreichen.“ (ISO 9241-11 1998, S. 4) definiert. Mit Hilfe dieser Definition lässt sich die Qualität von Software aus der Sicht des Benutzers in Abhängigkeit von dem Anwen-dungsbereich beschreiben. International hat sich für Gebrauchstauglichkeit der englische Begriff Usability durchgesetzt. Usability ist neben der Nützlichkeit (Utility), Funktionalität (Functionality) und Zugänglichkeit (Accessibility) eine Produkteigenschaft (vgl. Schweibenz & Thissen 2003, S. 45).

In Anlehnung an die Definition von Gebrauchstauglichkeit werden in Teil 11 der europäischen Norm ISO 9241 (1998) die Subkonstrukte Effektivität, Effizienz und Zufriedenstellung folgendermaßen erklärt:

- Effektivität als „die Genauigkeit und Vollständigkeit, mit der Benutzer ein bestimmtes Ziel erreichen.“ (S. 4),
- Effizienz ist „der im Verhältnis zur Genauigkeit und Vollständigkeit eingesetzte Aufwand, mit dem Benutzer ein bestimmtes Ziel erreichen.“ (ebd.) und
- Zufriedenstellung wird definiert als die „Freiheit von Beeinträchtigungen und positive Einstellungen gegenüber der Nutzung des Produkts.“ (ebd.).

Ist die Effizienz der Aufgabenbearbeitung geschmälert, so kann dies auf eine Barriere bei der Nutzung der Software zurückzuführen sein. Dieser Zustand wird als Nutzungsproblem umschrieben, insofern dieses nicht auf ein Einarbeitungs-problem rückzuführen ist (vgl. DATech 2002, S. 29). Ein Einarbeitungsproblem ist eine „(…) bei der anfänglichen Nutzung des Softwareprodukts festgestellte Barriere, die eine effiziente Erledigung der Arbeitsaufgabe unnötig erschwert, aber bei regelmäßiger Nutzung beeinträchtigungsfrei umgangen wird.“ (DATech 2002, S. 27). Der letztgenannte Aspekt scheint besonders relevant für die Gestaltung von Webseiten zu sein. Die Autoren Schweibenz und Thissen (2003) bemerken dazu, dass „(…) die Bereitschaft, einen großen Aufwand zur Nutzung (von Webseiten) zu treiben wesentlich geringer (ist).“ (S. 63) als bei der Einarbeitung in eine gekaufte Software. Üblicherweise zeigen Benutzer die Bereitschaft sich auch mit hohem Aufwand in ein Softwareprodukt einzuarbeiten und so Probleme der Erstnutzung zu umgehen. Nutzer von Webangeboten sind aber wesentlich ungeduldiger (vgl. Schweibenz & Thissen 2003, S. 63) und werden schon beim Auftreten von Einarbeitungsproblemen eine geminderte Gebrauchstauglichkeit bemängeln und unter Umständen von einer weiteren Nutzung der Webseite absehen, da Alternativen nur wenige Mausklicks entfernt sind. Bei der Anwendung des Konzepts der Gebrauchstauglichkeit für Webseiten gilt es außerdem zu bedenken, dass eine Vielzahl von Unternehmen ausschließlich das Internet nutzt. Dies hat zur Folge, dass die Gestaltungsanforderungen dieser kommerziellen Webseiten deutlich über das Konzept Gebrauchstauglichkeit hinausgehen und andere Gesichtspunkte wie zum Beispiel Kundenbindung, Marketing und Werbung berücksichtigt werden müssen. Bei der Gestaltung dieser Aspekte kommt es unter anderem darauf an, das Interesse des Benutzers zu gewinnen und ihn dazu zu bringen, dass er möglichst lange auf der Webseite bleibt, sie nicht so schnell wieder verlässt und oft wiederkommt (vgl. Dzida & Wandke in Vorb., S. 29). Diese ebenso psychologisch relevanten Gestaltungs-fragen können mit den Gestaltungszielen Effektivität und Effizienz in Konflikt stehen und gehen unter Umständen über die Zufriedenstellung der Benutzer hinaus.

Um Aussagen über den Grad der Gebrauchstauglichkeit vornehmen zu können, ist es notwendig die Effektivität, Effizienz und Zufriedenstellung der mit dem Produkt arbeitenden Benutzer zu prüfen (vgl. ISO 9241-11 1998, S. 5). In den folgenden Abschnitten sollen deshalb Grundlagen zur Prüfung der Gebrauchstauglichkeit aufgezeigt werden.

Arten zur Prüfung der Gebrauchstauglichkeit

Zur Evaluierung der Gebrauchstauglichkeit ist es notwendig, die Interaktion von Benutzern während der Arbeit mit dem Produkt zu untersuchen. Um aussage-kräftige Ergebnisse zu erhalten, müssen Nutzer, Aufgabe und Kontext der Produktnutzung für die wirkliche Anwendungssituation repräsentativ sein (vgl. ISO 9241-11 1998, S. 11). Die gewonnenen Daten sollten möglichst unter-schiedliche Perspektiven hinsichtlich der Gebrauchstauglichkeit erfassen und damit eine ganzheitliche Bewertung des Produkts ermöglichen. Unterschiedliche Informationen ergeben sich aus der Erhebung von objektiven und subjektiven Daten. Außerdem kann die Datengewinnung nach dem Ort der Untersuchung unterschieden werden. Ein Produkt kann entweder in seinem tatsächlichen Nutzungskontext (Felduntersuchung) oder in einer künstlichen Anwendungs-situation im Labor untersucht werden. Da die eben aufgeführten Methoden zur Prüfung der Gebrauchstauglichkeit wichtiger Bestandteil dieser Arbeit sind, werden diese in Kapitel 3 ausführlich dargestellt.

Prüfung der Effektivität, Effizienz und Zufriedenstellung von Produkten Um die Effektivität eines Produkts zu prüfen, müssen die Genauigkeit und Vollständigkeit der Zielerreichung einer Aufgabe ermittelt werden. Dazu ist es unabdingbar, die erfolgreiche Zielerreichung zu definieren. Die Genauigkeit der Zielerreichung kann nach ISO 9241-11 (1998) „(…) als Grad der Überein-stimmung der Qualität des Ergebnisses mit dem festgelegten Kriterium gemessen werden (…)“ (S. 13). Aus der Relation von Effektivität zur Arbeits-(Nutzungs-) zeit lässt sich die Produktivität der Arbeit bestimmen. Indem die erreichte Effektivität mit dem benötigten Aufwand zur Zielerreichung ins Verhältnis gesetzt wird, erfolgt die Prüfung der Effizienz (ISO 9241-11 1998, S. 7).

Mit Hilfe von Beobachtungsdaten können sowohl Aussagen über die Effektivität als auch über die Effizienz gewonnen werden. Zur Evaluierung eignen sich besonders objektive Methoden, wie zum Beispiel die Beobachtung von Benutzern während der Interaktion mit dem System. Die Effizienz lässt sich anhand der benötigten Zeit für die Erledigung einer Aufgabe oder durch die Anzahl abgeschlossener Aufgaben pro Zeiteinheit bestimmen (vgl. ISO 9241-11 1998, S. 11). Als Vollständigkeit eines Ergebnisses lässt sich die Effektivität als Prozentsatz der Erreichung einer quantitativen Zielgröße erheben. Weiterhin lässt sich die Effektivität anhand der Benutzer, die eine Aufgabe erfolgreich abschließen und der durchschnittlichen Genauigkeit der abgeschlossenen Aufgabe ermitteln (vgl. ISO 9241-11 1998, S. 11f). Die Zufriedenstellung ist die subjektive Reaktion der Benutzer auf die Interaktion mit dem Produkt. Subjektive Daten über die Zufriedenstellung lassen sich am schnellsten über Einstellungsfragebögen gewinnen.

2.3 Grundsätze der Dialoggestaltung

Die Grundsätze zur Dialoggestaltung werden in Teil 10 der ISO 9241 behandelt. Dieser Teil der Norm enthält insgesamt sieben Grundsätze, die für die Gestaltung und Bewertung eines Dialogs als wichtig erkannt worden sind:

- Aufgabenangemessenheit
- Selbstbeschreibungsfähigkeit
- Steuerbarkeit
- Erwartungskonformität
- Fehlertoleranz
- Individualisierbarkeit
- Lernförderlichkeit

In enger Anlehnung an die genannten Grundsätze der Dialoggestaltung wurde von Prümper und Anft (1993) der Fragebogen ISONORM 9241/10 entwickelt (vgl. S. 148ff). Unter Zuhilfenahme dieses Instruments erfolgt in dieser Arbeit die Erhebung der subjektiven Bewertung des Dialogverhaltens. Die Grundzüge der einzelnen Grundsätze sollen deshalb im Folgenden beschrieben werden.

Aufgabenangemessenheit

„Ein Dialog ist aufgabenangemessen, wenn er den Benutzer unterstützt, seine Arbeitsaufgabe effektiv und effizient zu erledigen.“ (ISO 9241-10 1996, S. 4)

Praktische Anforderungen: Im Dialog werden nur Informationen angezeigt, die mit der Aufgabenerledigung im Zusammenhang stehen. Der Benutzer sollte mit wenig persönlichen Ressourcen (effizient) und so leicht wie möglich (effektiv) alle Arbeitsschritte ausführen, die zur Aufgabenerledigung erforderlich sind. Ziel ist also die Vermeidung unnötiger Arbeitsschritte durch das Dialog-system.

Selbstbeschreibungsfähigkeit

„Ein Dialog ist selbstbeschreibungsfähig, wenn jeder einzelne Dialogschritt durch Rückmeldungen des Dialogsystems unmittelbar verständlich ist oder dem Benutzer auf Anfrage erklärt wird.“ (ISO 9241-10 1996, S. 5)

Praktische Anforderungen: Alle für einen Arbeitsschritt erforderlichen Informationen auf dem Bildschirm sind unmittelbar verständlich oder werden dem Benutzer auf Anfrage erklärt. Ein Dialog gilt als selbstbeschreibungsfähig, wenn ein Benutzer mit Hilfe der Bildschirminformationen die Fragen „Wo bin ich gerade im System?“, „Wie bin ich hierhin gelangt?“ und „Was muss ich tun, um mein Arbeitsziel zu erreichen?“ beantworten kann.

Steuerbarkeit

„Ein Dialog ist steuerbar, wenn der Benutzer in der Lage ist, den Dialogablauf zu starten sowie seine Richtung und Geschwindigkeit zu beeinflussen, bis das Ziel erreicht ist.“ (ISO 9241-10 1996, S. 6)

Praktische Anforderungen: Der Benutzer soll Arbeitsschritte so steuern können, wie es zur Aufgabenbearbeitung notwendig ist sowie die Möglichkeit zur freien Gestaltung des Arbeitsablaufs haben. Dazu gehört auch die Möglichkeit in laufende Prozesse eingreifen zu können (z.B. Abbruch eines Downloads).

Erwartungskonformität

„Ein Dialog ist erwartungskonform, wenn er konsistent ist und den Merkmalen des Benutzers entspricht, z.B. seinen Kenntnissen aus dem Arbeitsgebiet, seiner Ausbildung und seiner Erfahrung sowie den allgemein anerkannten Konventionen.“ (ISO 9241-10 1996, S. 6)

Praktische Anforderungen: Ein Dialog sollte so reagieren wie es der Benutzer erwartet. Durch Vorwissen werden Erwartungen an die Gestaltung und Funktion von Bildschirmelementen geschaffen. Eine erwartungskonforme Dialoggestaltung soll zu einer vertrauten und schnelleren Nutzung des Systems verhelfen und die Aufgabenerfüllung unterstützen.

Fehlertoleranz

„Ein Dialog ist fehlertolerant, wenn das beabsichtigte Arbeitsergebnis trotz erkennbarer fehlerhafter Eingaben entweder mit keinem oder mit minimalem Korrekturaufwand seitens des Benutzers erreicht werden kann.“ (ISO 9241-10 1996, S. 7)

Praktische Anforderungen: Ein System muss so gestaltet sein, dass es dem Nutzer leicht möglich ist, gemachte Fehler zu erkennen und unkompliziert zu beheben. Fehlerhafte Eingaben sollen erklärt werden und so Wiederholungsfehler verringert werden.

Individualisierbarkeit

„Ein Dialog ist individualisierbar, wenn das Dialogsystem Anpassungen an die Erfordernisse der Arbeitsaufgabe sowie an die individuellen Fähigkeiten und Vorlieben des Benutzers zulässt.“ (ISO 9241-10 1996, S. 8)

Praktische Anforderungen: Dem Benutzer sollen zur Anpassung des Dialogsystems an seine individuellen Eigenschaften, Fähigkeiten und Vorlieben verschiedene Einstellungsmöglichkeiten zur Verfügung stehen.

Lernförderlichkeit

„Ein Dialog ist lernförderlich, wenn er den Benutzer beim Erlernen des Dialogsystems unterstützt und anleitet.“ (ISO 9241-10 1996, S. 9)

Praktische Anforderungen: Ein Dialog ist so zu gestalten, dass die Nutzung des Systems leicht durch den Benutzer erlernt werden kann. Demnach sollen Dialogtechniken, die ein Erlernen einfacher machen, zur Verfügung gestellt beziehungsweise Anleitungen gegeben werden, die im direkten Zusammenhang mit der getätigten Aktion stehen.

2.4 Normkonformität

Die in der ISO 9241 Teile 10 und 11 niedergeschriebenen Normen definieren Qualitätsstandards und dienen als Ausgangspunkt für die softwareergonomische Evaluierung von Software. Auf dieser Grundlage wird Normkonformität geprüft. Normkonformität bei der Bewertung von Software heißt Übereinstimmung von geforderten Qualitätsmerkmalen mit tatsächlichen Eigenschaften des Produkts (vgl. Dzida 1994, S. 385).

Zur Prüfung von Software auf Normkonformität mit ISO 9241 Teile 10 und 11 wurde von der Deutschen Akkreditierungsstelle Technik e.V. (DATech) ein Prüfhandbuch herausgegeben (vgl. DATech 2002, S. 4ff). Durch die Anwen-dung der im Prüfhandbuch empfohlenen Verfahren kann die Normkonformität (bzw. Non-Konformität) von Softwareprodukten festgestellt werden. Hierbei kann es vorkommen, dass für ein Produkt keine Abweichungen von der Norm nachweisbar sind. Das getestete Produkt erfüllt demnach sämtliche Normen. Durch den Einsatz von Fragebögen zur Erfassung subjektiver Einschätzungen (z.B. mit dem ISONORM 9241/10) könnte hingegen abgeleitet werden, dass die Benutzer teilweise nicht zufrieden gestellt sind (vgl. Dzida 1994, S. 384f). Aufgrund dieser feststellbaren Gegensätze wäre es wichtig zu wissen, was Benutzern missfällt beziehungsweise welche Nutzungsprobleme vorliegen. Um Aufschluss über diese Widersprüche zu erhalten, wäre es sehr nützlich über objektive Daten zu verfügen (z.B. aus einem Logfile), damit eindeutig gezeigt werden kann, worauf die mangelnde Zufriedenstellung rückführbar ist.

2.5 Zusammenfassung und Ausblick

In enger Anlehnung an ISO 9241 wurden in diesem Kapitel die Begriffe Dialoggestaltung und Gebrauchstauglichkeit erklärt. Eine Unterteilung von Usability-Problemen in Einarbeitungs- und Nutzungsprobleme wurde vor-gestellt. Anhaltspunkte für das Erkennen von Usability-Problemen können aus den Grundsätzen der Dialoggestaltung abgeleitet werden und wurden ebenfalls erläutert. Ebenso wurde eine Einführung in die Methoden zur Prüfung der Gebrauchstauglichkeit gegeben, die im nächsten Kapiteln vertieft werden und damit näher an den Gegenstand der Arbeit führen.

Kapitel 3 Software-Evaluierung

Auf die Wichtigkeit der Messung der Gebrauchstauglichkeit von Software wurde in Kapitel 2.1 kurz hingewiesen. Zu Beginn dieses Kapitels sollen Not-wendigkeit und Ziele der Prüfung von Software vorgestellt werden. Weiterhin sollen die für diese Arbeit relevanten Verfahren beziehungsweise Methoden vorgestellt und der kombinierte Einsatz von Evaluierungsmethoden im Usability-Labor dargestellt werden.

3.1 Ziele der Evaluierung von Software

Der Begriff Evaluation ist ein Anglizismus und bezieht sich allgemein auf das Ergebnis eines Prozesses, der Evaluierung heißt. Das Ziel von Evaluierungs-maßnahmen ist es Planungshilfen zu finden beziehungsweise Entscheidungen zu legitimieren. Im Kontext von Webanwendungen wird der Begriff Evaluation von Preece et al. (1994) „(as) a process through which information about a system is gathered in order to improve the system or to assess a completed interface.” (S. 713) definiert. Demnach ist für die Prüfung von Benutzungsschnittstellen und die Verbesserung von Systemen das Zusammentragen von zahlreichen Informationen wesentlich. Die durch die Evaluierung gewonnenen Daten bilden die Grundlage für die Identifikation von Mängeln und sind somit eine wichtige Voraussetzung für die Produktoptimierung. Die Ziele von Evaluierungs-maßnahmen im Bereich der Software-Ergonomie lassen sich nach Holz auf der Heide (1993) folgendermaßen präzisieren:

1. Alternative Systeme vergleichen: Maßnahmen zur Beantwortung der Frage „ Which is better? “ sollen den direkten Vergleich zwischen Gestaltungs- alternativen ermöglichen und eignen sich als Entscheidungshilfe zur Be- schaffung von Software für bestimmte Anwendungszwecke.
2. Systemeigenschaften bewerten: Die Leitfrage „ How good? “ zielt auf die Bestimmung von gewünschten beziehungsweise geforderten Ausprägungen der Software ab.
3. Systemmängel erfassen: Ziel der Beantwortung der Frage „ Why bad? “ ist die Mängelerkennung durch qualitative Beschreibungen und Lieferung von direkten Hinweisen zur Weiterentwicklung und Problembehebung. (vgl. S. 160f)

Das Vorgehen im Rahmen einer Evaluierung ist von den eben genannten Zielen abhängig. Aufgrund der unterschiedlichen Fragestellungen, die Evaluierungsmaßnahmen beantworten sollen, kommen unterschiedliche Methoden der Informationsgewinnung zum Einsatz. Die unterschiedlichen Methoden sollen deshalb ausführlich im folgenden Abschnitt erläutert werden.

3.2 Methoden zur Evaluierung von Benutzungsschnittstellen

Methoden zur Evaluierung lassen sich nach einer Vielzahl von Kriterien differenzieren. Diese Arbeit orientiert sich an der Unterscheidung von Schweibenz und Thissen (2003) in expertenorientierte und benutzerorientierte Methoden (vgl. S. 75), wobei der Fokus auf benutzerorientierte Methoden gerichtet wird.

Der Vorteil des Einsatzes von Experten zur Produktanalyse ist ihr auf allgemein anerkannten Grundsätzen des Interface-Designs beruhendes Fachwissen (vgl. Schweibenz & Thissen 2003, S. 75ff). Allerdings können sich Experten nicht vollständig in die Lage tatsächlicher Benutzer hineinversetzen und ihr Experten-wissen vollständig ausblenden. Die wichtigere Quelle zur Feststellung von Mängeln eines Produkts sind direkte Rückmeldungen und Einschätzungen von tatsächlichen Benutzern. Diese entscheiden letztendlich ob ein Produkt einfach zu handhaben ist. Zu den wichtigsten Informationsquellen gehören die Befragung und die Beobachtung. Diese Erhebungsarten entsprechen den benut-zerorientierten Methoden und können aufgrund ihrer unterschiedlichen Metho-diken und Aussagen in subjektive und objektive Verfahren unterteilt werden.

Während subjektive Methoden an die Beurteilung durch den Benutzer an-knüpfen, besteht das Ziel objektiver Methoden in der Ausschaltung subjektiver Einflüsse. Für den Evaluator stellen objektive Daten, wie beispielsweise Be-arbeitungszeiten, „harte“ (quantitative) Daten dar, die statistisch abgesichert sind (vgl. Hegner 2003, S. 15). Dagegen liefern subjektive Daten eher „weiche“ Informationen, zum Beispiel: „(…) ob die Benutzung des Systems bequem, angenehm, klar, einsichtig ist (…)“ (Oppermann 1988, S. 328). Nach Hegner (2003) stellen subjektive und objektive Methoden die äußeren Pole eines Kontinuums dar, zwischen denen die leitfadenorientierte (analytische) Evaluie-rung durch Experten und die experimentelle Evaluierung liegen (vgl. S. 18). Untersuchungsgegenstand der vorliegenden Arbeit sind Daten, die durch die Anwendung subjektiver und objektiver Methoden gewonnen werden. Diese sollen deshalb in den folgenden Abschnitten ausführlich dargestellt werden. Zur besseren Einordnung sollen ferner leitfadenorientierte (analytische) Verfahren durch Experten und experimentelle Verfahren kurz erläutert werden.

3.2.1 Subjektive Methoden

Die Bewertung der Benutzungsschnittstelle durch den Benutzer steht im Vordergrund subjektiver Methoden. Zur Erfassung von Benutzerurteilen über ein System wird bevorzugt die Methode der Befragung eingesetzt. Befragungen können als Interview oder per Fragebogen erfolgen. Die Beantwortung der Fragen erfolgt auf der Basis von Erfahrungen im Umgang mit dem System (vgl. Oppermann 1988, S. 328). Eine weitere subjektive Methode ist die des „Lauten Denkens“. Dabei artikulieren Benutzer während der Ausführung einer Aufgabe Gedanken, Handlungen und Probleme (vgl. ebd.). Zusammenfassend ermöglichen subjektive Methoden Aussagen über die Akzeptanz des Systems und Problembereiche der Schnittstelle aus der Sicht potentieller Nutzer.

Vor- und Nachteile

Der Aufwand zur Anwendung subjektiver Methoden ist relativ gering. Ein erheblicher Arbeitsaufwand kann im Zuge der Datenauswertung entstehen, wenn gestellte Fragen eine offene Beantwortung zulassen (vgl. Hegner 2003, S. 18). Bei der Gestaltung von Fragebögen oder Interviews ist darauf zu achten, dass lange und schwierige Fragen Antworttendenzen zur Mittelkategorie beziehungsweise gar keine Antworten generieren und dass durch die Art der Fragestellung Antworten und Bewertungen der Benutzer nicht manipuliert werden (vgl. Oppermann 1988, S. 328). Durch die Art der Fragestellungen können Produkte bereits im Vorfeld der Untersuchung gegenüber Kritik immuni-siert werden und bestimmte Antworttendenzen gefördert werden.

Bei Befragungen werden eher „weiche“ (qualitative) Daten gewonnen, aus denen sich Schlussfolgerungen über die Akzeptanz des Systems, den Grad der Zufriedenstellung und Problembereiche der Schnittstelle ziehen lassen. Aussagen über die schnelle und fehlerfreie Aufgabenbearbeitung sind harten Daten vorbehalten (vgl. ebd.).

3.2.2 Objektive Methoden

Kennzeichen objektiver Methoden ist der Versuch, subjektive Einflüsse weit-gehend auszuschalten. Ziel ist die „(…) Beobachtung der tatsächlichen Benutzung der Anwendung.“ (Hegner 2003, S. 16) und die Ermittlung so genannter harter Daten wie Aufgabenbearbeitungszeiten und Fehlerzahlen unter Ausschluss von Beurteilungsfehlern. Ohne technische Unterstützung erfolgt die Beobachtung mit Hilfe von Beobachtungsprotokollen. Eine wichtige Rolle bei der Evaluierung von Benutzungsschnittstellen spielt die technisch unterstützte Beobachtung. Das System übernimmt dabei die Beobachtung und zeichnet alle Interaktionsschritte und Handlungen des Benutzers an den Eingabegeräten auf. Durch die technisch unterstützte Beobachtung können Beobachtungs- und Beurteilungsfehler minimiert werden.

Die am häufigsten eingesetzte Methode zur technisch unterstützten Auf-zeichnung des Benutzerverhaltens ist das Logfilerecording⁵ (vgl. Oppermann & Reiterer 1994, S. 344). Dabei wird das Verhalten des Benutzers während der Arbeit mit dem Untersuchungsgegenstand aufgezeichnet. Die Aufzeichnungen können wissentlich oder versteckt angefertigt werden. Logfile-Aufzeichnungen sind auf die Eingabemedien (in der Regel: Maus und Tastatur) beschränkt. Nachfragen beim Testleiter, Gedanken und Überlegungen, die zu bestimmten Handlungen geführt haben sowie Mimik und Gestik werden beim Logfile-recording nicht aufgezeichnet. Die Arbeit ist kommentarlos. Gute und schlechte Systemeigenschaften und -komponenten können bisher allein durch Logfile-Daten nicht erkannt werden. Dieser Nachteil kann durch den ergänzenden Ein-satz von Fragebögen und Videoaufzeichnungen ausgeglichen werden. Zur Auswertung ist es wichtig, dass die Videoaufzeichnungen jeder Aktion im Logfile synchron zugeordnet werden können.

Vor- und Nachteile

Wesentlicher Vorteil objektiver Evaluationsmethoden ist die Möglichkeit, nicht verbalisierbare Operationen des Benutzers zu erfassen (vgl. Oppermann & Reiterer 1994, S. 344) und bei der Weiterentwicklung des Systems zu berück-sichtigen. Der Ausschluss subjektiver Einflüsse auf die Beurteilung ist wichtig zur Generalisierung von Ergebnissen. Ein erheblicher Nachteil ist die aufwändige Durchführung und die Beschränkung auf Laboruntersuchungen. Die fehlende Erfassung des Bedeutungsgehaltes der Daten ist ebenfalls ein Nachteil (vgl. Witt 2001, Abs. 2), welcher aber durch die Kombination von Methoden ausge-glichen werden kann. Dennoch bietet die Registrierung leistungsorientierter Maßzahlen wie Fehleranzahl, Zeitangaben und Fehlerwiederholung den Vorteil objektiv messbar, zählbar und damit quantitativ auswertbar zu sein (vgl. Schweibenz & Thissen 2003, S. 83).

3.2.3 Leitfadenorientierte Methoden

Als Zwischenstufe zwischen subjektiven und objektiven Arten der Daten-erhebung können leitfadenorientierte Methoden bezeichnet werden. Die am häufigsten eingesetzte Methode ist die Überprüfung des Systems durch Experten. Die Produktanalyse der Experten ist eine subjektive, aber auf allgemein an-erkannten Grundsätzen des Interface-Designs, und auf Erfahrungswissen basierende Einschätzung (vgl. Schweibenz & Thissen 2003, S. 82). Die subjektive Einschätzung wird durch Bewertungsskalen oder Punktvergaben gemessen. Zur Objektivität der Testergebnisse tragen die eindeutigen Testvorschriften bei. Werden den Evaluatoren die Prüfkriterien und einzusetzenden Methoden vorgege-ben, so sprechen Oppermann und Reiterer (1994) von einem methodengeleiteten Expertenurteil (vgl. S. 345). Ein Beispiel dafür ist das EVADIS II-Prüfverfahren (Oppermann, R., Murchner, B., Reiterer, H. & Koch, M. 1992).

Vor- und Nachteile

Ein großer Vorteil leitfadenorientierter Methoden ist die Verbindung von subjektiven und objektiven Evaluationsmethoden. Nachteilig ist die fehlende Berücksichtigung realer Benutzer der Anwendung, da diese unter Umständen auf andere Nutzungsprobleme stoßen als die Experten, denn Experten und Benutzer gehören verschiedenen Nutzungskontexten an. Dieser Nachteil kann sich bereits bei der Auswahl der Bewertungs-Items eines Leitfadens bemerkbar machen, weil nicht validiert wurde, ob und inwieweit die Items für den Nutzungs-kontext des zu evaluierenden Produkts überhaupt relevant sind (W. Dzida, persönl. Mitteilung, 16.09.2004).

3.2.4 Experimentelle Methoden

Zur Überprüfung von Hypothesen und zum Vergleich verschiedener Systeme werden experimentelle Methoden eingesetzt. Die Problematik experimenteller Methoden liegt in der Überprüfung des Einflusses der einzelnen Variablen. Aus der Vielzahl von abhängigen und unabhängigen Variablen lassen sich nur wenige in Experimenten berücksichtigen. Die Verallgemeinerbarkeit von Untersuchungsergebnissen ist daher nicht klar (vgl. Hegner 2003, S. 20f). Bei experimentellen Untersuchungen spielen Benchmark Tests eine große Rolle. Hier werden Systeme anhand von standardisierten Aufgaben miteinander verglichen.

Vor- und Nachteile

Bei gründlicher Durchführung experimenteller Evaluationsverfahren sind Schlüsse über die Art der Mensch-Rechner-Interaktion und eine Bereicherung wissenschaftlicher Theorien im Bereich der MMI möglich (vgl. Oppermann & Reiterer 1994, S. 346). Problematisch sind die Bestimmung der abhängigen und unabhängigen Variablen und die Wahl der Untersuchungsumgebung. Durch die Vielzahl möglicher Kombinationen von Einflussfaktoren muss der Untersuchungsgegenstand frühzeitig eingegrenzt und eventuell eine Merkmals-beschränkung hingenommen werden (vgl. Oppermann & Reiterer 1994, S. 346). Ein weiterer Nachteil ist die Bestimmung so genannter standardisierter Aufgaben, denn es muss validiert werden, ob und inwieweit diese Aufgaben relevant und kritisch sind und mit den tatsächlichen Aufgaben des Nutzungskontexts über-einstimmen.

3.2.5 Kombination von Methoden

In den vorhergehenden Abschnitten wurde die Notwendigkeit der Kombination verschiedener Evaluationsmethoden bereits erwähnt. Die Autoren Schweibenz und Thissen (2003) weisen auf die Beachtung des gravierenden Unterschiedes „(…) zwischen dem, was Testpersonen sagen, und dem, wie sie sich tatsächlich verhalten.“ (S. 77) hin. Aussagen der Tester können stark von tatsächlichen Handlungen abweichen. Hieraus ergibt sich die Schwierigkeit, allein auf der Basis von Befragungsdaten auf tatsächliche Nutzungsprobleme schließen zu wollen. Aufgrund der Unzuverlässigkeit von Benutzeraussagen besteht die Notwendigkeit auf objektive Parameter zurückzugreifen. Oppermann und Reiterer (1994) empfehlen deshalb die Kombination software-ergonomischer Evaluierungsmethoden, um zu ganzheitlichen Aussagen bezüglich der Qualität der Benutzungsschnittstelle zu gelangen (vgl. S. 347).

Die Kombination von verhaltens- und befragungsbasierten Methoden ist besonders gebräuchlich bei so genannten Usability- beziehungsweise Benutz-barkeitstests (vgl. Hamborg & Gediga in Vorb., S. 17). Die Durchführung solcher Tests erfolgt nach Hamborg und Gediga (in Vorb.) zumeist im Labor des Herstellers oder in einem Usability-Labor eines externen Dienstleisters (vgl. S. 17) und simuliert unter quasi-experimenteller Kontrolle den Praxisfall. Ziel ist die Identifikation von Mängeln einer Software.

3.3 Benutzbarkeitstest im Usability-Labor

Beim Benutzbarkeitstest im Usability-Labor bearbeiten repräsentative Benutzer für das zu testende Produkt typische Aufgaben. Während der Aufgabenbearbeitung wird das individuelle Verhalten der Tester im Umgang mit dem Produkt beobachtet. Nach Beendigung des Tests werden die Tester bezüglich Ihrer Eindrücke zum Produkt befragt. Dies kann mit Hilfe eines Interviews oder durch einen Fragebogen⁶ geschehen.

Die Verhaltensbeobachtung während des Tests kann durch einen teilnehmenden Beobachter oder indirekt (nicht-teilnehmend) mit technischer Unterstützung erfolgen. Bei der indirekten Beobachtung hat die Aufzeichnung von Logfiles im Usability-Test an Bedeutung gewonnen.

3.3.1 Der Einsatz von Logfiles im Usability-Labor

Ein Logfile ist ein automatisch aufgezeichnetes Protokoll von Dialog- und Systemdaten eines Testers, welches während der Aufgabenbearbeitung vom System angefertigt wird. Der Einsatz von automatisierten Evaluierungs-methoden auf dem Gebiet der MMI ist nicht neu und findet seine Wurzeln im „Human Processor“ Modell bei Card, Moran und Newell (1983). Aufgrund der Möglichkeit der automatischen Protokollierung des Benutzerverhaltens erlebt der Einsatz von Logfiles zur Unterstützung der Software-Evaluierung derzeit eine Renaissance (vgl. Hamborg & Gediga in Vorb., S. 20). Ursprünglich wurde beim Einsatz von Logfiles an einen anderen Einsatzbereich als der Auf-zeichnung von Anwenderdaten gedacht. Vordergründig war die Unterstützung der systemseitigen Fehlerdiagnose (K. Polkehn, persönl. Mitteilung, 26.05.2004) zur Erleichterung der Fehlererkennung und Fehlerbehebung (vgl. Janetzko 1999, S. 177). Die Verbreitung und steigende Popularität von Logfiles ging einher mit der Webserverentwicklung⁷ (K. Polkehn, persönl. Mitteilung, 26.05.2004). Heute ist es praktisch jedem Betreiber einer Webseite möglich, über den Webserver Logdateien zu beziehen (vgl. Janetzko 1999, S. 170ff).

Ein wichtiger Beweggrund für den Einsatz von Logfiles im Usability-Test ist der Ausschluss von Beobachtungsfehlern, die durch die Leistungsgrenzen von Beobachtern immer berücksichtigt werden müssen (vgl. Kromrey 2000, S. 324ff). Ein weiterer Grund für das gesteigerte Interesse an Logfiles ist die Möglich-keit, schnell und umfassend objektive Informationen über das Benutzerverhalten während der Arbeit mit einem Produkt zu erfassen und zu analysieren. Durch die automatische Protokollierung von Verhaltensspuren wird allerdings eine erhebliche Masse an Daten gefördert, die eine sehr zeitaufwändige Auswertung (vgl. Frieling & Sonntag 1999, S. 91) oder Automatisierung des Auswertungs-prozesses erfordert.

Eine Antwort auf den Bedarf an computerunterstützten und somit ökonomischen Auswertungsmethoden im Usability-Test stellt das am Fraunhofer IGD-R entwickelte RealEYES-Testsystem dar. In Kapitel 4 dieser Arbeit soll das Testsystem vorgestellt werden.

3.3.2 Mapping von objektiven und subjektiven Daten

Auf die Wichtigkeit der Kombination von Beobachtungs- und Befragungsdaten wurde besonders in Kapitel 3.2.5 hingewiesen. Zur Identifikation von Produkt-mängeln wurde dabei die Nutzung verschiedener Datenquellen empfohlen.

Durch die Anwendung verschiedener Methoden zur Produktevaluierung im Usability-Labor wird sehr umfangreiches Datenmaterial mit verschiedenen Formaten und Inhalten gewonnen. Im Mittelpunkt dieser Arbeit steht die Untersuchung der Beziehung von subjektiven Aussagen und objektiven Gegebenheiten. Das Herstellen einer Beziehung zwischen subjektiven und objektiven Daten wird von Kawalek (2003) als Mapping bezeichnet (vgl. S. 2).

Die Idee des Mappings subjektiver und objektiver Daten basiert auf einem benutzerorientiertem Modell zur Qualitätsbestimmung von Telekommunikations-dienstleistungen von Seitz, Wolf, Voran und Bloomfield (1994) (vgl. Abbildung 1).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Mapping von subjektiven und objektiven Daten zur Ermittlung objektiver benutzerorientierter Parameter (Quelle: Seitz et al. 1994, S. 9)

Dabei werden Audio- und Videodaten durch den Einsatz subjektiver und objektiver Methoden erfasst und einer statistischen Analyse zugeführt. Subjektive Testergebnisse dienen hierbei als Referenzwerte zur Validierung objektiver Prüfergebnisse. Ziel dieser Herangehensweise ist das Auffinden objektiver, messbarer Parameter zur benutzerorientierten Bestimmung von Telekommunikationsdienstleistungen. Der vorgestellte Ansatz scheint für die Untersuchung des Zusammenhangs subjektiver und objektiver Daten geeignet und soll im empirischen Teil der Arbeit angewendet werden.

3.4 Zusammenfassung

Es wurde zu Beginn dieses Kapitels auf die Notwendigkeit und die unter-schiedlichen Ziele der Evaluierung von Software eingegangen. Weiterführend wurden die Begriffe Evaluation und Evaluierung vorgestellt und relevante Verfahren zur Evaluierung von Software dargelegt. Ebenso wurden Gründe zur Kombination von subjektiven und objektiven Verfahren dargestellt und ihr Einsatz im Usability-Labor aufgezeigt. Anschließend wurde die Bedeutung von Logfiles im Benutzbarkeitstest hervorgehoben, auf die Wichtigkeit computer-unterstützter Auswertungsverfahren hingewiesen sowie das Mapping als geeignete Methode zur Kombination von subjektiven und objektiven Daten vorgestellt.

Kapitel 4 Das RealEYES-Testsystem

In diesem Kapitel wird das RealEYES-Testsystem (Oertel & Hein 2003, Oertel & Schultz 2003) als System zur automatisierten Erfassung, Aufbereitung und Wiedergabe von Interaktionsereignissen und Blickbewegungen aus dem Dienstleistungsangebot des Fraunhofer IGD-R vorgestellt.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Testszene im Labor unter Verwendung des RealEYES-Testsystems

Das RealEYES-Testsystem kann als Konzept zur computerunterstützten Usability-Evaluierung im Rahmen benutzerorientierter Entwicklungsprozesse umschrieben werden (vgl. Oertel & Schultz 2003, S. 215ff). Das System stellt notwendige Werkzeuge zur Erhebung, Verarbeitung und Repräsentation verschiedener Interaktionsdaten zur Verfügung. Wobei insbesondere die Erfassung objektiver Daten unterstützt wird. Grundidee für die Entwicklung des RealEYES-Testsystems war die Erfassung und Analyse von Logfile- und Eye Tracking Daten⁸ im Rahmen von Benutzbarkeitstests (vgl. Oertel 2003, S. 73). In Abbil-dung 2 wird eine Testszene unter Verwendung des RealEYES-Testsystems gezeigt. Dabei dient der RealEYES-iRecorder zur synchronen Aufzeichnung interessierender Daten (u.a. Bildschirm, Tastatur, Mikrofon, Blickbewegungen). Als Ergebnis der Datenaufzeichnung steht dem Evaluator eine umfassende, komprimierte Videodatei zur Verfügung. Die Wiedergabe und Aufbereitung der aufgezeichneten Daten erfolgt mit Hilfe des RealEYES-iAnalyzers (vgl. Abbildung 3) auf der Basis eines Bildschirmvideos.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3: Testszene im RealEYES-iAnalyzer

Während des gesamten Testverlaufs erfolgt durch den RealEYES-iRecorder eine interne Aufzeichnung des Bildschirminhalts des Testrechners. Dieses Video des Bildschirminhalts, wie der Tester es während der Arbeit mit der Webseite sah, wird im Hauptfenster des RealEYES-iAnalyzers (A) angezeigt. Über dieses Video können per Menüauswahl (F) verschiedene Visualisierungen der Maus- und Blickbewegungen anzeigt werden (B). Weiterhin stehen dem Evaluator Werkzeuge zur Navigation (C) und Justierung des Bildschirmvideos (G) sowie Aufnahmen vom Gesicht des Testers (D)⁹ und ein ständig aktualisiertes

Diagramm (E)¹⁰ zur Verfügung. Darüber hinaus besteht die Möglichkeit gesprochene Kommentare des Testers verknüpft mit dem Bildschirmvideo abzuspielen. Als Basis zur Visualisierung von Maus-, Tastatur- und Eye Tracking Daten dienen Logfiles, die fortlaufend durch den RealEYES-iRecorder registriert werden. Die im Einzelnen in den Logfiles aufgezeichneten Informationen werden im Methodenteil ausführlich vorgestellt (vgl. Kap. 5.3).

Der Einsatz des RealEYES-iRecorders ermöglicht die Erfassung umfangreicher Daten während des Usability-Tests. Die anschließende Repräsentation zu Auswertungszwecken erfolgt durch den RealEYES-iAnalyzer. Der direkte Ver-gleich von mehreren Datensätzen, genauer gesagt ein Vergleich der Ergebnisse der einzelnen Tester ist bisher mit dem RealEYES-iAnalyzer in automatisierter Form nicht möglich. Nutzungsprobleme bei der Arbeit mit dem System können bislang durch die Inspektion des Bildschirmvideos qualitativ analysiert werden und erfordern einen sehr hohen Zeitaufwand. Wichtige quantitative Aussagen zu Nutzungsproblemen, wie zum Beispiel die Häufigkeit von bestimmten Fehlern bei der Systemnutzung können gegenwärtig nicht vorgenommen werden. Aus den genannten Gründen wird auf die Untersuchung der Logfiles mit Hilfe des RealEYES-iAnalyzers verzichtet. Stattdessen werden die durch den Real-EYES-iRecorder angefertigten Logfiles mit Hilfe gängiger Statistik-Software ausgewertet. Die ausführliche Darstellung der Struktur der Logfiles erfolgt im folgenden Kapitel (vgl. Kap. 5.3.2).

Teil B - Empirische Bearbeitung

Kapitel 5 Methodisches Vorgehen

Im folgenden Kapitel soll das methodische Vorgehen zur Untersuchung des Zusammenhangs subjektiver und objektiver Daten bei der Evaluierung von Software beschrieben werden. Es werden die Durchführung des Benutz-barkeitstests sowie die für diese Arbeit relevanten Erhebungsinstrumente geschildert. Zu Beginn dieses Kapitels sollen das Ziel der empirischen Unter-suchung und die Methodik zur Realisierung des Forschungsvorhabens erörtert werden. Zum Abschluss werden die wegweisenden Fragestellungen für die Datenanalyse benannt.

5.1 Vorüberlegungen zum Forschungsgegenstand

Als Quelle für die vorliegende Untersuchung dienen Daten, die 2002 im Rahmen einer umfassenden Usability-Evaluierung eines Online-Stadtportals für die Stadt Rostock am Fraunhofer IGD-R erhoben wurden. Um ganzheitliche Aussagen bezüglich der Gebrauchstauglichkeit der Webseite treffen zu können, wurde zusätzlich zur Befragung von Experten ein Benutzbarkeitstest durchgeführt. Die technische Unterstützung zur Aufzeichnung von Interaktionsdaten während des Benutzbarkeitstests erfolgte durch das RealEYES-Testsystem (vgl. Kap. 4), welches zu diesem Zweck entwickelt wurde (vgl. Oertel 2003, S. 73ff).

Als Ziel dieser Arbeit wird der Versuch subjektive Bewertungen der Benutzer auf objektive Sachverhalte zurückzuführen formuliert. Der Nutzen einer solchen Rückführung ist, dass man objektive Hinweise erhält, woran es liegt, dass Benutzer mehr oder weniger zufrieden gestellt sind.

Anhand der Fragebogendaten können Aussagen über die Zufriedenstellung der Benutzer vorgenommen werden. Diese subjektiven Einschätzungen sollen auf objektive Logfile-Daten rückgeführt werden. Durch Anwendung der Methode des Mappings (vgl. Kap. 3.3.2) werden Logfile- und Fragebogendaten in Verbindung gebracht Das bedeutet, dass durch den Einsatz des RealEYESTestsystems gewonnene benutzerorientierte subjektive und objektive Daten einer statistischen Analyse zugeführt und anschließend in Beziehung gesetzt werden (vgl. Abbildung 4).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 4: Mapping von subjektiven und objektiven Daten

Die Datenanalyse beschränkt sich im vorliegenden Fall auf die Berücksichtigung quantitativer Daten und die Anwendung quantitativer Auswertungsmethoden. Zuvor muss allerdings geprüft werden, welche Informationen in den Logfiles registriert wurden und welche Schlüsse diese Aufzeichnungen ermöglichen. Der Verzicht auf qualitative Daten wird durch den erheblichen Zeitaufwand für die Betrachtung dieser Daten gerechtfertigt.

Wie schon erwähnt dienen bereits erhobene Daten als Quelle für die geplante Untersuchung des Zusammenhangs subjektiver und objektiver Daten bei der Evaluierung von Software. Die Nutzung und Auswertung vorhandener Daten mit neuen Methoden oder Fragestellungen wird Sekundäranalyse genannt (vgl. Bortz & Döring 1995, S. 346).

[...]

---

¹ Benutzer: „Eine Person oder Personengruppe, die Rechner zur Unterstützung ihrer Aufgabenbearbeitung einsetzt.“ (DATech 2002, S. 26).

² Test zur Erhebung von Daten der Produktnutzung durch Benutzer.

³ Ein Logfile enthält automatische Aufzeichnung von Dialog- und Systemdaten einer Person im Umgang mit dem System.

⁴ Benutzungsschnittstelle: Gesamtheit der Merkmale mittels derer Benutzer auf das System einwirken (z.B. Eingabefelder) sowie Merkmale, in denen sich das Verhalten des Systems gegenüber dem Benutzer äußert (z.B. Fehlermeldungen) (vgl. DATech 2002, S. 26).

⁵ Logfilerecording: Registrieren von Benutzereingaben und Systemmeldungen mit Zeitangaben auf einem Datenträger.

⁶ Fragebögen, die nach Testbeendigung vorgelegt werden, werden auch als PosttestFragebögen bezeichnet.

⁷ Ein Webserver ist ein Programm, welches Dateien zur Verfügung stellt. Diese Dateien sind normalerweise Webseiten oder Bilder.

⁸ Eye Tracking Daten: Daten über die Blickbewegungen des Benutzers

⁹ In Abbildung 3 ist neben dem Gesicht des Testers eine Kinnstütze zur Fixierung der Kopfposition zu erkennen. Diese ist zur Erfassung der Blickbewegungen notwendig.

¹⁰ In Abbildung 3 wird ein Diagramm zur Visualisierung des Abstands zwischen den Koordinaten des Mauszeigers und des Blickpunktes gezeigt.