Danksagung

An dieser Stelle möchte ich ganz herzlich allen danken, die in irgendeiner Form zum Gelingen der vorliegenden Arbeit beigetragen haben.

Herrn Prof. Dr. Kawalek danke ich für die fachliche Unterstützung. Weiterhin danke ich meiner Betreuerin Frau Dr. Karina Oertel am Fraunhofer-Institut für Graphische Datenverarbeitung, Institutsteil Rostock für die kooperative Zusammenarbeit, Unterstützung und Hilfsbereitschaft.

Mein besonderer Dank gilt Herrn Dr. Wolfgang Dzida für seine vielfältigen und konstruktiven Anmerkungen, die zahlreich in die Arbeit eingeflossen sind.

Danken möchte ich auch meiner Familie für die Geduld und soziale Unterstützung in diesem besonderen Lebensabschnitt. Nicht vergessen möchte ich meine Freunde für ihr Verständnis und ihre Ausdauer mit mir.

I

Inhaltsverzeichnis

  Kapitel 1 Grundlegung und Eingrenzung der Arbeit  1

1.1  Einleitung.  1

1.2  Aufbau der Arbeit.  3

  TEIL A - THEORETISCHE GRUNDLAGEN.  4

  Kapitel 2 Software-Ergonomie  4

2.1  Grundlagen der Software-Ergonomie  4

2.2  Gebrauchstauglichkeit (Usability)  5

2.3  Grundsätze der Dialoggestaltung  9

2.4  Normkonformität.  12

2.5  Zusammenfassung und Ausblick.  12

  Kapitel 3 Software-Evaluierung  14

3.1  Ziele der Evaluierung von Software.  14

3.2  Methoden zur Evaluierung von Benutzungsschnittstellen.  15

3.2.1  Subjektive Methoden  16

3.2.2  Objektive Methoden  17

3.2.3  Leitfadenorientierte Methoden  19

3.2.4  Experimentelle Methoden.  19

3.2.5  Kombination von Methoden  20

3.3  Benutzbarkeitstest im Usability-Labor.  21

3.3.1  Der Einsatz von Logfiles im Usability-Labor.  21

3.3.2  Mapping von objektiven und subjektiven Daten  22

3.4  Zusammenfassung  24

  Kapitel 4 Das RealEYES-Testsystem  25

II

  TEIL B - EMPIRISCHE BEARBEITUNG.  28

  Kapitel 5 Methodisches Vorgehen.  28

5.1  Vorüberlegungen zum Forschungsgegenstand  28

5.2  Beschreibung der Untersuchung  30

5.2.1  Kurzbeschreibung der Webseite  30

5.2.2  Beschreibung des Benutzbarkeitstests  31

5.3  Erhebungsinstrumente im Benutzbarkeitstest.  33

5.3.1  Subjektive Verfahren  34

5.3.2  Objektive Verfahren  37

5.4  Konkretisierung des Forschungsziels.  40

5.5  Vorüberlegungen zur Datenanalyse.  41

5.6  Zusammenfassung  43

  Kapitel 6 Ergebnisdarstellung  44

6.1  Beschreibung der Stichprobe.  44

6.2  Auswertung der Benutzerbefragung.  45

6.3  Auswertung der Benutzerbeobachtung  47

6.4  Angewandte Verfahren zur Datenexploration.  48

6.5  Mapping von Bearbeitungszeit und subjektiver Bewertung  49

6.6  Mapping von motorischem Aufwand und subjektiver  

  Bewertung.  52

6.7  Mapping von Anzahl markierter Probleme und subjektiver  

  Bewertung.  55

6.8  Mapping von Bearbeitungserfolg und subjektiver Bewertung  58

6.9  Untersuchung der Aufgabentypen  60

6.10  Zusammenfassung  62

  Kapitel 7 Interpretation der Ergebnisse.  63

  Kapitel 8 Diskussion methodischer Aspekte  68

  Kapitel 9 Schlusswort  71

III

  LITERATURVERZEICHNIS  72

ANHANG 77   

IV

  Abbildungsverzeichnis  

  Abbildung 1: Mapping von subjektiven und objektiven Daten zur Ermittlung  

  objektiver benutzerorientierter Parameter (Quelle: Seitz et al.  

  1994, S. 9)  

  Abbildung 2: Testszene im Labor unter Verwendung des RealEYES-  

  Testsystems.  

  Abbildung 3: Testszene im RealEYES-iAnalyzer  

  Abbildung 4: Mapping von subjektiven und objektiven Daten  

  Abbildung 5: Testanwendung „Rostock-Digital“  

  Abbildung 6: Beispielfrage für den Grundsatz der Fehlertoleranz im  

  Fragebogen ISONORM 9241/10  

  Abbildung 7: Beispielfrage aus dem WAMMI-Fragebogen.  

  Abbildung 8: Ausschnitt eines Logfiles des RealEYES-Testsystems  

  Abbildung 9: Ergebnisse der Benutzerbefragung zur Zufriedenstellung.  

  Abbildung 10: Ergebnisse der Benutzerbefragung zum Dialogverhalten der  

  Webseite.  

  Abbildung 11: Anzahl Mausklicks nach Bearbeitungszeitgruppen  

  Abbildung 12: Zusammenhang zwischen dem motorischen Aufwand und der  

  Bewertung der Lernförderlichkeit, Individualisierbarkeit und  

  Erwartungskonformität der Webseite  

  Abbildung 13: Gegenüberstellung der Bewertungen von Lernförderlichkeit,  

  Aufgabenangemessenheit und Selbstbeschreibungsfähigkeit der  

  Webseite nach der Problemanzahl.  

  Abbildung 14: Gegenüberstellung der Gesamtanzahl markierter Probleme bei  

  Such- und Formularaufgaben  

V

  Tabellenverzeichnis  

Tabelle 1:  Überblick über die Häufigkeitsverteilung der Mausklicks während  

  der Bearbeitung der Testaufgaben  39

Tabelle 2:  Häufigkeitsverteilung nach Alter der Tester.  44

Tabelle 3:  Häufigkeitsverteilung nach Geschlecht der Tester  45

Tabelle 4:  Häufigkeitsverteilung nach Erfahrung im Umgang mit Online-  

  Stadtportalen  45

Tabelle 5:  Ergebnisse der Benutzerbeobachtung.  47

Tabelle 6:  Statistik Bearbeitungszeit  50

Tabelle 7:  Bewertung der Fehlertoleranz nach Bearbeitungszeit  52

Tabelle 8:  Gegenüberstellung der gebildeten Teilstichproben nach dem  

  motorischen Aufwand und der Bearbeitungszeit.  53

Tabelle 9:  Gegenüberstellung der gebildeten Teilstichproben nach der Anzahl  

  markierter Probleme  58

Kapitel 1 Grundlegung und Eingrenzung der Arbeit 1

Kapitel 1 Grundlegung und Eingrenzung der Arbeit

1.1 Einleitung

Die zunehmende Durchdringung des menschlichen Umfelds mit IT-Technik erfordert nicht mehr nur die Bereitstellung von funktionierenden Systemen im beruflichen Kontext, sondern vielmehr von Systemen, die auch im Bereich der ¹ Freizeitgestaltung eine reibungslose Kommunikation zwischen dem Benutzer und dem zur Aufgabenbewältigung vorgesehenen System ermöglichen. Fehler bei der Nutzung des Systems, umständliche Handhabung sowie zusätzlicher, unnötiger Handlungsaufwand behindern den Nutzer bei der Aufgabenbewältigung und sollen möglichst in einer frühen Phase der Systementwicklung aufgedeckt werden (vgl. Gediga & Hamborg 2002, S. 1). Notwendige Voraussetzung zur Problemanalyse und Systemverbesserung ist die Prüfung des Ist-Zustands. Zur Identifikation solcher Probleme bei der Nutzung von Software stellt unter anderem die Psychologie Verfahren zur Verfügung. Ziel des Einsatzes dieser Verfahren ist nicht nur das Aufzeigen von Nutzungsproblemen, sondern auch die Erklärung von Ursachen. Der Bewertungsprozess von Produkten wird Evaluierung genannt. Das Ergebnis dieses Prozesses wird als Evaluation bezeichnet. Die durch die Evaluierung ermittelten Daten bilden die Grundlage für die Identifikation von Schwachstellen und sind somit eine wichtige Voraussetzung für die Produktoptimierung. Hierbei gewinnen neben der Nutzerbefragung verschiedene Formen der technisch unterstützten Beobachtung und Aufzeichnungen der Mensch-Maschine-Interaktion (MMI) eine immer größere Bedeutung (vgl. Hamborg & Gediga in Vorb., S. 20).

Durch den Einsatz der genannten Verfahren werden unterschiedliche Typen von Daten gewonnen. Anhand dieser Daten können die verschiedenen Erhebungsarten charakterisiert werden (vgl. Oppermann & Reiterer 1994, S. 342ff).

¹ Benutzer: „Eine Person oder Personengruppe, die Rechner zur Unterstützung ihrer Aufgaben-

bearbeitung einsetzt.“ (DATech 2002, S. 26).

Kapitel 1 Grundlegung und Eingrenzung der Arbeit 2

Beobachtungsmethoden werden dabei den objektiven und Befragungsmethoden den subjektiven Verfahren zugeordnet. Mit diesen zwei Methoden zur Evaluierung von Software setzt sich die vorliegende Arbeit auseinander. Der kombinierte Einsatz subjektiver und objektiver Verfahren ist kennzeichnend ² für Usability- beziehungsweise Benutzbarkeitstests . Der Fokus dieser Arbeit

wird deshalb auf die Untersuchung von Testsituationen im Usability-Labor und die dort im Benutzbarkeitstest gewonnenen Daten gerichtet. Den Schwerpunkt ³ bildet der empirische Vergleich von Logfile - und Fragebogendaten.

Beurteilungen, die Tester über die Qualität einer Webseite in Fragebögen abgeben, werden als subjektive Daten bezeichnet. Diese Daten sollen mit objektiven, in den Logfiles erfassten, Eigenschaften der Produktnutzung, die unabhängig von den reflektierten Erfahrungen der Testanwender sind, verglichen werden. Mit Hilfe der Methode des Mappings (vgl. Kap. 3.3.2) soll versucht werden, die subjektiven Bewertungen der Benutzer auf objektive Sachverhalte zurückzuführen. Ziel der Rückführung ist es, Hinweise darüber

zu erhalten, woran es liegt, dass Nutzer mehr oder weniger zufrieden gestellt sind. Der Nutzen einer solchen Rückführung wäre, dass bereits während der Durchführung von Benutzbarkeitstest Aussagen über die Zufriedenstellung (vgl. Kap. 2.2) der Benutzer möglich würden. Zu untersuchen ist, inwieweit die

in den Logfiles erhobenen Daten zu diesem Zweck überhaupt beitragen können.

Die Idee zur Untersuchung des Zusammenhangs von subjektiven und objektiven Daten bei der Evaluierung von Software entstand in Zusammenarbeit mit dem Fraunhofer-Institut für Graphische Datenverarbeitung, Institutsteil Rostock (IGD-R). Das Interesse an dieser Fragestellung baut auf vorliegenden Logfile-Daten auf, die im Rahmen einer umfassenden Usability-Evaluierung am Fraunhofer IGD-R erhoben wurden, bei den bisherigen Auswertungen aber wenig Berücksichtigung fanden. Unterstützt wurde die Evaluationsmaßnahme durch den Einsatz des RealEYES-Testsystems (Oertel & Hein 2003,

² Test zur Erhebung von Daten der Produktnutzung durch Benutzer.

³ Ein Logfile enthält automatische Aufzeichnung von Dialog- und Systemdaten einer Person im

Umgang mit dem System.

Kapitel 1 Grundlegung und Eingrenzung der Arbeit 3

Oertel & Schultz 2003) (vgl. Kap. 4). Dieses System gestattet unter anderem die Aufzeichnung von Logfiles während der Bearbeitung einer Arbeitsaufgabe unter kontrollierten Bedingungen im Labor. Die vorhandenen Fragebogen-und Logfile-Daten sollen explorativ-quantitativ untersucht werden, um bislang unberücksichtigte beziehungsweise unentdeckte Muster in den Ergebnissen sichtbar zu machen.

1.2 Aufbau der Arbeit

Diese Arbeit ist in zwei Teile untergliedert: Im ersten Teil (Teil A) werden die theoretischen Grundlagen der vorliegenden Arbeit vorgestellt. Das Thema dieser Arbeit kann in den Bereich der Software-Ergonomie eingeordnet werden. Diese Disziplin soll in Kapitel 2 vorgestellt werden. Anschließend erfolgt die Erläuterung zentraler Begriffe, wobei besonders auf das Konzept der Gebrauchstauglichkeit und Nutzungsprobleme eingegangen wird. Ausgehend von den Prinzipien der Software-Ergonomie werden in Kapitel 3 Ziele und Verfahren zur Bewertung von Software dargestellt. Auf den Einsatz unterschiedlicher Methoden und deren Kombination im Benutzbarkeitstest wird ebenfalls eingegangen. Aufbauend darauf wird in Kapitel 4 das am Fraunhofer IGD-R entwickelte RealEYES-Testsystem, als Verfahren zur Bewertung von Software, vorgestellt.

Der zweite Teil (Teil B) beschäftigt sich mit der methodischen Vorgehensweise zur Realisierung des Forschungsziels. In Kapitel 5 erfolgt die Beschreibung des methodischen Vorgehens zur empirischen Bearbeitung der Fragestellung. Die in den Logfiles erfassten Informationen werden detailliert dargelegt und die konkreten Fragestellungen zur Datenexploration benannt. Die angewandten Methoden zur Datenauswertung und die Ergebnisdarstellung sind Bestandteil des 6. Kapitels. Im 7. Kapitel werden die erzielten Ergebnisse interpretiert und mögliche Implikationen der gewonnenen Erkenntnisse für die Praxis erörtert. Die kritische Darstellung methodischer Schwächen der Arbeit und die Diskussion von Grenzen, an welche die Arbeit methodisch oder inhaltlich stößt, erfolgt im 8. Kapitel. Das Schlusswort im letzten Kapitel beendet diese Arbeit.

Kapitel 2 Software-Ergonomie 4

Teil A - Theoretische Grundlagen

Kapitel 2 Software-Ergonomie

Im folgenden Kapitel wird zu Beginn grundlegendes Begriffsmaterial der Software-Ergonomie erläutert. Es wird der Begriff Gebrauchstauglichkeit beziehungsweise Usability zur Beschreibung der Benutzungsfreundlichkeit von Softwareprodukten und Webanwendungen eingeführt. Anschließend

werden Usability-Probleme in Einarbeitungs- und Nutzungsprobleme unterteilt. Anhaltspunkte für das Erkennen und Bewerten von Usability-Problemen können aus den Grundsätzen der Dialoggestaltung abgeleitet werden und sollen deshalb ebenfalls dargestellt werden. Für die genannten Punkte dienen die relevanten Teile 10 und 11 der internationalen Norm ISO 9241 als Orientierungshilfe.

2.1 Grundlagen der Software-Ergonomie

Bei der Software-Ergonomie handelt es sich um eine anwendungsorientierte, multidisziplinäre Wissenschaftsrichtung, die dem Bereich der Mensch-Computer-Interaktion untergeordnet ist, welcher wiederum dem Gesamtgebiet der Mensch-Maschine-Systeme zugeordnet werden kann (vgl. Dzida & Wandke in Vorb., S. 1). Wesentliche Beiträge zur Entwicklung dieser Disziplin haben die Informatik und die Psychologie geliefert. Den Bezugsrahmen für die Software-Ergonomie bildet das Zusammenwirken von Mensch und Arbeitsmittel Software in der Arbeitswelt mit der Kernfrage, „(…) wie gut sich Software für die Erledigung von Arbeitsaufgaben gebrauchen lässt.“ (Dzida & Wandke in Vorb., S. 1). Die Software-Ergonomie ist demnach eine Disziplin, die sich mit der ⁴ menschengerechten Gestaltung von Benutzungsschnittstellen befasst. Zur

Orientierung im Bereich der Software-Ergonomie ist die Kenntnis der einschlägigen Normen notwendig. Von zentraler Bedeutung für diese Arbeit ist

⁴ Benutzungsschnittstelle: Gesamtheit der Merkmale mittels derer Benutzer auf das System

einwirken (z.B. Eingabefelder) sowie Merkmale, in denen sich das Verhalten des Systems

gegenüber dem Benutzer äußert (z.B. Fehlermeldungen) (vgl. DATech 2002, S. 26).

Kapitel 2 Software-Ergonomie 5

die internationale Norm ISO 9241, in welcher die ergonomischen Anforderungen für Bürotätigkeiten mit Bildschirmgeräten dargelegt werden. Für die Softwaregestaltung sind die Teile 10 und 11 der ISO 9241, in denen die Grundsätze der Dialoggestaltung und die Anforderungen an die Gebrauchstauglichkeit dargestellt werden, besonders von Interesse. Der Geltungsbereich der ISO 9241-11 beschränkt sich nicht nur auf Bürotätigkeiten mit Bildschirmgeräten. Die Norm kann auch für Situationen angewendet werden „(…) in denen Benutzer mit einem Produkt arbeiten, um ein Ziel zu erreichen.“ (ISO 9241-11 1998, S. 4). Folglich können die in Teil 11 der ISO 9241 formulierten Anforderungen auch als Grundlage zur Evaluierung von Webanwendungen herangezogen werden. Für die Verwendung der ISO 9241-10 in der Praxis gilt, dass die dort verankerten Grundsätze der Dialoggestaltung ebenfalls bei der Evaluierung von

Webseiten berücksichtigt werden. Die Autoren Dzida und Wandke (in Vorb.) stimmen zusammenfassend damit überein, wenn Sie feststellen, dass „(…) sich die Prinzipien und Methoden der Software-Ergonomie weitgehend (auf die Web-Usability) übertragen lassen.“ (S. 28).

2.2 Gebrauchstauglichkeit (Usability)

Der Begriff der Gebrauchstauglichkeit ist Gegenstand des Teils 11 der ISO 9241 und wird dort als „das Ausmaß, in dem ein Produkt durch bestimmte Benutzer in einem bestimmten Nutzungskontext genutzt werden kann, um bestimmte Ziele effektiv, effizient und zufrieden stellend zu erreichen.“ (ISO 9241-11 1998, S. 4) definiert. Mit Hilfe dieser Definition lässt sich die Qualität von Software aus der Sicht des Benutzers in Abhängigkeit von dem Anwendungsbereich beschreiben. International hat sich für Gebrauchstauglichkeit der englische Begriff Usability durchgesetzt. Usability ist neben der Nützlichkeit (Utility), Funktionalität (Functionality) und Zugänglichkeit (Accessibility) eine Produkteigenschaft (vgl. Schweibenz & Thissen 2003, S. 45).

Kapitel 2 Software-Ergonomie 6

In Anlehnung an die Definition von Gebrauchstauglichkeit werden in Teil 11 der europäischen Norm ISO 9241 (1998) die Subkonstrukte Effektivität, Effizienz und Zufriedenstellung folgendermaßen erklärt:

• Effektivität als „die Genauigkeit und Vollständigkeit, mit der Benutzer

Ist die Effizienz der Aufgabenbearbeitung geschmälert, so kann dies auf eine Barriere bei der Nutzung der Software zurückzuführen sein. Dieser Zustand wird als Nutzungsproblem umschrieben, insofern dieses nicht auf ein Einarbeitungsproblem rückzuführen ist (vgl. DATech 2002, S. 29). Ein Einarbeitungsproblem ist eine „(…) bei der anfänglichen Nutzung des Softwareprodukts festgestellte Barriere, die eine effiziente Erledigung der Arbeitsaufgabe unnötig erschwert, aber bei regelmäßiger Nutzung beeinträchtigungsfrei umgangen wird.“ (DATech 2002, S. 27). Der letztgenannte Aspekt scheint besonders relevant für die Gestaltung von Webseiten zu sein. Die Autoren Schweibenz und Thissen (2003) bemerken dazu, dass „(…) die Bereitschaft, einen großen Aufwand zur Nutzung (von Webseiten) zu treiben wesentlich geringer (ist).“ (S. 63) als bei der Einarbeitung in eine gekaufte Software. Üblicherweise zeigen Benutzer die Bereitschaft sich auch mit hohem Aufwand in ein Softwareprodukt einzuarbeiten und so Probleme der Erstnutzung zu umgehen. Nutzer von Webangeboten sind aber wesentlich ungeduldiger (vgl. Schweibenz & Thissen 2003, S. 63) und werden schon beim Auftreten von Einarbeitungsproblemen eine geminderte Gebrauchstauglichkeit bemängeln und unter Umständen von einer weiteren Nutzung der Webseite absehen, da Alternativen nur wenige Mausklicks entfernt sind. Bei der Anwendung des Konzepts der Gebrauchstauglichkeit für Webseiten gilt es außerdem zu bedenken, dass eine Vielzahl von Unternehmen ausschließlich das Internet nutzt. Dies hat zur Folge, dass die Gestaltungsanforderungen dieser

Kapitel 2 Software-Ergonomie 7

kommerziellen Webseiten deutlich über das Konzept Gebrauchstauglichkeit hinausgehen und andere Gesichtspunkte wie zum Beispiel Kundenbindung, Marketing und Werbung berücksichtigt werden müssen. Bei der Gestaltung dieser Aspekte kommt es unter anderem darauf an, das Interesse des Benutzers zu gewinnen und ihn dazu zu bringen, dass er möglichst lange auf der Webseite bleibt, sie nicht so schnell wieder verlässt und oft wiederkommt (vgl. Dzida & Wandke in Vorb., S. 29). Diese ebenso psychologisch relevanten Gestaltungsfragen können mit den Gestaltungszielen Effektivität und Effizienz in Konflikt stehen und gehen unter Umständen über die Zufriedenstellung der Benutzer hinaus.

Um Aussagen über den Grad der Gebrauchstauglichkeit vornehmen zu können, ist es notwendig die Effektivität, Effizienz und Zufriedenstellung der mit dem Produkt arbeitenden Benutzer zu prüfen (vgl. ISO 9241-11 1998, S. 5). In den folgenden Abschnitten sollen deshalb Grundlagen zur Prüfung der Gebrauchstauglichkeit aufgezeigt werden.

Arten zur Prüfung der Gebrauchstauglichkeit

Zur Evaluierung der Gebrauchstauglichkeit ist es notwendig, die Interaktion von Benutzern während der Arbeit mit dem Produkt zu untersuchen. Um aussagekräftige Ergebnisse zu erhalten, müssen Nutzer, Aufgabe und Kontext der Produktnutzung für die wirkliche Anwendungssituation repräsentativ sein (vgl. ISO 9241-11 1998, S. 11). Die gewonnenen Daten sollten möglichst unterschiedliche Perspektiven hinsichtlich der Gebrauchstauglichkeit erfassen und damit eine ganzheitliche Bewertung des Produkts ermöglichen. Unterschiedliche Informationen ergeben sich aus der Erhebung von objektiven und subjektiven Daten. Außerdem kann die Datengewinnung nach dem Ort der Untersuchung unterschieden werden. Ein Produkt kann entweder in seinem tatsächlichen Nutzungskontext (Felduntersuchung) oder in einer künstlichen Anwendungssituation im Labor untersucht werden. Da die eben aufgeführten Methoden zur Prüfung der Gebrauchstauglichkeit wichtiger Bestandteil dieser Arbeit sind, werden diese in Kapitel 3 ausführlich dargestellt.

Kapitel 2 Software-Ergonomie 8

Prüfung der Effektivität, Effizienz und Zufriedenstellung von Produkten Um die Effektivität eines Produkts zu prüfen, müssen die Genauigkeit und Vollständigkeit der Zielerreichung einer Aufgabe ermittelt werden. Dazu ist es unabdingbar, die erfolgreiche Zielerreichung zu definieren. Die Genauigkeit der Zielerreichung kann nach ISO 9241-11 (1998) „(…) als Grad der Übereinstimmung der Qualität des Ergebnisses mit dem festgelegten Kriterium gemessen werden (…)“ (S. 13). Aus der Relation von Effektivität zur Arbeits-(Nutzungs-) zeit lässt sich die Produktivität der Arbeit bestimmen. Indem die erreichte Effektivität mit dem benötigten Aufwand zur Zielerreichung ins Verhältnis gesetzt wird, erfolgt die Prüfung der Effizienz (ISO 9241-11 1998, S. 7).

Mit Hilfe von Beobachtungsdaten können sowohl Aussagen über die Effektivität als auch über die Effizienz gewonnen werden. Zur Evaluierung eignen sich besonders objektive Methoden, wie zum Beispiel die Beobachtung von Benutzern während der Interaktion mit dem System. Die Effizienz lässt sich anhand der benötigten Zeit für die Erledigung einer Aufgabe oder durch die Anzahl abgeschlossener Aufgaben pro Zeiteinheit bestimmen (vgl. ISO 9241-11 1998, S. 11). Als Vollständigkeit eines Ergebnisses lässt sich die Effektivität als Prozentsatz der Erreichung einer quantitativen Zielgröße erheben. Weiterhin lässt sich die Effektivität anhand der Benutzer, die eine Aufgabe erfolgreich abschließen und der durchschnittlichen Genauigkeit der abgeschlossenen Aufgabe ermitteln (vgl. ISO 9241-11 1998, S. 11f). Die Zufriedenstellung ist die subjektive Reaktion der Benutzer auf die Interaktion mit dem Produkt. Subjektive Daten über die Zufriedenstellung lassen sich am schnellsten über Einstellungsfragebögen gewinnen.

Kapitel 2 Software-Ergonomie 9

2.3 Grundsätze der Dialoggestaltung

Die Grundsätze zur Dialoggestaltung werden in Teil 10 der ISO 9241 behandelt. Dieser Teil der Norm enthält insgesamt sieben Grundsätze, die für die Gestaltung und Bewertung eines Dialogs als wichtig erkannt worden sind:

• Aufgabenangemessenheit

• Lernförderlichkeit

In enger Anlehnung an die genannten Grundsätze der Dialoggestaltung wurde von Prümper und Anft (1993) der Fragebogen ISONORM 9241/10 entwickelt (vgl. S. 148ff). Unter Zuhilfenahme dieses Instruments erfolgt in dieser Arbeit die Erhebung der subjektiven Bewertung des Dialogverhaltens. Die Grundzüge der einzelnen Grundsätze sollen deshalb im Folgenden beschrieben werden.

Aufgabenangemessenheit

„Ein Dialog ist aufgabenangemessen, wenn er den Benutzer unterstützt, seine Arbeitsaufgabe effektiv und effizient zu erledigen.“ (ISO 9241-10 1996, S. 4)

Praktische Anforderungen: Im Dialog werden nur Informationen angezeigt, die mit der Aufgabenerledigung im Zusammenhang stehen. Der Benutzer sollte mit wenig persönlichen Ressourcen (effizient) und so leicht wie möglich (effektiv) alle Arbeitsschritte ausführen, die zur Aufgabenerledigung erforderlich sind. Ziel ist also die Vermeidung unnötiger Arbeitsschritte durch das Dialog- system.

Kapitel 2 Software-Ergonomie 10

Selbstbeschreibungsfähigkeit

„Ein Dialog ist selbstbeschreibungsfähig, wenn jeder einzelne Dialogschritt durch Rückmeldungen des Dialogsystems unmittelbar verständlich ist oder dem Benutzer auf Anfrage erklärt wird.“ (ISO 9241-10 1996, S. 5)

Praktische Anforderungen: Alle für einen Arbeitsschritt erforderlichen Informationen auf dem Bildschirm sind unmittelbar verständlich oder werden dem Benutzer auf Anfrage erklärt. Ein Dialog gilt als selbstbeschreibungsfähig, wenn ein Benutzer mit Hilfe der Bildschirminformationen die Fragen „Wo bin ich gerade im System?“, „Wie bin ich hierhin gelangt?“ und „Was muss ich tun, um mein Arbeitsziel zu erreichen?“ beantworten kann.

Steuerbarkeit

„Ein Dialog ist steuerbar, wenn der Benutzer in der Lage ist, den Dialogablauf zu starten sowie seine Richtung und Geschwindigkeit zu beeinflussen, bis das Ziel erreicht ist.“ (ISO 9241-10 1996, S. 6)

Praktische Anforderungen: Der Benutzer soll Arbeitsschritte so steuern können, wie es zur Aufgabenbearbeitung notwendig ist sowie die Möglichkeit zur freien Gestaltung des Arbeitsablaufs haben. Dazu gehört auch die Möglichkeit in laufende Prozesse eingreifen zu können (z.B. Abbruch eines Downloads).

Erwartungskonformität

„Ein Dialog ist erwartungskonform, wenn er konsistent ist und den Merkmalen des Benutzers entspricht, z.B. seinen Kenntnissen aus dem Arbeitsgebiet, seiner Ausbildung und seiner Erfahrung sowie den allgemein anerkannten Konventionen.“ (ISO 9241-10 1996, S. 6)

Praktische Anforderungen: Ein Dialog sollte so reagieren wie es der Benutzer erwartet. Durch Vorwissen werden Erwartungen an die Gestaltung und Funktion von Bildschirmelementen geschaffen. Eine erwartungskonforme Dialoggestaltung soll zu einer vertrauten und schnelleren Nutzung des Systems ver- helfen und die Aufgabenerfüllung unterstützen.

Kapitel 2 Software-Ergonomie 11

Fehlertoleranz

„Ein Dialog ist fehlertolerant, wenn das beabsichtigte Arbeitsergebnis trotz erkennbarer fehlerhafter Eingaben entweder mit keinem oder mit minimalem Korrekturaufwand seitens des Benutzers erreicht werden kann.“ (ISO 9241-10

1996, S. 7)

Praktische Anforderungen: Ein System muss so gestaltet sein, dass es dem Nutzer leicht möglich ist, gemachte Fehler zu erkennen und unkompliziert zu beheben. Fehlerhafte Eingaben sollen erklärt werden und so Wiederholungsfehler verringert werden.

Individualisierbarkeit

„Ein Dialog ist individualisierbar, wenn das Dialogsystem Anpassungen an die Erfordernisse der Arbeitsaufgabe sowie an die individuellen Fähigkeiten und Vorlieben des Benutzers zulässt.“ (ISO 9241-10 1996, S. 8)

Praktische Anforderungen: Dem Benutzer sollen zur Anpassung des Dialogsystems an seine individuellen Eigenschaften, Fähigkeiten und Vorlieben verschiedene Einstellungsmöglichkeiten zur Verfügung stehen.

Lernförderlichkeit

„Ein Dialog ist lernförderlich, wenn er den Benutzer beim Erlernen des Dialogsystems unterstützt und anleitet.“ (ISO 9241-10 1996, S. 9)

Praktische Anforderungen: Ein Dialog ist so zu gestalten, dass die Nutzung des Systems leicht durch den Benutzer erlernt werden kann. Demnach sollen Dialogtechniken, die ein Erlernen einfacher machen, zur Verfügung gestellt beziehungsweise Anleitungen gegeben werden, die im direkten Zusammen- hang mit der getätigten Aktion stehen.

Kapitel 2 Software-Ergonomie 12

2.4 Normkonformität

Die in der ISO 9241 Teile 10 und 11 niedergeschriebenen Normen definieren Qualitätsstandards und dienen als Ausgangspunkt für die softwareergonomische Evaluierung von Software. Auf dieser Grundlage wird Normkonformität geprüft. Normkonformität bei der Bewertung von Software heißt Übereinstimmung von geforderten Qualitätsmerkmalen mit tatsächlichen Eigenschaften des Produkts (vgl. Dzida 1994, S. 385).

Zur Prüfung von Software auf Normkonformität mit ISO 9241 Teile 10 und 11 wurde von der Deutschen Akkreditierungsstelle Technik e.V. (DATech) ein Prüfhandbuch herausgegeben (vgl. DATech 2002, S. 4ff). Durch die Anwendung der im Prüfhandbuch empfohlenen Verfahren kann die Normkonformität (bzw. Non-Konformität) von Softwareprodukten festgestellt werden. Hierbei kann es vorkommen, dass für ein Produkt keine Abweichungen von der Norm nachweisbar sind. Das getestete Produkt erfüllt demnach sämtliche Normen. Durch den Einsatz von Fragebögen zur Erfassung subjektiver Einschätzungen (z.B. mit dem ISONORM 9241/10) könnte hingegen abgeleitet werden, dass die Benutzer teilweise nicht zufrieden gestellt sind (vgl. Dzida 1994, S. 384f). Aufgrund dieser feststellbaren Gegensätze wäre es wichtig zu wissen, was Benutzern missfällt beziehungsweise welche Nutzungsprobleme vorliegen. Um Aufschluss über diese Widersprüche zu erhalten, wäre es sehr nützlich über objektive Daten zu verfügen (z.B. aus einem Logfile), damit eindeutig gezeigt werden kann, worauf die mangelnde Zufriedenstellung rückführbar ist.

2.5 Zusammenfassung und Ausblick

In enger Anlehnung an ISO 9241 wurden in diesem Kapitel die Begriffe Dialoggestaltung und Gebrauchstauglichkeit erklärt. Eine Unterteilung von Usability-Problemen in Einarbeitungs- und Nutzungsprobleme wurde vorgestellt. Anhaltspunkte für das Erkennen von Usability-Problemen können aus den Grundsätzen der Dialoggestaltung abgeleitet werden und wurden

Kapitel 2 Software-Ergonomie 13

ebenfalls erläutert. Ebenso wurde eine Einführung in die Methoden zur Prüfung der Gebrauchstauglichkeit gegeben, die im nächsten Kapiteln vertieft werden und damit näher an den Gegenstand der Arbeit führen.

Kapitel 3 Software-Evaluierung 14

Kapitel 3 Software-Evaluierung

Auf die Wichtigkeit der Messung der Gebrauchstauglichkeit von Software wurde in Kapitel 2.1 kurz hingewiesen. Zu Beginn dieses Kapitels sollen Notwendigkeit und Ziele der Prüfung von Software vorgestellt werden. Weiterhin sollen die für diese Arbeit relevanten Verfahren beziehungsweise Methoden vorgestellt und der kombinierte Einsatz von Evaluierungsmethoden im Usability-Labor dargestellt werden.

3.1 Ziele der Evaluierung von Software

Der Begriff Evaluation ist ein Anglizismus und bezieht sich allgemein auf das Ergebnis eines Prozesses, der Evaluierung heißt. Das Ziel von Evaluierungsmaßnahmen ist es Planungshilfen zu finden beziehungsweise Entscheidungen zu legitimieren. Im Kontext von Webanwendungen wird der Begriff Evaluation von Preece et al. (1994) „(as) a process through which information about a system is gathered in order to improve the system or to assess a completed interface.” (S. 713) definiert. Demnach ist für die Prüfung von Benutzungsschnittstellen und die Verbesserung von Systemen das Zusammentragen von zahlreichen Informationen wesentlich. Die durch die Evaluierung gewonnenen Daten bilden die Grundlage für die Identifikation von Mängeln und sind somit eine wichtige Voraussetzung für die Produktoptimierung. Die Ziele von Evaluierungsmaßnahmen im Bereich der Software-Ergonomie lassen sich nach Holz auf der Heide (1993) folgendermaßen präzisieren:

1. Alternative Systeme vergleichen: Maßnahmen zur Beantwortung der Frage „Which is better?“ sollen den direkten Vergleich zwischen Gestaltungs-

Kapitel 3 Software-Evaluierung 15

2. Systemeigenschaften bewerten: Die Leitfrage „How good?“ zielt auf die

der Software ab.

3. Systemmängel erfassen: Ziel der Beantwortung der Frage „Why bad?“ ist

Das Vorgehen im Rahmen einer Evaluierung ist von den eben genannten Zielen abhängig. Aufgrund der unterschiedlichen Fragestellungen, die Evaluierungsmaßnahmen beantworten sollen, kommen unterschiedliche Methoden der Informationsgewinnung zum Einsatz. Die unterschiedlichen Methoden sollen deshalb ausführlich im folgenden Abschnitt erläutert werden.

3.2 Methoden zur Evaluierung von Benutzungsschnittstellen

Methoden zur Evaluierung lassen sich nach einer Vielzahl von Kriterien differenzieren. Diese Arbeit orientiert sich an der Unterscheidung von Schweibenz und Thissen (2003) in expertenorientierte und benutzerorientierte Methoden (vgl. S. 75), wobei der Fokus auf benutzerorientierte Methoden gerichtet wird.

Der Vorteil des Einsatzes von Experten zur Produktanalyse ist ihr auf allgemein anerkannten Grundsätzen des Interface-Designs beruhendes Fachwissen (vgl. Schweibenz & Thissen 2003, S. 75ff). Allerdings können sich Experten nicht vollständig in die Lage tatsächlicher Benutzer hineinversetzen und ihr Expertenwissen vollständig ausblenden. Die wichtigere Quelle zur Feststellung von Mängeln eines Produkts sind direkte Rückmeldungen und Einschätzungen von tatsächlichen Benutzern. Diese entscheiden letztendlich ob ein Produkt einfach zu handhaben ist. Zu den wichtigsten Informationsquellen gehören die Befragung und die Beobachtung. Diese Erhebungsarten entsprechen den benutzerorientierten Methoden und können aufgrund ihrer unterschiedlichen Metho- diken und Aussagen in subjektive und objektive Verfahren unterteilt werden.

Kapitel 3 Software-Evaluierung 16

Während subjektive Methoden an die Beurteilung durch den Benutzer anknüpfen, besteht das Ziel objektiver Methoden in der Ausschaltung subjektiver Einflüsse. Für den Evaluator stellen objektive Daten, wie beispielsweise Bearbeitungszeiten, „harte“ (quantitative) Daten dar, die statistisch abgesichert sind (vgl. Hegner 2003, S. 15). Dagegen liefern subjektive Daten eher „weiche“ Informationen, zum Beispiel: „(…) ob die Benutzung des Systems bequem, angenehm, klar, einsichtig ist (…)“ (Oppermann 1988, S. 328). Nach Hegner (2003) stellen subjektive und objektive Methoden die äußeren Pole eines Kontinuums dar, zwischen denen die leitfadenorientierte (analytische) Evaluierung durch Experten und die experimentelle Evaluierung liegen (vgl. S. 18). Untersuchungsgegenstand der vorliegenden Arbeit sind Daten, die durch die Anwendung subjektiver und objektiver Methoden gewonnen werden. Diese sollen deshalb in den folgenden Abschnitten ausführlich dargestellt werden. Zur besseren Einordnung sollen ferner leitfadenorientierte (analytische) Verfahren durch Experten und experimentelle Verfahren kurz erläutert werden.

3.2.1 Subjektive Methoden

Die Bewertung der Benutzungsschnittstelle durch den Benutzer steht im Vordergrund subjektiver Methoden. Zur Erfassung von Benutzerurteilen über ein System wird bevorzugt die Methode der Befragung eingesetzt. Befragungen können als Interview oder per Fragebogen erfolgen. Die Beantwortung der Fragen erfolgt auf der Basis von Erfahrungen im Umgang mit dem System (vgl. Oppermann 1988, S. 328). Eine weitere subjektive Methode ist die des „Lauten Denkens“. Dabei artikulieren Benutzer während der Ausführung einer Aufgabe Gedanken, Handlungen und Probleme (vgl. ebd.). Zusammenfassend ermöglichen subjektive Methoden Aussagen über die Akzeptanz des Systems und Problembereiche der Schnittstelle aus der Sicht potentieller Nutzer.

Kapitel 3 Software-Evaluierung 17

Vor- und Nachteile

Der Aufwand zur Anwendung subjektiver Methoden ist relativ gering. Ein erheblicher Arbeitsaufwand kann im Zuge der Datenauswertung entstehen, wenn gestellte Fragen eine offene Beantwortung zulassen (vgl. Hegner 2003, S. 18). Bei der Gestaltung von Fragebögen oder Interviews ist darauf zu achten, dass lange und schwierige Fragen Antworttendenzen zur Mittelkategorie beziehungsweise gar keine Antworten generieren und dass durch die Art der Fragestellung Antworten und Bewertungen der Benutzer nicht manipuliert werden (vgl. Oppermann 1988, S. 328). Durch die Art der Fragestellungen können Produkte bereits im Vorfeld der Untersuchung gegenüber Kritik immunisiert werden und bestimmte Antworttendenzen gefördert werden.

Bei Befragungen werden eher „weiche“ (qualitative) Daten gewonnen, aus denen sich Schlussfolgerungen über die Akzeptanz des Systems, den Grad der Zufriedenstellung und Problembereiche der Schnittstelle ziehen lassen. Aussagen über die schnelle und fehlerfreie Aufgabenbearbeitung sind harten Daten vorbehalten (vgl. ebd.).

3.2.2 Objektive Methoden

Kennzeichen objektiver Methoden ist der Versuch, subjektive Einflüsse weitgehend auszuschalten. Ziel ist die „(…) Beobachtung der tatsächlichen Benutzung der Anwendung.“ (Hegner 2003, S. 16) und die Ermittlung so genannter harter Daten wie Aufgabenbearbeitungszeiten und Fehlerzahlen unter Ausschluss von Beurteilungsfehlern. Ohne technische Unterstützung erfolgt die Beobachtung mit Hilfe von Beobachtungsprotokollen. Eine wichtige Rolle bei der Evaluierung von Benutzungsschnittstellen spielt die technisch unterstützte Beobachtung. Das System übernimmt dabei die Beobachtung und zeichnet alle Interaktionsschritte und Handlungen des Benutzers an den Eingabegeräten auf. Durch die technisch unterstützte Beobachtung können Beobachtungs- und Beurteilungsfehler minimiert werden.

Kapitel 3 Software-Evaluierung 18

Die am häufigsten eingesetzte Methode zur technisch unterstützten Auf- ⁵ zeichnung des Benutzerverhaltens ist das Logfilerecording (vgl. Oppermann

& Reiterer 1994, S. 344). Dabei wird das Verhalten des Benutzers während der Arbeit mit dem Untersuchungsgegenstand aufgezeichnet. Die Aufzeichnungen können wissentlich oder versteckt angefertigt werden. Logfile-Aufzeichnungen sind auf die Eingabemedien (in der Regel: Maus und Tastatur) beschränkt. Nachfragen beim Testleiter, Gedanken und Überlegungen, die zu bestimmten Handlungen geführt haben sowie Mimik und Gestik werden beim Logfilerecording nicht aufgezeichnet. Die Arbeit ist kommentarlos. Gute und schlechte Systemeigenschaften und -komponenten können bisher allein durch Logfile-Daten nicht erkannt werden. Dieser Nachteil kann durch den ergänzenden Einsatz von Fragebögen und Videoaufzeichnungen ausgeglichen werden. Zur Auswertung ist es wichtig, dass die Videoaufzeichnungen jeder Aktion im Logfile synchron zugeordnet werden können.

Vor- und Nachteile

Wesentlicher Vorteil objektiver Evaluationsmethoden ist die Möglichkeit, nicht verbalisierbare Operationen des Benutzers zu erfassen (vgl. Oppermann & Reiterer 1994, S. 344) und bei der Weiterentwicklung des Systems zu berücksichtigen. Der Ausschluss subjektiver Einflüsse auf die Beurteilung ist wichtig zur Generalisierung von Ergebnissen. Ein erheblicher Nachteil ist die aufwändige Durchführung und die Beschränkung auf Laboruntersuchungen. Die fehlende Erfassung des Bedeutungsgehaltes der Daten ist ebenfalls ein Nachteil (vgl. Witt 2001, Abs. 2), welcher aber durch die Kombination von Methoden ausgeglichen werden kann. Dennoch bietet die Registrierung leistungsorientierter Maßzahlen wie Fehleranzahl, Zeitangaben und Fehlerwiederholung den Vorteil objektiv messbar, zählbar und damit quantitativ auswertbar zu sein (vgl. Schweibenz & Thissen 2003, S. 83).

⁵ Logfilerecording: Registrieren von Benutzereingaben und Systemmeldungen mit Zeitangaben

auf einem Datenträger.

Kapitel 3 Software-Evaluierung 19

3.2.3 Leitfadenorientierte Methoden

Als Zwischenstufe zwischen subjektiven und objektiven Arten der Datenerhebung können leitfadenorientierte Methoden bezeichnet werden. Die am häufigsten eingesetzte Methode ist die Überprüfung des Systems durch Experten. Die Produktanalyse der Experten ist eine subjektive, aber auf allgemein anerkannten Grundsätzen des Interface-Designs, und auf Erfahrungswissen basierende Einschätzung (vgl. Schweibenz & Thissen 2003, S. 82). Die subjektive Einschätzung wird durch Bewertungsskalen oder Punktvergaben gemessen. Zur Objektivität der Testergebnisse tragen die eindeutigen Testvorschriften bei. Werden den Evaluatoren die Prüfkriterien und einzusetzenden Methoden vorgegeben, so sprechen Oppermann und Reiterer (1994) von einem methodengeleiteten Expertenurteil (vgl. S. 345). Ein Beispiel dafür ist das EVADIS II-Prüfverfahren (Oppermann, R., Murchner, B., Reiterer, H. & Koch, M. 1992).

Vor- und Nachteile

Ein großer Vorteil leitfadenorientierter Methoden ist die Verbindung von subjektiven und objektiven Evaluationsmethoden. Nachteilig ist die fehlende Berücksichtigung realer Benutzer der Anwendung, da diese unter Umständen auf andere Nutzungsprobleme stoßen als die Experten, denn Experten und Benutzer gehören verschiedenen Nutzungskontexten an. Dieser Nachteil kann sich bereits bei der Auswahl der Bewertungs-Items eines Leitfadens bemerkbar machen, weil nicht validiert wurde, ob und inwieweit die Items für den Nutzungskontext des zu evaluierenden Produkts überhaupt relevant sind (W. Dzida, persönl. Mitteilung, 16.09.2004).

3.2.4 Experimentelle Methoden

Zur Überprüfung von Hypothesen und zum Vergleich verschiedener Systeme werden experimentelle Methoden eingesetzt. Die Problematik experimenteller Methoden liegt in der Überprüfung des Einflusses der einzelnen Variablen. Aus der Vielzahl von abhängigen und unabhängigen Variablen lassen sich nur wenige in Experimenten berücksichtigen. Die Verallgemeinerbarkeit von Untersuchungsergebnissen ist daher nicht klar (vgl. Hegner 2003, S. 20f). Bei

Kapitel 3 Software-Evaluierung 20

experimentellen Untersuchungen spielen Benchmark Tests eine große Rolle. Hier werden Systeme anhand von standardisierten Aufgaben miteinander verglichen.

Vor- und Nachteile

Bei gründlicher Durchführung experimenteller Evaluationsverfahren sind Schlüsse über die Art der Mensch-Rechner-Interaktion und eine Bereicherung wissenschaftlicher Theorien im Bereich der MMI möglich (vgl. Oppermann & Reiterer 1994, S. 346). Problematisch sind die Bestimmung der abhängigen und unabhängigen Variablen und die Wahl der Untersuchungsumgebung. Durch die Vielzahl möglicher Kombinationen von Einflussfaktoren muss der Untersuchungsgegenstand frühzeitig eingegrenzt und eventuell eine Merkmalsbeschränkung hingenommen werden (vgl. Oppermann & Reiterer 1994, S. 346). Ein weiterer Nachteil ist die Bestimmung so genannter standardisierter Aufgaben, denn es muss validiert werden, ob und inwieweit diese Aufgaben relevant und kritisch sind und mit den tatsächlichen Aufgaben des Nutzungskontexts übereinstimmen.

3.2.5 Kombination von Methoden

In den vorhergehenden Abschnitten wurde die Notwendigkeit der Kombination verschiedener Evaluationsmethoden bereits erwähnt. Die Autoren Schweibenz und Thissen (2003) weisen auf die Beachtung des gravierenden Unterschiedes „(…) zwischen dem, was Testpersonen sagen, und dem, wie sie sich tatsächlich verhalten.“ (S. 77) hin. Aussagen der Tester können stark von tatsächlichen Handlungen abweichen. Hieraus ergibt sich die Schwierigkeit, allein auf der Basis von Befragungsdaten auf tatsächliche Nutzungsprobleme schließen zu wollen. Aufgrund der Unzuverlässigkeit von Benutzeraussagen besteht die Notwendigkeit auf objektive Parameter zurückzugreifen. Oppermann und Reiterer (1994) empfehlen deshalb die Kombination software-ergonomischer Evaluierungsmethoden, um zu ganzheitlichen Aussagen bezüglich der Qualität der Benutzungsschnittstelle zu gelangen (vgl. S. 347).

Kapitel 3 Software-Evaluierung 21

Die Kombination von verhaltens- und befragungsbasierten Methoden ist besonders gebräuchlich bei so genannten Usability- beziehungsweise Benutzbarkeitstests (vgl. Hamborg & Gediga in Vorb., S. 17). Die Durchführung solcher Tests erfolgt nach Hamborg und Gediga (in Vorb.) zumeist im Labor des Herstellers oder in einem Usability-Labor eines externen Dienstleisters (vgl. S. 17) und simuliert unter quasi-experimenteller Kontrolle den Praxisfall. Ziel ist die Identifikation von Mängeln einer Software.

3.3 Benutzbarkeitstest im Usability-Labor

Beim Benutzbarkeitstest im Usability-Labor bearbeiten repräsentative Benutzer für das zu testende Produkt typische Aufgaben. Während der Aufgabenbearbeitung wird das individuelle Verhalten der Tester im Umgang mit dem Produkt beobachtet. Nach Beendigung des Tests werden die Tester bezüglich Ihrer Eindrücke zum Produkt befragt. Dies kann mit Hilfe eines Interviews ⁶ oder durch einen Fragebogen geschehen.

Die Verhaltensbeobachtung während des Tests kann durch einen teilnehmenden Beobachter oder indirekt (nicht-teilnehmend) mit technischer Unterstützung erfolgen. Bei der indirekten Beobachtung hat die Aufzeichnung von Logfiles im Usability-Test an Bedeutung gewonnen.

3.3.1 Der Einsatz von Logfiles im Usability-Labor

Ein Logfile ist ein automatisch aufgezeichnetes Protokoll von Dialog- und Systemdaten eines Testers, welches während der Aufgabenbearbeitung vom System angefertigt wird. Der Einsatz von automatisierten Evaluierungsmethoden auf dem Gebiet der MMI ist nicht neu und findet seine Wurzeln im „Human Processor“ Modell bei Card, Moran und Newell (1983). Aufgrund der Möglichkeit der automatischen Protokollierung des Benutzerverhaltens erlebt der Einsatz von Logfiles zur Unterstützung der Software-Evaluierung derzeit

⁶ Fragebögen, die nach Testbeendigung vorgelegt werden, werden auch als Posttest-

Fragebögen bezeichnet.

Kapitel 3 Software-Evaluierung 22

eine Renaissance (vgl. Hamborg & Gediga in Vorb., S. 20). Ursprünglich wurde beim Einsatz von Logfiles an einen anderen Einsatzbereich als der Aufzeichnung von Anwenderdaten gedacht. Vordergründig war die Unterstützung der systemseitigen Fehlerdiagnose (K. Polkehn, persönl. Mitteilung, 26.05.2004) zur Erleichterung der Fehlererkennung und Fehlerbehebung (vgl. Janetzko 1999, S. 177). Die Verbreitung und steigende Popularität von Logfiles ⁷ ging einher mit der Webserverentwicklung (K. Polkehn, persönl. Mitteilung,

26.05.2004). Heute ist es praktisch jedem Betreiber einer Webseite möglich, über den Webserver Logdateien zu beziehen (vgl. Janetzko 1999, S. 170ff).

Ein wichtiger Beweggrund für den Einsatz von Logfiles im Usability-Test ist der Ausschluss von Beobachtungsfehlern, die durch die Leistungsgrenzen von Beobachtern immer berücksichtigt werden müssen (vgl. Kromrey 2000, S. 324ff). Ein weiterer Grund für das gesteigerte Interesse an Logfiles ist die Möglichkeit, schnell und umfassend objektive Informationen über das Benutzerverhalten während der Arbeit mit einem Produkt zu erfassen und zu analysieren. Durch die automatische Protokollierung von Verhaltensspuren wird allerdings eine erhebliche Masse an Daten gefördert, die eine sehr zeitaufwändige Auswertung (vgl. Frieling & Sonntag 1999, S. 91) oder Automatisierung des Auswertungsprozesses erfordert.

Eine Antwort auf den Bedarf an computerunterstützten und somit ökonomischen Auswertungsmethoden im Usability-Test stellt das am Fraunhofer IGD-R entwickelte RealEYES-Testsystem dar. In Kapitel 4 dieser Arbeit soll das Testsystem vorgestellt werden.

3.3.2 Mapping von objektiven und subjektiven Daten

Auf die Wichtigkeit der Kombination von Beobachtungs- und Befragungsdaten wurde besonders in Kapitel 3.2.5 hingewiesen. Zur Identifikation von Produktmängeln wurde dabei die Nutzung verschiedener Datenquellen empfohlen.

⁷ Ein Webserver ist ein Programm, welches Dateien zur Verfügung stellt. Diese Dateien sind

normalerweise Webseiten oder Bilder.

Kapitel 3 Software-Evaluierung 23

Durch die Anwendung verschiedener Methoden zur Produktevaluierung im Usability-Labor wird sehr umfangreiches Datenmaterial mit verschiedenen Formaten und Inhalten gewonnen. Im Mittelpunkt dieser Arbeit steht die Untersuchung der Beziehung von subjektiven Aussagen und objektiven Gegebenheiten. Das Herstellen einer Beziehung zwischen subjektiven und objektiven Daten wird von Kawalek (2003) als Mapping bezeichnet (vgl. S. 2).

Die Idee des Mappings subjektiver und objektiver Daten basiert auf einem benutzerorientiertem Modell zur Qualitätsbestimmung von Telekommunikationsdienstleistungen von Seitz, Wolf, Voran und Bloomfield (1994) (vgl. Abbildung 1).

Abbildung 1: Mapping von subjektiven und objektiven Daten zur Ermittlung objektiver

benutzerorientierter Parameter (Quelle: Seitz et al. 1994, S. 9)

Dabei werden Audio- und Videodaten durch den Einsatz subjektiver und objektiver Methoden erfasst und einer statistischen Analyse zugeführt. Subjektive Testergebnisse dienen hierbei als Referenzwerte zur Validierung objektiver Prüfergebnisse. Ziel dieser Herangehensweise ist das Auffinden objektiver, messbarer Parameter zur benutzerorientierten Bestimmung von Telekommunikationsdienstleistungen. Der vorgestellte Ansatz scheint für die Untersuchung des Zusammenhangs subjektiver und objektiver Daten geeignet und soll im empi- rischen Teil der Arbeit angewendet werden.