The focus of this diploma thesis is on comparing data from logfiles and questionnaires. Analysed data were collected within a usability test of a website supported by the RealEYES-Framework at the Fraunhofer Institute for Computer Graphics Rostock. The goal of this thesis is to find out if recorded objective performance data possibly indicate why users become more or less satisfied using a software product. Methods for mapping of subjective ratings on objective data, fundamental ergonomic requirements in the software engineering process and the data recording process are described. To analyse the relation between objective and subjective information, results of 18 test subjectives were quantitative-explorative evaluated. The findings of this study point out that recorded objective figures are indicators for efficiency and effectiveness of the working process. However, no statistic significant relations between logged data and user satisfaction were found. In conclusion, these findings indicate that the used objective information by itself are not suitable to identify information about user satisfaction. Further development of the RealEYES-Framework (e.g. detailed diagnostics of objective user data and usability problems within logfiles) has to be done to measure the influence of usability problems on user satisfaction.
Inhaltsverzeichnis
Kapitel 1 Grundlegung und Eingrenzung der Arbeit
1.1 Einleitung
1.2 Aufbau der Arbeit
TEIL A - THEORETISCHE GRUNDLAGEN
Kapitel 2 Software-Ergonomie
2.1 Grundlagen der Software-Ergonomie
2.2 Gebrauchstauglichkeit (Usability)
2.3 Grundsätze der Dialoggestaltung
2.4 Normkonformität
2.5 Zusammenfassung und Ausblick
Kapitel 3 Software-Evaluierung
3.1 Ziele der Evaluierung von Software
3.2 Methoden zur Evaluierung von Benutzungsschnittstellen
3.2.1 Subjektive Methoden
3.2.2 Objektive Methoden
3.2.3 Leitfadenorientierte Methoden
3.2.4 Experimentelle Methoden
3.2.5 Kombination von Methoden
3.3 Benutzbarkeitstest im Usability-Labor
3.3.1 Der Einsatz von Logfiles im Usability-Labor
3.3.2 Mapping von objektiven und subjektiven Daten
3.4 Zusammenfassung
Kapitel 4 Das RealEYES-Testsystem
TEIL B - EMPIRISCHE BEARBEITUNG
Kapitel 5 Methodisches Vorgehen
5.1 Vorüberlegungen zum Forschungsgegenstand
5.2 Beschreibung der Untersuchung
5.2.1 Kurzbeschreibung der Webseite
5.2.2 Beschreibung des Benutzbarkeitstests
5.3 Erhebungsinstrumente im Benutzbarkeitstest
5.3.1 Subjektive Verfahren
5.3.2 Objektive Verfahren
5.4 Konkretisierung des Forschungsziels
5.5 Vorüberlegungen zur Datenanalyse
5.6 Zusammenfassung
Kapitel 6 Ergebnisdarstellung
6.1 Beschreibung der Stichprobe
6.2 Auswertung der Benutzerbefragung
6.3 Auswertung der Benutzerbeobachtung
6.4 Angewandte Verfahren zur Datenexploration
6.5 Mapping von Bearbeitungszeit und subjektiver Bewertung
6.6 Mapping von motorischem Aufwand und subjektiver Bewertung
6.7 Mapping von Anzahl markierter Probleme und subjektiver Bewertung
6.8 Mapping von Bearbeitungserfolg und subjektiver Bewertung
6.9 Untersuchung der Aufgabentypen
6.10 Zusammenfassung
Kapitel 7 Interpretation der Ergebnisse
Kapitel 8 Diskussion methodischer Aspekte
Kapitel 9 Schlusswort
Zielsetzung und thematische Schwerpunkte
Die vorliegende Arbeit untersucht den Zusammenhang zwischen objektiven Leistungsdaten aus Logfiles und subjektiven Nutzerbewertungen aus Fragebögen im Rahmen von Usability-Tests, um zu klären, ob objektive Kennzahlen Aussagen über die Nutzerzufriedenheit ermöglichen.
- Methodische Grundlagen der Software-Ergonomie und Usability-Definitionen.
- Vergleich subjektiver Erhebungsmethoden (Fragebögen) und objektiver Methoden (Logfilerecording).
- Empirische Analyse von 18 Testpersonen bei der Nutzung des Online-Stadtportals „Rostock-Digital“.
- Anwendung der Mapping-Methode zur statistischen Verknüpfung von Logfile-Daten und subjektiven Ratings.
- Diskussion der Eignung objektiver Daten für die Diagnose von Nutzungsproblemen.
Auszug aus dem Buch
3.3.1 Der Einsatz von Logfiles im Usability-Labor
Ein Logfile ist ein automatisch aufgezeichnetes Protokoll von Dialog- und Systemdaten eines Testers, welches während der Aufgabenbearbeitung vom System angefertigt wird. Der Einsatz von automatisierten Evaluierungsmethoden auf dem Gebiet der MMI ist nicht neu und findet seine Wurzeln im „Human Processor“ Modell bei Card, Moran und Newell (1983). Aufgrund der Möglichkeit der automatischen Protokollierung des Benutzerverhaltens erlebt der Einsatz von Logfiles zur Unterstützung der Software-Evaluierung derzeit eine Renaissance (vgl. Hamborg & Gediga in Vorb., S. 20). Ursprünglich wurde beim Einsatz von Logfiles an einen anderen Einsatzbereich als der Aufzeichnung von Anwenderdaten gedacht. Vordergründig war die Unterstützung der systemseitigen Fehlerdiagnose (K. Polkehn, persönl. Mitteilung, 26.05.2004) zur Erleichterung der Fehlererkennung und Fehlerbehebung (vgl. Janetzko 1999, S. 177). Die Verbreitung und steigende Popularität von Logfiles ging einher mit der Webserverentwicklung (K. Polkehn, persönl. Mitteilung, 26.05.2004). Heute ist es praktisch jedem Betreiber einer Webseite möglich, über den Webserver Logdateien zu beziehen (vgl. Janetzko 1999, S. 170ff).
Ein wichtiger Beweggrund für den Einsatz von Logfiles im Usability-Test ist der Ausschluss von Beobachtungsfehlern, die durch die Leistungsgrenzen von Beobachtern immer berücksichtigt werden müssen (vgl. Kromrey 2000, S. 324ff). Ein weiterer Grund für das gesteigerte Interesse an Logfiles ist die Möglichkeit, schnell und umfassend objektive Informationen über das Benutzerverhalten während der Arbeit mit einem Produkt zu erfassen und zu analysieren. Durch die automatische Protokollierung von Verhaltensspuren wird allerdings eine erhebliche Masse an Daten gefördert, die eine sehr zeitaufwändige Auswertung (vgl. Frieling & Sonntag 1999, S. 91) oder Automatisierung des Auswertungsprozesses erfordert.
Zusammenfassung der Kapitel
Kapitel 1 Grundlegung und Eingrenzung der Arbeit: Einführung in die Thematik der Software-Evaluierung und Erläuterung des Aufbaus der Arbeit.
Kapitel 2 Software-Ergonomie: Definition der Grundlagen der Software-Ergonomie sowie der Gebrauchstauglichkeit unter Bezugnahme auf die Norm ISO 9241.
Kapitel 3 Software-Evaluierung: Übersicht über Evaluierungsmethoden sowie Darstellung der Bedeutung von Usability-Tests und Logfile-Analysen.
Kapitel 4 Das RealEYES-Testsystem: Vorstellung des speziellen Testsystems zur automatisierten Datenerfassung, das in der empirischen Untersuchung Anwendung findet.
Kapitel 5 Methodisches Vorgehen: Beschreibung des Versuchsaufbaus, der Stichprobe sowie der eingesetzten Fragebögen und der methodischen Datenauswertung.
Kapitel 6 Ergebnisdarstellung: Detaillierte Auswertung und statistische Gegenüberstellung der erhobenen objektiven Daten und subjektiven Benutzerbeurteilungen.
Kapitel 7 Interpretation der Ergebnisse: Fachliche Einordnung der empirischen Befunde unter Berücksichtigung des Nutzungskontexts der Erstnutzung.
Kapitel 8 Diskussion methodischer Aspekte: Kritische Reflexion der methodischen Schwächen, wie Stichprobengröße und Validität der Laborumgebung.
Kapitel 9 Schlusswort: Zusammenfassendes Fazit zur Eignung objektiver Daten für die Nutzersatisfaktionsmessung und Ausblick auf zukünftige Entwicklungen.
Schlüsselwörter
Software-Ergonomie, Usability, Evaluation, Mensch-Maschine-Interaktion, Logfiles, Fragebögen, Mapping, Benutzbarkeitstest, ISO 9241, RealEYES-Testsystem, Benutzerbefragung, Datenauswertung, Fehlertoleranz, Dialoggestaltung, Nutzungsqualität.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit befasst sich mit dem Vergleich von subjektiven und objektiven Evaluierungsmethoden im Bereich der Software-Ergonomie, um zu verstehen, ob objektive Leistungsdaten das Benutzerurteil widerspiegeln.
Was sind die zentralen Themenfelder?
Die zentralen Themen umfassen die Software-Ergonomie, verschiedene Usability-Testverfahren, die Analyse von Logfiles sowie statistische Methoden zur Datenkorrelation.
Was ist das primäre Ziel der Untersuchung?
Das primäre Ziel ist zu erforschen, ob objektive Daten, die aus Logfiles gewonnen wurden, Aufschluss darüber geben können, warum Nutzer eine Software unterschiedlich zufriedenstellend bewerten.
Welche wissenschaftliche Methode wird verwendet?
Es wird eine explorativ-quantitative Analyse durchgeführt, bei der qualitative Daten (Fragebögen) und quantitative Logfile-Daten durch die "Mapping"-Methode verknüpft werden.
Was wird im Hauptteil behandelt?
Der Hauptteil gliedert sich in theoretische Grundlagen zu Normen und Methoden sowie einen umfangreichen empirischen Teil, der das Vorgehen und die Ergebnisse einer Studie mit 18 Testern an einem Online-Stadtportal beschreibt.
Welche Schlüsselwörter charakterisieren die Arbeit?
Wichtige Begriffe sind unter anderem Usability, Mapping, Software-Ergonomie, Logfiles und Benutzbarkeitstest.
Welche Limitationen der Studie werden im Diskussionsteil angeführt?
Besonders kritisch werden die kleine Stichprobengröße von 18 Personen und die künstliche Laborumgebung hervorgehoben, die eine Verallgemeinerung der Ergebnisse erschwert.
Welche Erkenntnis ergibt sich aus dem Mapping der Daten?
Die Ergebnisse zeigen, dass die verwendeten objektiven Daten allein oft nicht ausreichen, um die Nutzerzufriedenheit präzise abzubilden, da keine statistisch signifikanten, universellen Zusammenhänge zwischen Logfile-Daten und subjektivem Empfinden nachweisbar waren.
- Arbeit zitieren
- Marcel Riebeck (Autor:in), 2004, Empirischer Vergleich subjektiver und objektiver Verfahren der Software-Evaluation, München, GRIN Verlag, https://www.grin.com/document/40631
