Diese Abschlussarbeit befasst sich mit der Evaluation von Usability im Bereich Human Computer Interaction. Am Beispiel der Webanwendung neonion wurde eine Usability Studie entwickelt, die das Tool Morae in den Gesamtablauf von der Vorbereitung bis hin zur Auswertung der Testsitzungen einbezieht. Mit dieser Arbeit soll anhand der Defizite existierender Methoden herausgefunden werden, ob eine solche Studie zur umfassenden Usability Evaluation zweckmäßig ist.
Diesbezüglich wurden zunächst Hintergrundinformationen zu bereits existierenden Methoden und deren Defizite erläutert. Infolgedessen wurde die Usability Studie vorbereitet, durchgeführt und ausgewertet. Zur Vorbereitung gehörten u.a. die Inspektion der Anwendungen neonion und Morae, die Ausarbeitung der Testziele sowie die Entwicklung eines ausführlichen Testplans. Nachdem die Testsitzungen vollständig vorbereitet waren, wurden Teilnehmer rekrutiert sowie Zeiten und Orte der Sitzungen geplant. Die während und nach der Durchführung ermittelten Beobachtungen, wurden zusammengefasst und hinsichtlich der Testziele ausgewertet. Diese Ergebnisse wurden anschließend evaluiert, um die Zweckmäßigkeit für Usability Studien zu bewerten.
Mittels Morae konnten mehrere Evaluationsmethoden miteinander kombiniert und so Usability-Probleme hinsichtlich aller Testziele identifiziert werden. Außerdem war es möglich, Morae in alle Teilbereiche der Entwicklung einzubeziehen. Mit der entwickelten Studie konnten allerdings nicht alle Defizite existierender Methoden vermieden werden. Daraus folgt, dass auch diese Methode der Usability Evaluation weder für alle Arten von Anwendungen eingesetzt werden kann, noch eine ausreichende empirische Validierung der Ergebnisse bietet. Allerdings könnte der Aufbau der Studie mittels bisher unausgeschöpfter Funktionen von Morae und den in dieser Arbeit gesammelten Erkenntnissen erweitert werden.
Inhaltsverzeichnis
1 Einleitung
1.1 Thema und Kontext
1.2 Zielsetzung und Vorgehen
1.3 Aufbau der Arbeit
2 Hintergrund
2.1 Existierende Evaluationsmethoden
2.1.1 User Testing
2.1.2 Inspektionsmethoden
2.1.3 Inquiry Methods
2.1.4 Analytical Modeling und Simulation Methods
2.1.5 Weitere Klassifizierungen
2.2 Defizite bei existierenden Evaluationsmethoden
2.2.1 „Usability Evaluation Methods for the Web: A Systematic Mapping Study“[FIA11]
2.3 Ziele
3 Umsetzung
3.1 Anwendungen
3.1.1 neonion
3.1.2 Morae
3.2 Methodologie der Studie
3.2.1 Testbedingungen
3.2.2 Testteilnehmer
3.3 Testdesign
3.3.1 Testziele und Variablen
3.3.2 Testaufgaben und -szenarien
3.3.3 Testablauf
3.4 Auswertung und Ergebnisse
3.4.1 Kategorisierung und Zusammenfassung der Beobachtungen
3.4.2 Ergebnisse der Usability Studie
4 Zusammenfassung und Ausblick
Zielsetzung & Themen
Die Arbeit untersucht den Mehrwert einer Usability-Studie für die Webanwendung "neonion" unter Verwendung des Evaluierungstools "Morae". Im Fokus steht dabei die Forschungsfrage, inwieweit ein systematisches Usability-Testing dazu beitragen kann, Defizite in der Softwareentwicklung zu identifizieren und die Zweckmäßigkeit solcher Studien zu belegen.
- Evaluation der Usability von "neonion" mittels der Software Morae
- Analyse existierender Usability-Methoden und deren methodischer Defizite
- Konzeption eines Testdesigns inklusive Szenarien, Aufgaben und Fragebögen
- Empirische Untersuchung des Nutzerverhaltens und Systemerlebnisses
- Ableitung von Verbesserungsvorschlägen für die Weiterentwicklung der Anwendung
Auszug aus dem Buch
3.1.2 Morae
Die Usability Studie wird mit Hilfe des Tools Morae in der Version 3.3.4 vorbereitet, durchgeführt und analysiert. Morae ist ein Usability-Tool, mit dem Anwender aufgenommen und beobachtet, sowie die Ergebnisse ausgewertet und präsentiert werden können (vgl. [mor16a]). Morae besteht aus den Anwendungen Morae Recorder, Morae Observer und Morae Manager, deren Funktionen im Folgenden kurz erläutert werden. Der Inhalt dieser Abschnitte beruht im Wesentlichen auf den Informationen der Website von Morae [mor16b].
Morae Recorder kann während einer Testsitzung Audio, Video, Bildschirmaktivitäten und Mausbewegungen aufnehmen und speichern. Der Ablauf der Testsitzung, z.B. Umfragen und Testaufgaben können ausgewählt, definiert oder abgespeichert werden. Außerdem stellt Morae Recorder einen Autopiloten bereit, der während einer Testsitzung die Anweisungen anzeigen kann (siehe Abbildungen 4.5, 4.7).
Mit der Anwendung Morae Observer kann eine Testsitzung von Teammitgliedern beobachtet werden. Während dieser Sitzung können die Beobachter sowohl über eine Chat-Funktion miteinander kommunizieren, als auch Notizen machen. Außerdem können Zeit, Aufgabenerfolg und Fehlerraten während der Testsitzung gemessen und definiert werden.
Morae Manager stellt verschiedene Werkzeuge zur Analyse der Aufnahmen bereit. Mehrere Aufnahmen können gleichzeitig durchsucht und deren Daten dabei verglichen, gesichtet und bearbeitet werden. Morae Manager stellt außerdem eine automatische Datenanalyse bereit (beispielsweise die Berechnung des SUS-Scores) und eine Möglichkeit zur Erstellung und zum Exportieren von Grafiken, Videos und Datentabellen.
Zur Planung der Usability Studie wurde in dieser Arbeit Morae Recorder verwendet. Dort wurden Willkommenstext, Aufgaben und Fragebögen erstellt und gespeichert. Außerdem wurden die Autopilot-Funktionen eingerichtet, sodass der Teilnehmer Tasks eigenständig beginnen und beenden konnte (siehe Abbildungen 4.5, 4.6). Außerdem wurden alle Testsitzungen mit Hilfe von Morae Recorder aufgezeichnet. Im Morae Manager wurden alle Aufzeichnungen der Testsitzungen gesammelt und die Ereignisse geloggt, kategorisiert, sortiert und exportiert. Morae Observer wurde aufgrund mangelnder technischer Möglichkeiten nicht in diese Studie integriert.
Zusammenfassung der Kapitel
1 Einleitung: Beschreibt den Kontext der Untersuchung, die Zielsetzung der Usability-Studie und den methodischen Aufbau der Abschlussarbeit.
2 Hintergrund: Erläutert bestehende wissenschaftliche Evaluationsmethoden für Usability und diskutiert deren spezifische Defizite anhand einer systematischen Mapping-Studie.
3 Umsetzung: Detailliert die praktische Durchführung der Studie, einschließlich der Vorstellung der Anwendung "neonion" und des Tools "Morae", sowie das spezifische Testdesign und die anschließende Auswertung.
4 Zusammenfassung und Ausblick: Führt eine kritische Reflexion über die gewählte Methodik durch und diskutiert die Anwendbarkeit der Ergebnisse für zukünftige Entwicklungsphasen.
Schlüsselwörter
Usability, Human-Computer Interaction, Software-Evaluation, Morae, neonion, User Testing, formative Evaluation, System Usability Scale, Testdesign, Testaufgaben, Nutzertest, Usability-Probleme, Datenanalyse, Webanwendung, Softwareentwicklung
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit befasst sich mit der evaluativen Einschätzung der Usability einer spezifischen Webanwendung namens "neonion" unter Nutzung des Analysetools "Morae".
Welche zentralen Themenfelder werden bearbeitet?
Die zentralen Themen umfassen die Usability-Forschung im Bereich Human-Computer Interaction, die methodische Analyse existierender Testverfahren sowie die praktische Durchführung eines formativen Nutzertests.
Was ist das primäre Ziel oder die Forschungsfrage?
Ziel ist es herauszufinden, ob mit Hilfe des Tools "Morae" eine Usability-Studie entwickelt werden kann, die eine zweckmäßige Evaluation bietet und dabei bekannte Schwächen traditioneller Testmethoden umgeht.
Welche wissenschaftliche Methode wird verwendet?
Die Arbeit kombiniert qualitative Methoden wie das "Think-Aloud Protocol", Log-Analyse und Expertenbeobachtung mit quantitativen Ansätzen wie der "System Usability Scale" (SUS) und Performance-Messungen.
Was wird im Hauptteil behandelt?
Der Hauptteil beschreibt das methodische Vorgehen: von der Inspektion der Software über die Erstellung eines Testplans und die Rekrutierung von Probanden bis hin zur systematischen Kategorisierung der Beobachtungen.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit lässt sich primär durch die Begriffe Usability, Human-Computer Interaction, Software-Evaluation, Morae und neonion charakterisieren.
Warum wurde gerade die Software "neonion" für diese Studie gewählt?
Die Wahl fiel auf "neonion", da es sich um eine Webanwendung aus dem Bereich der gemeinschaftlichen Textannotation handelt, die sich zum Testzeitpunkt in der Entwicklung befand und somit ideal für eine formative Evaluation geeignet war.
Welche Rolle spielt das Tool "Morae" für die Forschungsarbeit?
Morae fungiert als zentrales Werkzeug zur Vorbereitung, Aufzeichnung und Auswertung der Usability-Tests, insbesondere für die Automatisierung von Testabläufen und die detaillierte Datenanalyse.
Wie wurden die Daten während der Nutzertests erfasst?
Die Daten wurden durch Morae Recorder (Aufzeichnung von Bild und Ton), manuelle Notizen der Beobachter (Observer Form) und durch die automatisierte Erhebung von Metriken (Zeit, Fehlerraten) erfasst.
Welche Schlussfolgerung zieht die Autorin über die Zweckmäßigkeit der Studie?
Die Autorin schlussfolgert, dass die Studie zwar zur Identifizierung von Problemen beiträgt und diverse Methoden vereint, jedoch keine vollkommene empirische Validierung ersetzt und vor allem bei Klick-Prototypen ihre Stärken ausspielt.
- Arbeit zitieren
- Michelle Greisner (Autor:in), 2017, Eine Einschätzung des Wertes einer Usability Studie am Beispiel der Evaluation von "neonion", München, GRIN Verlag, https://www.grin.com/document/433449
