Evaluation der GMX-Website

Inhaltsverzeichnis

1 Einführung
1.1 Common Industry Format
1.2 ÜberGMX
1.3 Testziele

2 Methode
2.1 Teilnehmer
2.2 Nutzungskontext
2.2.1 Aufgaben
2.2.2 Testumgebung
2.2.3 Computerumgebung
2.3 Durchführung
2.3.1 Vorgehen
2.3.2 Interview
2.3.3 Fragebogen
2.3.4 Aufzeichnung des Nutzerverhaltens .
2.4 Usability Metriken
2.4.1 Aufgabenangemessenheit
2.4.2 Selbstbeschreibungsfähigkeit
2.4.3 Erwartungskonformität

3 Ergebnisse
3.1 Vorgehensweise
3.2 Darstellung der Ergebnisse
3.3 Erwartungshaltung vor dem Test
3.4 Globale Findings
3.4.1 Informationsarchitektur/Organisation
3.4.2 Grafische Umsetzung
3.4.3 Orientierung
3.4.4 Navigation
3.4.5 Wording
3.5 Spezifische Findings
3.5.1 Task 1: Ein Konto bei GMX anlegen
3.5.2 Task 2: Auf GMX einloggen
3.5.3 Task 3: Neue e-Mails lesen
3.5.4 Task 4: Eine e-Mail schreiben und verschicken .
3.6 Nutzerzufriedenheit nach dem Test

4 Ausblick

5 Anhang
5.1 Interviewfragen
5.2 Fragenbogen

1 Einführung

1.1 Common Industry Format

Das Common Industry Format (CIF) stellt laut [AP03] eine Standardme- thode dar, wie die Ergebnisse eines Usability Tests in schriftlicher Form dargestellt werden können. Das National Institute of Standards and Tech- nology (NIST) hat 1997 mit der Entwicklung des CIF begonnen, um Usa- bility Professionals eine Möglichkeit zu geben, die Resultate der Tests in vereinheitlicher Form zusammenzufassen (Vgl. [SH03]). Das Format wurde kontinuierlich weiterentwickelt und ist laut [Mor02] seit 2001 ANSI Stan- dard (ANSI-NCITS 354-2001). Es basiert auf der Usability Defintion von ISO 9241-11 (Vgl. [TJ03]) und eignet sich besonders dann, wenn der Test- verlauf sowohl die ISO Norm 13407 als auch die ISO Norm 9241-11 berück- sichtigt (Vgl. [AP03]). Das CIF wird laut [AP03] hauptsächlich für formale und summative Usability Tests eingesetzt, bei denen quantitative Faktoren gemessen werden.

Dieser Bericht orientiert sich in seiner Struktur am CIF v1.1 von 1999¹. Da bei dem Usability Test von GMX der Schwerpunkt auf der qualitativen Analyse lag, ergeben sich besonders in der Darstellung der Ergebnisse Abweichungen zur Vorlage.

1.2 ÜberGMX

GMX wurde 1998 als reiner e-Mail Provider gegründet und zählt heute mit 80 Mitarbeitern, mehr als 17 Millionen Accounts und 280.000 zahlenden Kunden zu den größten Anbietern Deutschlands (Vgl. [Gmb04]). Seitdem Relaunch 2001 als Internetportal mit weiterführenen Angeboten wie Reisen oder dem Automarkt steht GMX auch in Konkurrenz zu Anbietern wie YA- HOO.

GMX gliedert sich laut [Gmb04] in die zwei Firmen GMX GmbH und GMX Internet Services GmbH auf. Gesellschafter ist die 1&1 Internet GmbH. ”Die GMX GmbH bietet ihren Mitgliedern einen kostenlosen E-Mail-Dienst, des- sen Finanzierung durch Werbeeinnahmen und Transaktionserlöse aus Ko- operationen mit E-Commerce-Partnern erfolgt. Die GMX Internet Services GmbH konzentriert sich auf die Weiterentwicklung kostenpflichtiger techni- scher Mehrwertdienste im Bereich E-Mail- und Messaging sowie Internet Access” (Vgl. [Gmb04]).

1.3 Testziele

Getestet wurden vor allem die Standardfunktionalitäten wie ’Ein neues Kon- to einrichten’, ’Eine e-Mail verschicken’, ’Einen Anhang verschicken’. Diese wurden vor allem hinsichtlich ihrer Aufgabenangemessenheit, Selbstbe- schreibungsfähigkeit und Erwartungskonformität getestet. Die Teilnehmer hatten dabei die Aufgabe, ihre subjektiven Eindrücke hinsichtlich bestimm- ter Faktoren zu schildern. Das Ergebnis der Analyse zeigt die Schwachpunkte auf und liefert erste Ansätze für die Behebungen spezifischer Probleme.

2 Methode

2.1 Teilnehmer

Die Zielgruppe von GMX deckt eine breites Spektrum ab. Sowohl Internet- Unerfahrene, die das WWW nur zum e-Mailen verwenden als auch Experten nutzen die Webseite. Für den Test wurden drei eher unerfahrene Personen rekrutiert, um möglichst viele Usablity Probleme zu identifizieren. Insge- samt wurden drei Personen getestet. Jakob Nielsen schreibt dazu in [Nie00], dass drei Testpersonen ausreichen, um 70% der Usability Probleme zu erken- nen. Zwei dieser Teilnehmer waren schon zuvor GMX Kunden, während der dritte einen HOTMAIL Account besitzt und noch nie zuvor auf der GMX Webseite war.

Folgende Tabelle gibt eine Übersicht über die Teilnehmer:

Abbildung in dieser Leseprobe nicht enthalten

(Internet Erf.: Internet Erfahrung, VDI: Verweildauer Internet)

2.2 Nutzungskontext

2.2.1 Aufgaben

GMX ist eine sehr komplexe Webseite, die Informationen zu vielen ver- schiedenen Inhalten bereitstellt, wobei manche Elemente jedoch häufiger angesteuert werden als andere. Dies gilt vor allem für die e-Mail Funktio- nalitäten. Der Großteil der Nutzer registiert sich bei GMX, weil er diese Funktionen in Anspruch nehmen möchte. Aufgrund dieser Tatsache und der eingeschränkten Testzeit wurde sich darauf beschränkt, die Hauptaufga- ben, die ein e-Mail Anbieter leisten soll zu testen. Da ferner eine erfolgreiche Nutzung aber schon oft an einer komplizierten Registrierung scheitern kann, wurde dieser Vorgang ebenfalls evaluiert. Dies führt zu folgenden getesteten Tasks:

1. Ein Konto bei GMX anlegen
2. Auf GMX einloggen
3. Neue e-Mails lesen
4. Eine e-Mail schreiben und verschicken

2.2.2 Testumgebung

Getestet wurde in Köln und in Marburg bei den Testpersonen zuhause, um eine authentische Umgebung zu gewährleiten (Vgl. [Rub94], [JP02]]. Anwesend waren die Testperson, die sich vor dem Computer befand und der Testleiter, der daneben saß.

2.2.3 Computerumgebung

P1 und P3 benutzten eine Laptop mit Windows Betriebsystem bei einer Auflösung von 800x600. P2 war mit einem Windows PC ausgestattet bei einer Auflösung von 1024x768. Alle drei nutzten zum Surfen den Internet Explorer.

2.3 Durchführung

2.3.1 Vorgehen

Bevor mit dem Test begonnen wurde, wurden die Testpersonen darüber informiert, dass sie an einem Usability Test der Webseite www.gmx.de teil- nehmen. Ihnen wurde ferner folgendes vermittelt: Die Seite soll auf ihre Nutzbarkeit hin getestet werden. Dabei werden keine technischen bzw. Wis- sensfragen gestellt, es geht rein um ihre subjektiven Einschätzungen von bestimmten Elementen. Dazu werden bestimmte Aufgaben vorgegeben, die von den Teilnehmern angegangen werden sollen. Zu den einzelnen Schrit- ten bzw. Screens die nötig sind, um diese Aufgaben durchzuführen werden ihnen Fragen gestellt. Ihnen wird vermitteln, dass sie keine Angst haben sollen, wenn etwas nicht funktioniert bzw. die Schuld nicht bei ihnen suchen sollen. Die Fehler liegen in einem solchen Fall beim Programm. Getestet werden soll die Webseite und nicht die Teilnehmer. Ferner wurden die Test- personen dazu angehalten, ihre Gedanken und Überlegungen laut zu äußern (Vgl. [Nie93]: ”Thinking aloud”). Diese Methode hilft dabei, das mentale Modell (Vgl. [Wod02], [Nor88]), dass der Nutzer von der Seite entwickelt besser zu verstehen. Außerdem wurden die Nutzer aufgefordert, die jeweili- ge Seite nicht zu verlassen bis der Testleiter damit einverstanden ist.

Nach dieser Einführung startet der Testleiter die Screencam und den Internet Explorer und führt den Test anhand eines Interviews durch. Am Ende des Tests hatten die Nutzer die Aufgabe, einen kurzen Fragebogen auszufüllen. Danach unterschrieben sie eine Einverständnisverklärung, dass ihre Angaben gespeichert und weiterverarbeitet werden. Anschließend wurde ihr Account wieder gelöscht und sich für die Mithilfe bedankt. Die Testdauer betrug in allen Fällen ca. 1,5 Stunden.

2.3.2 Interview

Der Usability Test wurde anhand einen unstrukturierten Interviews durch- geführt (Vgl. [JP02], siehe 5.1). Da der Großteil der Tasks wie beispielsweise die Registrierung einen sequentiellen Vorgang beschreibt wurden die Screens schrittweise durchlaufen. Zu jedem einzelnen Bildschirm wurden Fragen ge- stellt, die auf den aufgeführten Usability Metriken basieren oder auf dem Fragenkatalog aus [Red02] fussen. Die Nutzer hatten die Möglichkeit ihre subjektive Meinung hinsichtlich der Fragestellungen zu äußern, wurde je- doch auch aufgefordert, Gedanken zu äußern die nicht unbedingt mit der spezifischen Frage zusammenhängen. Je nach Testperson und Testverlauf wurden Fragen ergänzt oder weggelassen.

2.3.3 Fragebogen

Der Fragebogen am Ende des Tests stellt eine Rating Scale dar (siehe 5.2). Hier hatten die Nutzer die Möglichkeit, ihre subjektiven Eindrücke bezüglich bestimmter Statements hinsichtlich der eben gemachten Erfahrungen zu äußern. Bei dem Aufbau und der Gestaltung wurde sich an den den zwei Ver- fahren ISOMetrics und SUMI zur Evaluation von Software orientiert (Vgl. [SH03], [Red02]).

2.3.4 Aufzeichnung des Nutzerverhaltens

Die Reaktionen des Nutzers wurden digital erfasst. Aufgenommen wurden der Cursorbewegungen mit Hilfe der Screencam Camtasia². Der Ton wurde mit einem handelsüblichen Mikrofon aufgenommen. Dieses Verfahren bietet sich laut [SH03] aufgrund der günstigen Kosten und der Effektivität der Methode an.

2.4 Usability Metriken

Der Gestaltung der Fragen und der Rating Scale basiert auf der DIN EN ISO 9241 Norm Teil 10. Dieser Teil beschreibt die ”Ergonomischen Anforderun- gen für Bürotätigkeiten mit Bildschirmarbeitsplatzgeräten” anhand der fol- genden sieben Kriterien: Aufgabenagenmessenheit, Selbstbeschreibungsfähig- keit, Steuerbarkeit, Erwartungskonformität, Fehlertoleranz, Lernförderlich- keit und Individualisierbarkeit. Der Schwerpunkt dieses Tests liegt auf fol- genden Metriken (Vgl. [SH03]):

2.4.1 Aufgabenangemessenheit

”Ein Dialog ist aufgabenangemessen, wenn er den Benutzer unterstützt, seine Arbeitsaufgabe effizient und effektiv zu erledigen”. Dem Nutzer müssen alle benötigten Funktionen zuf Verfügung stehen. Das System soll den Nutzer so weit wie möglich entlasten.

2.4.2 Selbstbeschreibungsfähigkeit

”Ein Dialog ist selbstbeschreibungsfähig, wenn jeder einzelne Dialogschritt durch Rückmeldung des Dialogsystems unmittelbar verständlich ist oder dem Benutzer auf Anfrage erklärt wird.” Es soll eine einheitliche benutzerangemessene Terminologie existieren, die sich aus verständlichen Begriffen, Abkürzungen und Symbolen zusammensetzt.

2.4.3 Erwartungskonformität

”Ein Dialog ist erwartungskonform, wenn er konsistent ist und den Merkmalen des Benutzers entspricht, z.B. den Kenntnissen aus dem Arbeitsgebiet, der Ausbildung und der Erfahrung des Benutzers sowie den allgemein anerkannten Konventionen.”

3 Ergebnisse

3.1 Vorgehensweise

Zur Analyse wurden die Aufzeichnungen gesichtet und daraus ein Transkript erstellt.

3.2 Darstellung der Ergebnisse

Die Darstellung der Ergebnisse ist in globale und spezifische Findings auf- geteilt. Unter den globalen Findings sind die Ergebnisse beschrieben, die die Webseite als Ganzes betreffen bzw. für komplette Teilbereiche wie beispiels- weise den Anmeldeprozess gültig sind. Die spezifischen Findings hingegen fassen die Resultate der gestellten Aufgaben zusammen. Dabei werden die einzelnen Screenshots, die zum Erreichen des Aufgabenziels führen sequen- tiell dargestellt.

Bei dem Großteil der einzelnen Findings wird sich in der Ausführung der Er- gebnisse auf den jeweiligen Screenshot bezogen, in dem jedes Finding durch eine Zahl und Umrandung gekennzeichnet ist. Im anschliessenden Text wird durch die jeweilige Ziffer in Klammer darauf referenziert. Da nicht jedes von dem Teilnehmern entdeckte bzw. beschriebene Usability Problem die gleiche Wichtigkeit besitzt, macht es Sinn eine Einteilung in drei Kategorien vorzunehmen (Vgl. [SH03]), die sich wie folgt darstellt:

- Schwere 1: geringes Problem (sollte langfristig behoben werden)
- Schwere 2: mittleres Problem (sollte mittelfristig behoben werden)
- Schwere 3: grosses Problem (sollte so schnell wie möglich behoben werden)

Die Schwere wird nach der Beschreibung des jeweiligen Findings in eckigen Klammeren dargestellt.

3.3 Erwartungshaltung vor dem Test

Vor Beginn des Tests hatten die Teilnehmer die Möglichkeit, ihre Erwartungshaltung zu beschrieben. Alle hofften darauf, mit GMX einen eMailAnbieter vorzufinden, der ihnen die grundlegenden Funktionalitäten wie e- Mail schreiben oder einen Anhang beifügen auf einfache Weise zugänglich macht. Als weitere gewünschte Funktionen wurde Kontaktlisten, Spamvermeidung und Gruppeneinteilungen aufgezählt.

3.4 Globale Findings

3.4.1 Informationsarchitektur/Organisation

1. GMX als Portal

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: GMX als Portal

Seit dem Relaunch 2001 als Portal bietet GMX auf der Startseite bzw. auf der Übersichtsseite nach dem Einloggen die Möglichkeit an, über die Navigationsleiste (1) zu weiteren von GMX gepflegten Inhalten zu gelangen³. Der Portalcharakter von GMX wurde nicht in allen Fällen richtig gedeutet: ”Wenn man links auf etwas klickt, kommt man wohl auf eine ÜbersichtsseitezudemThema.Vondaauskommtmanzu anderen Seite von anderen Anbietern.” [Schwere: 2]

Die Teaser in der Mitte (2) bieten Direkteinstiegsmöglichkeiten zu Un- terthemen aus der linken Navigationsleiste (1). Ein Beispiel ist in der Abbildung orange unterlegt. Der Zusammenhang zwischen (1) und (2) wird von keinem der Teilnehmer erkannt. Die Teaser werden eher mit Werbung externer Anbieter in Verbindung gebracht und auch nicht genutzt. [Schwere: 3]

2. Die Platzierung der Informationen

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Die Platzierung der Informationen

Der Fragebogen am Ende des Tests brachte folgendes Ergebnis:

Abbildung in dieser Leseprobe nicht enthalten

Dieses Resultat zeigt, dass die Testpersonen mit der Organisation der Informationen unzufrieden sind, was sich besonders auf der Startsei- te und der Übersichtsseite nach dem Einloggen zeigt. Ihnen steht das Wesentliche, nämlich beispielsweise die Inhalte, die mit e-Mailen ver- bunden werden oft zu sehr im Hintergrund. Die Abbildung verdeut- licht dies: Auf der Übersichtsseite haben nur (1) und (2) einen direkten Bezug zu diesem wichtigen Bereich und nehmen bezogen auf die ge- samte Seite nur wenig Platz ein. Die Teilnehmer bemängeln dies: ”Die- ser ganze unnötige Kram nervt [...], das eigtl. Zentrum, also e-Mails empfangen und schreiben steht total im Hintergrund. Die wichtigsten

Sachen könnten auch größer sein: Messaging, Posteingang, e-Mails schreiben.” ”Von mir aus könnte GMX alles weglassen außer Postein- gang.” ”Lieber ein paar Sachen weniger und andere größer.” Beson- ders kritisiert wird in diesem Zusammenhang die Werbung bzw. die Elemente, die von den Testpersonen als solche identifiziert wird. Ein Teilnehmer merkt ferner an, dass die Ordnung auf der Seite fehlt, ”es sieht alles irgendwie gleich aus.”. Außerdem wird bemängelt, dass al- les sehr klein geschrieben ist und zu eng beeinander liegt. [Schwere: 2]

3. Der Anmeldeprozess

Die Anmeldung wird von allen Teilnehmern als lang bzw. zu lang emp- funden. Im Idealfall benötigt der Nutzer neun Schritte, um sich erfolg- reich zu registrieren. Die Testteilnehmer brauchten allerdings zwischen zwölf und vierzehn Schritte bei einer Dauer von ca. dreißig Minuten. Ein Hauptkritikpunkt der Testpersonen war, dass zu viele persönliche Angaben gemacht werden sollten ( ”Man hätte alles eigtl. auf zwei Seiten kürzen können. Eine Seite mit sonstigen Fragen hätte gereicht. Die hätte ich dann vielleicht auch ausgefüllt.”) und manche in ihren Augen unsinnigen Angaben, wie beispielsweise die Angabe einer e-Mail Adresse (”Ich melde mich doch erst an. Ich hab noch keine”). Ferner störte die Teilnehmer die viele (Eigen-)Werbung, mit der GMX die Nutzer ins kostenpflichtige Segment lockt, indem sie sie auf den ersten Blick darüber im Umklaren lässt, ob die Angebote kostenpflichtig oder kostenlos sind: ”Mich stört, dass man sich öfters zwischen den Tari- fen entscheiden muss, obwohl ich mich zu Beginn schon entschieden habe”. [Schwere: 3]

Von zwei Teilnehmer wird lobenswert erwähnt, dass GMX ihnen verschiedene Adressvorschläge macht, aus denen sie eine auswählen können (”Bevor man zehn Mal etwas eingibt und es nicht geht”), obwohl diese Funktionalität in der tatsächlichen Nutzung zu Schwierigkeiten führt (Näheres: siehe Spezifische Findings).

3.4.2 Grafische Umsetzung

Abbildung in dieser Leseprobe nicht enthalten

Das visuelle Erscheinungsbild wird von den Testpersonen ebenfalls kritisch betrachtet. Während die Farben (”hellblau, dunkelblau. Hab ich nichts dage- gen.” ”Das Blau mit den Abstufungen ist eigtl. ganz schön.” ”Fargebung ist okay. Man könnte aber was machen. Sollte auf keinen Fall zu bunt sein.”) und das Logo mehrheitlich akzeptiert wurden, liegen die Hauptkritikpunte hier in der Struktur. Ein Teilnehmer merkt an: ”Es wird sehr viel mit Recht- ecken gearbeitet, die das ganze übersichtlich wirken lassen sollen. Trotzdem sieht es aus wie zusammengepuzzelt, da es einfach zu viele Rechtecke sind, die nicht zueinander passen. Manche Linien wirken wie verrutscht.” Fer- ner wird bemängelt, dass manche Informationen zu klein dargestellt werden und alles zu eng aufeinander sitzt: ”Besser ein paar Sachen weglassen und andere größer machen”. [Schwere: 2]

3.4.3 Orientierung

Abbildung 3: Orientierung

Während der Anmeldung gab es für die Teilnehmer keine Möglichkeit zu erfahren, in welchem Schritt sie sich gerade befinden und wie lange es noch dauert, bis die Registrierung abgeschlossen ist. Dies führte bei den Teilnehmern teilweise zu Frustrationen, da manche schon im dritten Schritt der Meinung waren, dass sie sich bald erfolgreich angemeldet haben. Es exisitert zwar ein Pfad (1) der aber nur von einem Teilnehmer erkannt wurde und der sich zudem nicht zur Navigation nutzen lässt. Außerdem gibt er auch keine Auskunft über den aktuellen Prozessschritt. [Schwere: 2]

3.4.4 Navigation

Abbildung in dieser Leseprobe nicht enthalten

1. Die Übersichtsseite

Abbildung 4: Die Übersichtsseite

Die Navigation wird von den Testpersonen im Schnitt als zufrieden- stellend eingestuft. Probleme gibt es beispielsweise auf der Übersichts- seite, die hier exemplarisch aufgeführt wird. Zwei Teilnehmer würden

(1) zur e-mail Navigation nutzen (’Messages’), der dritte bevorzugt
(2): ”Die Navigation ist für mich eindeutig in der Mitte. Ist ja zen- tral.” Auf Nachfrage ist ihnen der Unterschied zwischen beiden Menüs

[...]

¹ CIF V 1.1 ist die aktuellste kostenlose Version. Sie kann heruntergeladen werden unter http://zing.ncsl.nist.gov/iusr/documents/cifv1.1b.htm

² Eine 30 Tage Trial Version kann heruntergeladen werden unter http://www.camtasia.com

³ Die dargestellten Screenshots sind nicht aus aus den Aufnahmen der Teilnehmer ent- nommen, sondern wurde der besseren Übersichtlichkeit und Auflösung halber noch einmal neu gecaptured.