Evaluierung von Suchmaschinen - Interaktion und Kommunikation

Inhaltsverzeichnis

1. Einleitung

2. Analyse des bestehenden Kriterienkataloges
2.1 Evaluation und Zielsetzung
2.2 Die Dimensionen Interaktion und Kommunikation
2.2.1 Interaktion
2.2.2 Kommunikation
2.3 Analyse der Kriterien
2.3.1 Analyse der Darstellung
2.3.2 Analyse der einzelnen Kriterien

3 Vorstellung neuer Kriterien zum Vergleich und zur Evaluierung von Suchmaschinen (Von Claudia Proske)
3.1 Einleitung
3.2. Suchmodi
3.3 Eingabemodi
3.4 Verwendung boolescher Operatoren
3.5 Granularität Feldsuche
3.6 Granularität Case Sensitivität
3.7 Query-Hilfe (z.B. bei Null-Treffer-Ergebnissen)
3.8 Hotline
3.9 Pushdienst – Newsletter
3.10 Sucheinträge
3.10.1 Pay-Per-Click
3.10.2 Suchmaschinenoptimierung
3.11 Suchboard
3.12 Suchagent
3.13 Clustering
3.14 Ähnliche Suche
3.15 Suchen innerhalb der Ergebnisse
3.16 Inhaltsspezifische Filter
3.17 Eingrenzung der Suche nach Datum
3.18 Übersetzungstool
3.18.1 nach Sprache sortiert suchen
3.18.2 Rücksichtnahme auf natürliche Sprache
3.19 Zusammenfassung

4 Objektive Operationalisierung der Kriterien
4.1 Der Begriff der Operationalisierung
4.2 Erster Operationalisierungsvorschlag
4.3 Zweiter Operationalisierungsvorschlag

5 Fazit

6 Abbildungsverzeichnis

7 Link-Verzeichnis

8 Literaturverzeichnis

1. Einleitung

Die stetig zunehmende Menge an Informationen und ihre Verfügbarkeit über das Internet erfordert die entsprechende Programmierung und Gestaltung von Werkzeugen, um mit dieser Informationsmenge angemessen umzugehen: Suchmaschinen. Zwischen diesen bestehen bei der Bewältigung der „Informationsflut“ qualitative Unterschiede, welche durch eine entsprechende Bewertung - also Evaluation - der Suchmaschinen sichtbar werden.

Innerhalb dieser Evaluation gewinnt die Dimension der Interaktion/Kommunikation (neben Dimensionen wie z.B. Information) zunehmend an Bedeutung, bestimmen doch die Interaktionsmöglichkeiten des Benutzers mit der Suchmaschine den Erfolg, aber auch die Verbesserung seiner Suchstrategien.

Das Ziel der vorliegenden Hausarbeit ist die Erarbeitung einer zu der Evaluierung des Seminars „Evaluation von Suchmaschinen“ des Wintersemesters 2001/02 alternativen und objektiven Operationalisierung der Dimensionen Interaktion/Kommunikation.

Die Hausarbeit folgt dabei dem diesem Aufbau: Im zweiten Kapitel werden die bestehenden Kriterien, wie sie im Fragebogen des Seminars „Evaluation von Suchmaschinen“ verwendet worden sind, einer kritischen Analyse unterworfen. Aufbauend auf dieser Analyse werden die bestehenden Kriterien zum einen ergänzt, zum anderen werden neue Kriterien präsentiert, durch welche die Dimensionen Interaktion und Kommunikation präziser erfaßt werden können.

Im Anschluß an die Präsentation neuer Kriterien erfolgt ihre objektive Operationalisierung in Form von zwei Operationalisierungsvorschlägen. Dabei durchlaufen sowohl die ursprünglichen Kriterien als auch die neu hinzugefügten Kriterien einen Selektionsprozess, d.h. es werden von beiden Kriteriengruppen nur diejenigen Kriterien operationalisiert, welche die notwendige Relevanz besitzen oder diese Relevanz in Kombination mit anderen Kriterien erhalten. Es ist also nicht entscheidend, alle Kriterien zu operationalisieren, sondern eine Auswahl derjenigen Kriterien zu treffen, welche die effektivste Qualitätsbeurteilung der Dimensionen Interaktion und Kommunikation ermöglichen.

In dem nun folgenden zweiten Kapitel, werden die Kriterien des Fragebogens des Seminars „Evaluation von Suchmaschinen“ kritisch hinterfragt. Zu diesem Zweck wird zu Beginn der Begriff der Evaluation erläutert und in Beziehung zu dem Begriff der Usability gesetzt, um auf dieser Basis die Dimensionen Kommunikation und Interaktion inhaltlich zu erfassen. Daran schließt sich die Analyse der bestehenden Kriterien an, welche sich in eine Analyse der Darstellung der Kriterien und in eine Analyse der inhaltlichen Relevanz und Legitimation der Kriterien unterteilt.

2. Analyse des bestehenden Kriterienkataloges

2.1 Evaluation und Zielsetzung

In diesem Kapitel soll versucht werden, den Begriff der Evaluation genauer zu spezifizieren, um von dieser Spezifikation Konsequenzen für die inhaltliche Erfassung der Dimensionen Interaktion und Kommunikation abzuleiten.

Dabei gilt es zunächst, zwischen der Evaluation und Evaluationsmethode zu unterscheiden:

a) Evaluation: A process through which information about the usability of a system is gathered in order to improve the system or to access a completed interface.
b) Evaluation-method: A procedure for collecting relevant data about the operation and usability of a computer system. (Preece/Rogers 1994, S. 713)

Im Zentrum dieser Definition steht wiederum der Begriff der Usability, also der „Benutzbarkeit“ von Informationssystemen.

Jakob Nielsen definiert dabei Usability folgendermaßen:

„Usability is the measure of the quality of the user experience when interacting with something - wether a web-site, a traditional software application, or any other device the user can operate in some way or another.“ (Nielsen 1993)

Die Zielsetzung einer erfolgreichen Evaluation von Suchmaschinen sollte also darin bestehen, sowohl diejenigen Kriterien/Features zu erkennen, welche die Qualität der Usability seitens des Nutzers erhöhen und diejenigen Kriterien zu identifizieren, welche einer Verbesserung bedürfen, um eine zufriedenstellende Usability zu gewährleisten.

(vgl. www. aboutwebdesign.de/ebook/designtheorie_usability.html)

2.2 Die Dimensionen Interaktion und Kommunikation

2.2.1 Interaktion

Wie die Definition von Nielsen impliziert, hängt die Qualität der Usability von der Qualität der Interaktion des Benutzers mit dem jeweiligen Software-System ab, also der Mensch-Computer-Interaktion (MCI) oder Human-Computer-Interaction (HCI), welche sich mit der Gestaltung der Interaktionsformen von Mensch und Computer befaßt: „... human-computer-interaction is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding them.“ (ACM SIGCHI 1992, S. 6).

Ziel der MCI ist also die Gestaltung eines Software-Systems, das sowohl benutzungsfreundlich und sicher als auch funktional ist. Es steht also eine software-ergonomische Gestaltung im Mittelpunkt.

Diese softwareergonomische Gestaltung unterliegt einer bedingten Relationalität, d.h. sie ist in Beziehung zu setzen mit einem bestimmten Produkt in einer bestimmten Situation. Ein bestimmter Nutzer verfolgt dabei bestimmte Ziele in einem bestimmten Kontext. Dieser Kontext unterliegt den Handlungsrichtlinien Effektivität, Effizienz und Zufriedenheit.

So definiert Krömker Effektivität als „Genauigkeit und Vollständigkeit, mit welcher Benutzer ein bestimmtes Ziel erreichen“, Effizienz wird definiert als der „im Verhältnis zu Genauigkeit und Vollständigkeit eingesetzte Aufwand, mit dem Benutzer ein bestimmtes Ziel erreichen.“ und Zufriedenheit als „ Freiheit von Beeinträchtigung und positive Einstellungen gegenüber der Benutzung des Produktes.“ (Krömker 1999, S. 23)

Die Indikatoren bzw. Kriterien der Dimension Interaktion sollten sich also ihrerseits an den Kriterien Effektivität, Effizienz und Zufriedenheit orientieren.

2.2.2 Kommunikation

Wie im vorangegangenen Kapitel erläutert, steht bei der Mensch-Computer-Interaktion die softwareergonomische Gestaltung der Benutzerschnittstelle im Mittelpunkt. In diesem Kontext ergänzt die Dimension der Kommunikation die Dimension der Interaktion.

So werden von Blattner und Danneberg vier Teilgebiete der Kommunikation zwischen Mensch und Computer unterschieden (Blattner/Danneberg, 1992):

- Computer-Computer Kommunikation
- Mensch-Mensch Kommunikation
- Computer-Mensch Kommunikation
- Mensch-Computer Kommunikation

Für die inhaltliche Bestimmung der Dimension Kommunikation ist dieses insofern entscheidend, als dass daraus Kriterien für die Evaluation abgeleitet werden können, welche die Mensch-Mensch-Kommunikation betreffen. Bei einer Benutzerberatung in Form einer Hotline erfolgt die Kommunikation über die zu bewertende Suchmaschine und findet nur bedingt mit der Suchmaschine statt.

Entsprechend der Dimension der Interaktion, so greift auch in diesem Zusammenhang das Postulat der Effizienz (vgl. http://www.vib-bw.de/eva/erg_gesamt.htm) sowie der Effektivität und der Zufriedenheit mit dem Kommunikationsprozess seitens des Nutzers innerhalb der Informationsbeschaffung.

Auch wenn sich die Dimensionen Interaktion und Kommunikation in vielerlei Hinsicht überschneiden, so ist am Punkt der Mensch-Mensch-Kommunikation eine essentielle inhaltliche Differenzierung festzustellen, welche innerhalb der Evaluation umgesetzt werden sollte.

2.3 Analyse der Kriterien

2.3.1 Analyse der Darstellung

Bei der Nennung der Dimensionen innerhalb des Fragebogens, wäre es gegenüber den Evaluierenden nützlich, zu beschreiben, was genau mit Interaktion und Kommunikation in Bezug auf die Suchmaschine gemeint ist. Diese Beschreibung könnte einen Satz umfassen wie z.B. „Mit den Dimensionen Interaktion und Kommunikation ist zum einen die Interaktion mit dem Interface der Suchmaschine gemeint, zum anderen die Kommunikation über Probleme bei der Handhabung der Suchmaschine.“

Auf diese Weise wird der evaluierende Nutzer für die Dimension sensibilisiert und kann diese spezifische Dimension von den übrigen Dimensionen (Information etc.) abgrenzen.

Bei allen Kriterien ist eine Erläuterung der Fachbegriffe notwendig, da nicht davon ausgegegangen werden kann, dass auch Durchschnittsuser mit Begriffen wie „Trunkierung“ oder „Proximity“ die jeweilige Funktion direkt zuordnen können. Am effektivsten wäre hier die Verwendung von Beispielen, z.B. Gartenpfla* (Gartenpflanze) als Exempel für eine Trunkierung.

Zu überlegen wäre die Erstellung eines Glossars mit den wichtigsten Fachbegriffen in Form einer Beilage zum Fragebogen.

Zudem sollte bei jedem Kriterium seitens der evaluierenden Nutzer die Möglichkeit bestehen, eigene Anmerkungen hinzuzufügen. Auf diese Weise ist es möglich, innovative Aspekte in die Evaluation zu integrieren, die der Autor des Fragebogens in der Form nicht beachtet hat. Das Evaluierungsinstrument der subjektive Gesamteinschätzung der Qualität einer Dimension am Ende des Kriterienkataloges ist als positiv zu beurteilen und sollte je nach Operationalisierungsform beibehalten werden.

2.3.2 Analyse der einzelnen Kriterien

In den nun folgenden Ausführungen sollen die in dem Fragebogen des Seminars verwendeten Kriterien bezogen auf die in den Kapiteln 2.2.1 und 2.2.2 spezifizierten Dimensionen Interaktion und Kommunikation analysiert werden. Der Analysevorgang erfolgt dabei nicht dichotom (= das Kriterium ist richtig oder falsch), sondern iterativ, d.h., es wird versucht, sich durch eine kritsche Fragestellung der inhaltlichen Relevanz des Kriteriums anzunähern. Dieses kann wiederum eine Modulation des Kriterienkataloges bedeuten, d.h., ein Kriterium wird inhaltlich weiter ausdifferenziert oder weniger relevante Kriterien werden zuzsammengefaßt.

Zum ersten werden die Kriterien des Abschnittes Query/Aspekte untersucht. Dabei sollte bei einer Evaluation, die von einer Nutzerbewertung ausgeht, der Begriff „Query“ erläutert werden. Darüber hinaus bietet sich stattdessen der Alternativbegriff „User Interface“ an.

Dieser Begriff impliziert wiederum, dass der Kriterienkatalog sich - bezogen auf die Dimensionen Interaktion/Kommunikation - nicht nur mit dem Bereich der Suchanfrage befassen kann, sondern die gesamte Struktur der Website der Suchmaschine in die Evaluation einbezieht. (vgl. Brajni et. al. 1996, S. 1)

1) Suchmodi

In dem originären Fragebogen waren die beiden Features Advanced Search und Simple Search zu evaluieren und deren Existenz zu bestätigen oder zu verneinen.

Bei der Advanced Search-Methode handelt es sich um ein Feature, welches eine relevante Differenzierung im Suchprozess ausmacht (die Suchmaschine www.lop.com besitzt dieses Feature bspw. nicht.). Es sollte deshalb innerhalb der Auswertung/Operationalisierung mit einem Gewichtungsverfahren gearbeitet werden. Auf diese Weise kann zwischen der Relevanz einzelner Kriterien unterschieden werden. Legt man das in Kapitel 2.2.1 erläuterte Effektivitätspostulat zu Grunde, so erhöht die Advanced Search-Methode die Retrievalleistung eher als eine „Rechtschreibprüfung mit Vorschlägen“, da dieses nicht den ursprünglichen Suchprozess betrifft, sondern diesen lediglich nachträglich verbessert. Also wird die Advanced Search-Methode höher gewichtet.

Desweiteren ist es wichtig, die Usability, also die Interaktion des Nutzers mit dem Interface der Advanced Search-Methode zu bewerten: Wird nach Anwendung der Simple Search-Methode mit wenigen Treffern darauf hingewiesen ? Ist das Abfrageformular der Advanced Search-Methode logisch und softwareergonomisch aufgebaut ? Besteht zu der Advanced Search-Methode eine Hilfestellung ?^[]

2) Eingabemodi

Auch hier gilt es, das Kriterium Eingabemodi weiter auszudifferenzieren und es stärker in Bezug zu setzen zu den Dimensionen Interaktion/Kommunikation. Wie ist die Kommandozeile aufgebaut ? Ist der Button. mit dem die Simple-Search gestartet wird unmißverständlich zu identifizieren ? Zudem muß sich der Autor einer Evaluationsstudie mit operativen Kriterien die Frage stellen, inwiefern es bei bestimmten Operationalisierungen überhaupt sinnvoll ist, zwischen Suchmodi und Eingabemodi zu trennen, da der Eingabemodus ein Bestandteil des Suchmodus ist.

(vgl. http://www.bui.fh-hamburg.de/pers/ursula.schulz/webusability/suchma.html#gui)

Wenn ein menuebasierter Eingabemodus besteht - wie ist dieser aufgebaut ? Erleichtert er eine intuitive Benutzerführung oder wird der Suchvorgang unnötig verkompliziert ?

3) Verwendung boolscher Operatoren, 4) Proximity-, Phrasenoperatoren,

5) Trunkierungsmöglichkeiten, 6) Spezielle Operatoren, z.B. LIKE, HOST

Die in diesem Fragebogen getrennt aufgeführten Operatoren bzw. Trunkierung sollten unter einem Kriterium zusammengefaßt werden (z.B. Verwendung von Operatoren und Trunkierung). Dieses hat jedoch keine inhaltlichen Folgen. Neben der Existenz eines Operators spielt auch hier der Umgang des Nutzers mit den Operatoren innerhalb des Suchprozesses eine entscheidende Rolle. Wird bei einer erfolglosen Suche die Trunkierung vorgeschlagen ? Wird die Verwendung boolscher Operatoren vorgeschlagen ? Wird der Umgang mit Operatoren erklärt ? (vgl. hierzu Kap. 3.4)

7) Granularität, Feldsuche , 8) Granularität - Case Sensitivität

Auch diese im Ursprungsfragebogen getrennten Kriterien sollten zu einem Kriterium mit zwei verschiedenen Ausprägungen zusammengefaßt werden. Weitere Ausführungen dazu finden sich in Kap. 3.5.

9) Rechtschreibprüfung mit Vorschlägen

Dieses Kriterium ist im Ursprungsfragebogen durch die Differenzierung Orthografie und Abfragesyntax ausreichend erläutert und nach objektiven Leistungsmerkmalen differenziert.

[...]