Objektive Evaluation semantischer Jobsuchmaschinen

Inhaltsverzeichnis

Abbildungsverzeichnis

Tabellenverzeichnis

Formelverzeichnis

Abkürzungsverzeichnis

1 Einleitung und Zielsetzung

2 Information Retrieval

3 Semantische Suche

4 Jobsuchmaschinen

5 Systemorientierte Evaluation von IR-Systemen
5.1 Definition und Beschreibung
5.2 Zielsetzung
5.3 Erstellung der Dokumentenbasis
5.4 Erstellung der Suchanfragen
5.5 Erstellung der Relevanzeinschätzungen
5.6 Auswahl geeigneter Kennzahlen
5.6.1 Precision und Recall
5.6.2 Precision at rank k
5.6.3 Mean Average Precision
5.6.4 Discounted Cumulated Gains
5.6.5 Kendall-Tau-Koeffizient
5.6.6 Weitere Kennzahlen
5.7 Statistische Signifikanz

6 Objektive Evaluation von semantischen Jobsuchmaschinen
6.1 Zielsetzung
6.2 Erstellung der Dokumentenbasis
6.3 Erstellung der Wissensbasis
6.4 Erstellung der Suchanfragen
6.4.1 Eigenschaften und Bezugsquellen
6.4.2 Automatische Suchanfragegenerierung
6.5 Erstellung der Relevanzeinschätzungen
6.5.1 Empfehlungen und Besonderheiten
6.5.2 Relevanzschwelle
6.5.3 Automatische Relevanzeinschätzung
6.6 Auswahl geeigneter Kennzahlen
6.7 Statistische Signifikanz
6.8 Zusammenfassung

7 Prototypische Implementierung
7.1 Die semantische Jobsuchmaschine des SABINE-Projekts
7.2 Die syntaktische Jobsuchmaschine des SABINE-Projekts
7.3 Der Evaluationsprototyp
7.4 Instanziierung
7.4.1 Zielsetzung
7.4.2 Erstellung der Dokumentenbasis
7.4.3 Erstellung der Wissensbasis
7.4.4 Erstellung der Suchanfragen
7.4.5 Erstellung der Relevanzeinschätzung
7.4.6 Auswahl geeigneter Kennzahlen
7.4.7 Statistische Signifikanz

8 Ergebnisse
8.1 Precision und Recall
8.2 Precision at rank k
8.3 Mean Average Precision
8.4 Kendall-Tau-Koeffizient
8.5 Discounted Cumulated Gains
8.6 Statistische Signifikanz

9 Diskussion
9.1 Limitationen und Implikationen der Instanziierung
9.2 Limitationen und Implikationen der vorgestellten Methode

10 Fazit

Literaturverzeichnis

Anhang

Abbildungsverzeichnis

Abbildung 1: Schlüsselwortsuche und semantische Suche im Vergleich

Abbildung 2: Unterstützung des Personalbeschaffungsprozesses durch semantische Jobsuchmaschinen

Abbildung 3: Precision und Recall zu einer Suchanfrage S

Abbildung 4: Recall-Precision-Graph für durchschnittliche Precision-Werte zweier Suchsysteme

Abbildung 5: NDCG-Effektivität zweier Algorithmen über 10 Suchanfragen

Abbildung 6: Qualifikationsprofil eines Suchmaschinenanwenders in SABINE

Abbildung 7: Ausschnitt der Jobempfehlungen durch SABINE auf Basis eines Benutzerprofils

Abbildung 8: Übereinstimmende Qualifikationen des Suchmaschinenanwenders mit einem konkreten Stellenangebot

Abbildung 9: Ausschnitt der syntaktischen Version des SABINE-Projekts

Abbildung 10: Recall-Precision-Graph der syntaktischen und der semantischen Jobsuchmaschine mit allen Konfigurationen über 43 Suchanfragen

Abbildung 11: P@5, P@10 und P@20-Ergebnisse der syntaktischen und der semantischen Jobsuchmaschine

Abbildung 12: MAP-Ergebnisse der semantischen und der syntaktischen Suche über Suchanfragen mit einem Gewichtungsfaktor von 0%

Abbildung 13: MAP-Ergebnisse der semantischen und der syntaktischen Suche über Suchanfragen mit einem Gewichtungsfaktor von 75%

Abbildung 14: Einzelwerte und Durchschnitt des Kendall-Tau-Koeffizienten über Suchanfragen mit einem Gewichtungsfaktor von 50%

Abbildung 15: Dokumentenplatzierungen für Lauf 38 beider Suchsysteme mit 50%- Gewichtung

Abbildung 16: Normalisierte DCG-Ergebnisse der syntaktischen und der semantischen Jobsuchmaschine

Abbildung 17: Detaillierte normalisierte DCG-Effektivität der beiden semantischen Top- Konfigurationen in den ersten 30 Suchergebnissen

Abbildung 18: Histogramm von ( ) für die MAP-Differenz zwischen dem syntaktischen Algorithmus und dem semantischen Algorithmus mit 0%- Gewichtungsfaktor über 1000 Bootstrap-Replikationen

Tabellenverzeichnis

Tabelle 1: Precision und Recall-Ergebnisse des syntaktischen Algorithmus sowie der 0%, 75% und 100%-Konfiguration des semantischen Algorithmus

Tabelle 2: MAP-Ergebnisse und Differenzen der syntaktischen und der semantischen Jobsuchmaschine

Tabelle 3: Ergebnisse des Kendall-Tau-Koeffizienten der syntaktischen und der semantischen Suche

Tabelle 4: Konkrete Dokumentenplatzierung in den ersten zehn Suchergebnissen

Tabelle 5: Ergebnisse des statistischen Signifikanztests

Formelverzeichnis

Formel 1: Berechnung des Recalls

Formel 2: Berechnung der Precision

Formel 3: Berechnung der interpolierten Precision an den elf Recall-Niveaus

Formel 4: Berechnung der durchschnittlichen Precision an den elf Recall-Niveaus

Formel 5: Berechnung von P@k

Formel 6: Berechnung der Mean Average Precision für eine Suchanfrage

Formel 7: Berechnung der Mean Average Precision über eine Menge von Suchanfragen

Formel 8: Berechnung der Discounted Cumulated Gains für eine Platzierung k über eine Suchanfrage

Formel 9: Berechnung der Discounted Cumulated Gains für eine Platzierung k über eine Menge von Suchanfragen

Formel 10: Berechnung des NDCG-Vektors für eine Suchanfrage

Formel 11: Berechnung des Kendall-Tau-Koeffizienten

Formel 12: Berechnung der prozentualen Übereinstimmung der Qualifikationen aus Stellenanzeige und Bewerberprofil

Formel 13: Berechnung der prozentualen Übereinstimmung aus Sicht des Jobsuchenden

Formel 14: Berechnung der prozentualen Übereinstimmung aus Sicht des Arbeitgebers

Formel 15: Formel zur Berechnung der Differenz der MAP zwischen der syntaktischen und der semantischen Jobsuchmaschine des SABINE-Projekts

Formel 16: Formel zur Berechnung der Teststatistik

Formel 17: Formel zur Berechnung der Standardabweichung von z

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

Zusammenfassung

Die vorliegende Masterarbeit befasst sich mit der Entwicklung einer Methode zur objektiven Evaluation semantischer Jobsuchmaschinen und deren prototypische Implementierung. In einem ersten Teil wird die Fragestellung untersucht, wie die Leistung semantischer Jobsuchmaschinen gemessen werden kann. Der zweite Teil vergleicht die Leistung einer syntaktischen und einer semantischen Jobsuchmaschine durch eine prototypische Implementierung der vorgestellten Methode.

Die entwickelte Verfahrensweise basiert auf dem Standardverfahren zur Evaluation klassischer Suchmaschinen, das als einfach anzuwenden gilt und leicht zu interpretierende Kennzahlen zur Verfügung stellt. Allerdings besitzt der Ansatz mit der eingeschränkten Objektivität, der Fehleranfälligkeit und dem hohen Durchführungsaufwand einzelner Prozessschritte auch einige wesentliche Problemstellen. Deshalb untersucht die Arbeit auch, wie diese Problematiken gelöst werden können.

Um die zentralen Ziele zu beantworten, werden die in der Literatur auffindbaren Empfeh- lungen zur Evaluation von klassischen Suchmaschinen herausgearbeitet, mit den Anforde- rungen und Eigenschaften von semantischen Jobsuchmaschinen zu einer eigenständigen Methode zur Evaluation solcher Systeme integriert und schließlich die Leistung beider Jobsuchmaschinen durch eine prototypische Implementierung der Methode verglichen.

Im Ergebnis entstand eine Vorgehensweise, mit der die Leistung von semantischen Job- suchmaschinen objektiv evaluiert werden kann. Um die Objektivität der Methode zu ge- währleisten, wurde das Konzept der Relevanzschwelle eingeführt. Mit der automatisierten Suchanfragegenerierung und der automatischen Relevanzeinschätzung wurden zwei An- sätze zur Reduzierung des Durchführungsaufwands und der Fehleranfälligkeit vorgestellt.

Aus der prototypischen Implementierung der Methode ging ein umfangreicher Evaluati- onsprototyp hervor, mit dem die bessere Retrieval-Effektivität der semantischen Jobsuch- maschine auf Basis der zugrundeliegenden Testumgebung herausgestellt werden konnte.

1 Einleitung und Zielsetzung

Mit der Verbreitung des World Wide Webs wurden viele Bereiche unseres täglichen Le- bens dauerhaft beeinflusst. Die Art, wie wir miteinander kommunizieren, die Abwicklung unserer persönlichen und geschäftlichen Angelegenheiten und auf welche Weise wir In- formationen auffinden, nutzen und verbreiten, wurden durch die technologischen Fort- schritte, die das Internet mit sich brachte, für immer verändert. Durch seine Entwicklung hin zu einem integralen Bestandteil unserer Gesellschaft ist eine Abkehr von diesem Medi- um inzwischen undenkbar geworden. Der globale Siegeszug des Internets lässt sich auch statistisch belegen. Demnach hat sich die Zahl der weltweiten Internetnutzer von 2000 bis 2012 um mehr als 500% von 360 Millionen auf 2,4 Milliarden erhöht (Internet World Stats, 2012). Von diesen Entwicklungen ist auch der Arbeitsmarkt betroffen. Immer mehr Menschen nutzen das World Wide Web, um einen passenden Arbeitsplatz zu finden. 94% der Unternehmen schreiben offene Stellen inzwischen im Internet aus und 70% der Stel- lensuchenden nutzen Internetjobbörsen (BITKOM, 2009). In Deutschland verzeichneten die Online-Stellenportale nach Angaben des Hightech-Verbands BITKOM über 23 Millio- nen Besuche allein im dritten Quartal 2009 (BITKOM, 2009).

Um die Jobvermittlung auf diesen Plattformen noch effektiver zu gestalten, wird nach Möglichkeiten gesucht, um das Informationsbedürfnis der Nutzer noch besser abzudecken. Großes Potential wird in diesem Zusammenhang dem Konzept der semantischen Suche beigemessen. Diese Technologie arbeitet auf der Basis maschinenlesbarer Zusatzinformationen und soll dadurch die Qualität der Suchergebnisse im Vergleich zu klassischen Suchmaschinen steigern. Deswegen setzen inzwischen auch viele etablierte Anbieter von Online-Jobbörsen auf diese Technik (z. B. Stepstone¹ oder Monster² ).

Bevor die neuen Suchsysteme jedoch eingesetzt werden können, muss ihre Leistung zu- nächst in einem Testszenario evaluiert werden, um sicherzustellen, dass die Anwendung in der Praxis richtig funktioniert. Der systemorientierte Ansatz gilt hierbei als das Standard- verfahren zur Evaluation von klassischen Suchsystemen (Robertson, 2008). Grundlage dieser Methode bildet eine Testkollektion, die aus einer Dokumentenbasis, einer Menge von Suchanfragen sowie einer Menge von Relevanzeinschätzungen besteht (Baeza-Yates, 2011, S. 134). Die Dokumentenbasis enthält eine vorselektierte Auswahl an Dokumenten, auf der die zu evaluierenden Systeme arbeiten. Die Menge der Suchanfragen soll echte Benutzeranfragen simulieren und wird zur Überprüfung der Suchleistung automatisiert an die Systeme gesendet. Die Menge der Relevanzeinschätzungen enthält für jedes Dokument eine Klassifizierung, ob es bezüglich einer Suchanfrage relevant ist oder nicht (Baeza- Yates, S. 134). Anschließend wird durch die Auswertung verschiedener Effektivitätsmaße analysiert, wie gut das System in der Lage ist, relevante Dokumente zu finden und irrele- vante Dokumente zurückzuhalten (Womser-Hacker, 2004, S. 227). Die Methode ist ein- fach anzuwenden und bietet leicht zu interpretierenden Kennzahlen (Baeza-Yates, S. 134). Aber im Gegensatz zu dem systemorientierten Ansatz zur Evaluation von klassischen Suchsystemen gibt es noch kein standardisiertes Verfahren, um die Leistungsfähigkeit se- mantischer Suchmaschinen zu untersuchen (Blanco et al., 2013). Entsprechendes gilt für spezielle Anwendungsgebiete von semantischen Suchmaschinen wie die Suche nach Ar- beitsplätzen, wodurch die zügige Weiterentwicklung dieser Technologie eingeschränkt ist (Blanco et al., S. 2).

Der erste Teil der Arbeit beschäftigt sich daher mit der Entwicklung einer Vorgehenswei- se, mit der die Leistung semantischer Jobsuchmaschinen objektiv evaluiert werden kann. Die Methode soll auf Grundlage des etablierten systemorientierten Ansatzes erstellt wer- den, da sich die darin verwendeten Maßnahmen bereits über Jahrzehnte zur Evaluation von Suchmaschinen bewährt haben (Sanderson & Braschler, 2009). Allerdings besitzt der sys- temorientierte Ansatz auch einige wesentliche Probleme. Dazu gehören die eingeschränkte Objektivität der Messergebnisse, die Fehleranfälligkeit und der hohe Durchführungsauf- wand (vgl. Kapitel 5) . Deswegen soll auch untersucht werden, wie diese Aspekte gelöst werden können.

Der zweite Teil zielt auf die prototypische Implementierung der vorgestellten Methode ab, um die Leistung einer syntaktischen und einer semantischen Jobsuchmaschine miteinander zu vergleichen. Zu diesem Zweck soll ein Evaluationsprototyp erstellt werden, der die technische Umsetzung der beschriebenen Maßnahmen aufzeigt und die Kennzahlenaus- wertung durchführt.

Zur Beantwortung der zentralen Fragestellungen wird einem konstruktionsorientierten For- schungsansatz gefolgt (Frank, 2012). Dazu werden die in der Literatur auffindbaren Emp- fehlungen zur systemorientierten Evaluation von klassischen Suchsystemen herausgearbei- tet, mit den Anforderungen und Eigenschaften von semantischen Jobsuchmaschinen zu einer eigenständigen Methode zur Leistungsmessung solcher Systeme integriert und schließlich deren Anwendung durch eine prototypische Implementierung demonstriert.

Der Aufbau der Arbeit gliedert sich in zehn Kapitel. Dieses Kapitel beschäftigt sich mit Einleitung, Problemstellung und Zielsetzung der Arbeit und beschreibt deren grundsätzlichen Aufbau.

Die Methode des Hauptteils in Kapitel 6 basiert auf dem systemorientierten Ansatz zur Evaluation von klassischen Suchsystemen und behandelt als Untersuchungsobjekt semanti- sche Jobsuchmaschinen. Außerdem wird bei der Anwendung der Methode ein Vergleich zwischen einer klassischen und einer semantischen Jobsuchmaschine durchgeführt. Um die Ausführungen im Hauptteil nachvollziehen zu können, widmen sich die Kapitel 2 und 3 der Beschreibung von klassischen, sogenannten Information Retrieval-Systemen und dem Konzept der semantischen Suche. Kapitel 4 führt zunächst in die Aufgabe und den Aufbau klassischer Jobsuchmaschinen ein und erläutert anschließend die Eigenschaften und Be- sonderheiten der semantischen Variante. In Kapitel 5 erfolgt eine ausführliche Beschrei- bung des systemorientierten Ansatzes zur Evaluation von Information Retrieval-Systemen, der die Grundlage für die entwickelte Methode zur objektiven Evaluation von semanti- schen Jobsuchmaschinen bildet, die in Kapitel 6 vorgestellt wird. Die prototypische Im- plementierung der Methode zum Leistungsvergleich der syntaktischen und der semanti- schen Jobsuchmaschine wird in Kapitel 7 demonstriert. Im Anschluss daran werden in Ka- pitel 8 die Ergebnisse der Evaluation präsentiert und ausgewertet. Kapitel 9 diskutiert die Limitationen und Implikationen der konkreten Anwendung und der Methode selbst. Die Arbeit schließt mit einem Fazit in Kapitel 10, in dem die Zielsetzung und die daraus abge- leiteten Teilfragestellungen beantwortet werden und ein kurzer Ausblick auf zukünftige Entwicklungsperspektiven dieses Forschungsbereichs gegeben wird.

2 Information Retrieval

Information Retrieval (IR) ist eine Schlüsseltechnologie aus dem Bereich des Wissensmanagements und beschäftigt sich mit der Struktur, Analyse, Organisation, Speicherung, Suche und dem Abruf von Informationen (Salton, 1968). Die Anwendung der Technologie bezog sich ursprünglich hauptsächlich auf Textdokumente. Mit zunehmender Verbreitung des Internets zählen dazu inzwischen auch weitere Formen von Informationen wie Webseiten, Bilder, Videos, oder Audiodateien (Baeza-Yates, 2011, S. 1).

Schwerpunktmäßig befasst sich die Disziplin des Information Retrievals mit dem Problem des Suchvorganges, was sich auch aus der Bedeutung des Wortes Retrieval im Sinne von wieder- bzw. zurückgewinnen ableiten lässt (Poetzsch, 2006). „The central problem in IR is the quest to find the set of relevant documents, amongst a large collection, containing the information sought thereby satisfying an information need usually expressed by a user with a query.” (Crestani, Lalmas, & Van Rijsbergen, 1998, S. XIII). Die Herausforderung beim Wiederauffinden von Dokumenten besteht darin, aus einer meist großen Menge diejenigen Informationen herauszufiltern, die hinsichtlich des Informationsbedarfs eines Benutzers relevant sind. Der Informationsbedarf lässt sich definieren als „die Art, Menge und Quali- tät der Informationen, die eine Person zur Erfüllung ihrer Aufgaben in einer bestimmten Zeit benötigt.“ (Picot, Reichwald, & Wigand, 2003). Um die notwendigen Informationen zur Lösung eines Benutzerproblems zu erhalten, interagiert der Nutzer mit einem IR- System (Dengel, 2012, S. 233). Der Prozess gestaltet sich dabei wie folgt:

Zunächst leitet der Benutzer aus seinem Ursprungsproblem ein Informationsbedürfnis ab und wandelt dies in eine Suchanfrage um, die das verwendete System verarbeiten kann (Mizarro, 1997). Anschließend überprüft das System, ob die Worte der Suchanfrage im Text eines Dokumentes des systemeigenen Datenbestandes (auch Dokumentenkorpus oder Suchraum genannt) vorkommen. Dabei handelt es sich um einen syntaktischen Vergleich von Zeichenketten, weswegen diese Form der Suche auch als syntaktische Suche bezeich- net werden kann (Dengel, 2012, S. 233). Als Ergebnis werden dem Nutzer die Dokumente präsentiert, die das System aufgrund des Vergleichsvorgangs im Hinblick auf die Suchan- frage als relevant eingestuft hat (Kharkevich, 2009, S. 4). In der Regel werden die aufge- führten Informationen entsprechend ihrer Relevanz sortiert, sodass an oberster Stelle der Suchergebnisliste die Dokumente aufgeführt sind, die nach der Bewertung des Suchsys- tems die Benutzeranfrage am besten beantworten. Der Anwender kann durch die Präsenta- tion der Ergebnisse die für sein Problem benötigten Dokumente und Inhalte sichten und auswerten (Manning, 2008, S. 1 ff.). Typische Beispiele für IR-Systeme sind Fachdaten- banken, Webshops und insbesondere Websuchmaschinen (Ijesunor Akhigbe, Samuel A- folabi, & Rotimi Adagunodo, 2011). An sie können unterschiedliche Arten von Suchanfragen gerichtet werden (Broder, 2002): Informationsorientierte Suchanfragen stammen von Nutzern, die Dokumente mit relevanten Informationen zu bestimmten Themengebieten finden möchten. Navigationsorientierte Suchanfragen werden von Nutzen gestellt, die eine Website suchen und bei transaktionsorientierten Suchanfragen suchen Anwender einen webbasierten Dienst zur Durchführung einer Transaktion.

Das übergeordnete Ziel von Information Retrieval-Systemen ist das Auffinden aller Do- kumente, die bezüglich der Suchanfrage relevant sind. Gleichzeitig sollten so wenig irrele- vante Informationen wie möglich zurückgegeben werden (Baeza-Yates, 2011, S. 4). Bei diesem Vorgang handelt es sich um einen komplexen Prozess, bei dem klassische IR- Verfahren aufgrund ihrer Beschaffenheit teilweise an ihre Grenzen stoßen. Problematisch ist, dass solche Systeme nicht unterscheiden können, dass Begriffe wie „Laptop“ und „Notebook“ ein Synonym darstellen und die gleiche Bedeutung haben, während es sich bei dem Begriff „Bank“ um ein Homonym handelt, das sowohl eine Sitzgelegenheit wie auch ein Geldinstitut bezeichnen kann (Dengel, 2012, S. 233). Dies kann bezüglich einer Benut- zeranfrage, die diese Begriffe enthält, zu irrelevanten Suchergebnissen führen und die Qua- lität der Suche negativ beeinflussen. Eine neue Herangehensweise, mit denen diese Ein- schränkungen der klassischen IR-Technologie überwunden werden können, verspricht die semantische Suche, dessen Konzepte auf den Paradigmen des semantischen Webs basie- ren. Das folgende Kapitel widmet sich der Erläuterung dieses Prinzips.

3 Semantische Suche

Der Begriff Semantik steht in der Informatik für die Bedeutung von Worten oder Zeichen- ketten und deren Beziehung zueinander (Hitzler, 2008, S. 13). Die semantische Suche be- schreibt einen Suchprozess, der die inhaltliche Bedeutung von Texten und Suchanfragen berücksichtigt (Dengel, 2012). Dadurch kann das Informationsbedürfnis des Benutzers genauer erfasst und bessere Suchergebnisse geliefert werden als bei IR-Systemen (Dengel, S. 234). Eine notwendige Voraussetzung für die Anwendung dieser Suchtechnik ist eine Beschreibung von Informationen in der Form, dass Maschinen diese interpretieren können. Dieser Aufgabe hat sich das World Wide Web Consortium (W3C) verschrieben und grund- legende Standards für Sprachen definiert, mit denen maschinenlesbare Informationen spe- zifiziert werden können. Dazu zählen die Extensible Markup Language (XML) und das Resource Description Framework (RDF). Dabei handelt es sich um formale Sprachen zur strukturierten Beschreibung von Informationen (Hitzler, 2008, S. 35). Der Prozess des Hinzufügens solcher Informationen, die den Inhalt eines Dokuments in maschinenlesbarer Form beschreiben, wird als semantische Annotation bezeichnet (Reif, 2006, S. 405). Eine weitere wichtige Beschreibungssprache ist die sogenannte Web Ontology Language (OWL) (Hitzler, 2008, S. 11), die RDF um ausdrucksmächtigere Konzepte erweitert und dadurch die Erstellung komplexer Ontologien ermöglicht (Obitko, 2007).

Mit Ontologien kann Wissen einer Domäne (z. B. die Medizin oder der Arbeitsmarkt) for- mal repräsentiert und zwischen verschiedenen Diensten ausgetauscht werden (Blumauer & Pellegrini, 2006, S. 12). Dazu identifizieren sie eindeutig die Konzepte dieses Anwen- dungsgebiets, spezifizieren deren Bedeutung und setzen diese in Beziehung zueinander (Tolksdorf et al., 2006, S. 18). Dadurch unterstützen sie computergestützte Anwendungen, Inhalte interpretieren zu können. Die konkreten Instanzen der Ontologie bilden zusammen mit der Ontologie selbst die Wissensbasis eines semantischen Suchsystems (Erdmann, 2001, S. 74). Nachdem die grundlegenden Konzepte der semantischen Suche beschrieben wurden, wird ihre Funktionsweise durch einen Vergleich mit dem syntaktischen Suchpro- zess beschrieben (vgl. Abbildung 1).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Schlüsselwortsuche und semantische Suche im Vergleich In Anlehnung an (Dengel, 2012, S. 233)

Bei beiden Suchansätzen gestaltet sich zunächst der Ablauf der Suchanfrageableitung gleich, indem aus einem Benutzerproblem ein Informationsbedürfnis hervorgeht, welches anschließend in eine durch die Suchmaschinen interpretierbare Anfrage umgewandelt wird. Während die klassische Suche einen syntaktischen Vergleich zwischen eingegebenen Schlüsselwörtern und Elementen in der Dokumentenmenge vollzieht, arbeitet die semanti- sche Suche auf Grundlage der Wissensbasis, die unter anderem die semantischen Annota- tionen zu den Dokumenten enthält. In Verbindung mit den Konzepten der Ontologie ver- fügt sie dadurch, im Gegensatz zur klassischen Suche, über sogenanntes Hintergrundwis- sen (Dengel, 2012, S. 244). Bei der semantikbasierten Schlüsselwortsuche, der häufigsten Form der semantischen Suche, bestimmt das System zunächst die zu der Anfrage passen- den Konzepte der Ontologie und findet anschließend alle damit verwandten Instanzen aus der Wissensbasis auf (Dengel, S. 238). Dieser Vorgang wird auch als semantisches Mat- ching bezeichnet (Giunchiglia, 2011). So kann die semantische Suche beispielsweise aus den Begriffen „Adresse Müller, Schulz Neustadt“ schlussfolgern, dass es sich bei Neustadt um eine Stadt handelt und das Gesuchte die Adresse eines Geschäfts ist (Dengel, S. 234). Außerdem können Synonyme und Homonyme zu Suchbegriffen unterschieden werden. Durch das beschriebene Konzept kann das Informationsbedürfnis des Benutzers genauer erfasst werden, wodurch die semantische Suche bessere Suchergebnisse liefern kann (Den- gel, S. 234).

Neben der semantischen Schlüsselwortsuche gibt es auch noch weitere Formen semanti- scher Suchsysteme. Allgemein wird von semantischer Suche gesprochen, wenn semanti- sche Technologien innerhalb des Suchprozesses, bestehend aus Anfragegenerierung, ei- gentlicher Suche und Ergebnisdarstellung, zum Einsatz kommen. Bei sogenannten Questi- on Answering Tools ist dies beispielsweise schon bei der Suchanfrageeingabe durch den Benutzer der Fall. Dieser gibt eine natürlichsprachige Fragestellung ein, die das System mit Hilfe von linguistischem Wissen und Techniken des Natural Language Processing (NLP) analysiert, in eine formale Anfrage übersetzt und schließlich auf Basis verfügbarer semantischer Informationen verarbeitet und zu beantworten versucht (Dengel, 2012, S. 234 ff.).

Die Möglichkeiten der semantischen Suche machen sich unter anderem Jobsuchmaschinen zunutze, um die Suchergebnisse zu verbessern (vgl. Kapitel 1). Der Hauptteil dieser Arbeit untersucht, wie für semantische Jobsuchmaschinen eine Evaluierungsmethode entwickelt werden kann. Daher ist das Verständnis über die Eigenschaften und Besonderheiten dieser Systeme von großer Bedeutung. Aber auch Kenntnisse über die Aufgaben und Anforde- rungen klassischer Jobsuchmaschinen sind für die Nachvollziehbarkeit dieser Arbeit wich- tig, da die prototypische Implementierung in Kapitel 7 einen Leistungsvergleich zwischen einer semantischen und einer klassischen Jobsuchmaschine durchführt. Deswegen be- schreibt das folgende Kapitel beide Varianten.

4 Jobsuchmaschinen

Bei einer Jobsuchmaschine bzw. Online-Jobbörse handelt es sich um einen Stellenmarkt im Internet, auf dem verschiedene Unternehmen ihre Stellenausschreibungen veröffentli- chen können, um dadurch neue Mitarbeiter zu rekrutieren (Brickwedde, Kärcher, & Zils, 2014). Klassische Jobsuchmaschinen arbeiten auf Basis von IR-Techniken, um Arbeitssu- chenden passende Stellenangebote bezüglich ihrer Suchkriterien aufzuzeigen (Brickwedde et al.) . Zu diesem Zweck setzt sich ihre Datenbasis aus einer Reihe von Stellenanzeigen zusammen, die sich auf unterschiedlichste Berufe und Berufsfelder beziehen und von ver- schiedenen Arbeitgebern stammen (Brickwedde et al.). Jobsuchmaschinen unterstützen dadurch einen Teil des Personalbeschaffungsprozesses, dessen Ziel die bedarfsgerechte und kostengünstige Versorgung von Unternehmen mit potenziellen Arbeitskräften ist (Oechsler, 2006, S. 208).

Eine Stellenausschreibung enthält in der Regel Angaben zum Unternehmen, eine Be- schreibung des zukünftigen Aufgaben- und Verantwortungsbereichs des neuen Mitarbei- ters, ein Anforderungsprofil des Bewerbers, das die notwendigen Qualifikationen, Kompe- tenzen und Erfahrungen für die ausgeschriebene Stelle eindeutig aufzeigt, Arbeitsbedin- gungen und Entwicklungsmöglichkeiten, Arbeitgeberleistungen wie Gehalt und Sozialleis- tungen sowie organisatorische Angaben zum Eintrittstermin oder zu den erforderlichen Bewerbungsunterlagen (Athanas, 2011) . Die Informationen zu einer vakanten Stelle wer- den gewöhnlich durch die Personalabteilung eines Unternehmens erfasst und in einer Frei- textbeschreibung auf der eigenen Unternehmenswebsite oder bei Jobsuchmaschinen wie der Arbeitsagentur³, Stepstone oder Monster gespeichert (Bizer et al., 2005, S. 1370). Die meisten dieser Anbieter speichern die Stellenanzeigen ohne semantische Zusatzinformatio- nen ab (Bsiri & Geierhos, 2007, S. 229), wodurch die maschinelle Verarbeitung dieser Dokumente in späteren Phasen des Personalbeschaffungsprozesses limitiert ist (Bizer et al., S. 1370). Innerhalb der Datenbasis kann dann nur eine Schlagwortsuche durchgeführt wer- den, bei der das System Jobangebote zurückliefert, die einen Teil der Suchbegriffe des Arbeitsuchenden beinhalten. Analog zu den Ausführungen in Kapitel 2 handelt es sich dabei im Wesentlichen um einen syntaktischen Vergleich von Zeichenketten, weswegen die Anwendung auch als syntaktische Jobsuchmaschine bezeichnet werden kann. Daraus ergeben sich die gleichen grundlegenden Probleme wie bei IR-Systemen (vgl. Kapitel 2). Beispielsweise wird bei der Suche nach dem Begriff „CEO“ nicht nach bedeutungsglei- chen Begriffen wie „Direktor“, „Geschäftsführer“ oder „Unternehmensleiter“ gesucht, wodurch letztlich nicht alle für einen Benutzer relevanten Stellenanzeigen aufgeführt wer- den (Jobagent, 2014). Darüber hinaus finden sich in der Ergebnisliste viele irrelevante Jobangebote, weshalb die Qualität der Suchergebnisse oftmals niedrig ist (Brickwedde et al., 2014) und damit den eigentlichen Informationsbedarf des Nutzers schlecht abdeckt.

Semantische Jobsuchmaschinen versuchen durch den Einsatz semantischer Technologien die Durchführung der Suche und die Qualität der Suchergebnisse zu verbessern (Jobagent, 2014). An dieser Stelle sei darauf hingewiesen, dass es bislang nur wenige im Einsatz be- findliche semantische Jobsuchmaschinen gibt, die sich in ihrer Art und dem Umfang, wie sie die semantische Technologie einsetzen, unterscheiden (siehe unten). Die meisten ver- wertbaren Informationen zur Nutzung der Semantik in diesem Bereich stammen aus proto- typischen Ansätzen aus der Wissenschaft (Bizer et al., 2005; Strohmeier & Gasper, 2011). Die nachfolgenden Ausführungen versuchen daher, die grundlegenden Verfahrensweisen zur Nutzung der semantischen Technologie, die den meisten Ansätzen gemein ist, zu erläu- tern.

Ein wesentlicher Unterschied zu klassischen Jobsuchmaschinen ist die Verwendung se- mantischer Zusatzinformationen, um die Maschinenlesbarkeit der Stellenanzeigen zu ver- bessern (Strohmeier & Gasper, 2011). Zu diesem Zweck werden neben der klassischen Freitextbeschreibung auch semantische Annotationen zu den Stellenanzeigen angefügt (Tolksdorf et al., 2006, S. 18). Diese werden aus einer Ontologie abgeleitet, die die rele- vanten Konzepte bei der Arbeitsvermittlung wie etwa Berufe und Qualifikationen be- schreibt (Strohmeier & Gasper, 2011). Die Gestaltung der beiden Aspekte erfolgt individu- ell und wird dem Anwendungszweck angepasst. Beispielsweise kann die Ontologie die Konzepte „Qualifikationen“ und „Berufe“ enthalten und in Beziehung zueinander setzen (z. B. „Berufe“erfordern „Qualifikationen“). Die Ontologie kann die Konzepte auch in Analogie zu einem Thesaurus, einem kontrollierten Vokabular, beschreiben, wodurch bei- spielsweise Synonyme von Konzepten festgehalten werden können. Dadurch findet die Suchmaschine zu dem Begriff „Manager“ auch Stellenanzeigen, die die synonymen Be- griffe „CEO“ oder „Geschäftsführer“ enthalten (Strohmeier & Gasper). Auf Grundlage dieser Architektur sind semantische Jobsuchmaschinen im Gegensatz zu der syntaktischen Variante in der Lage, bedeutungsgleiche und verwandte Inhalte aufzufinden und dadurch die Qualität der Suchergebnisse zu erhöhen.

Arbeitssuchende können je nach Funktionsumfang der Online-Jobbörse nicht nur auf Basis einer semantikbasierten Schlüsselwortsuche passende Stellenangebote finden, sondern bei- spielsweise auch über das Anlegen eines persönlichen Profils, in dem Bewerber ihre per- sönlichen Qualifikationen festhalten. Diese basieren auf den Konzepten der Ontologie. Dadurch kann der Personalbeschaffungsprozess in zweierlei Hinsicht unterstützt werden (vgl. Abbildung 2):

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Unterstützung des Personalbeschaffungsprozesses durch semantische Jobsuchmaschinen In Anlehnung an (Bizer et al., 2005, S. 1369)

Zum einen kann das semantische Suchsystem dem Unternehmen auf Basis der Bewerber- profile und der ausgeschriebenen Stellenanzeige mit Hilfe eines semantischen Matching- Algorithmus eine automatische Vorauswahl von potentiellen Kandidaten ermöglichen. Bewerber wiederum erhalten geeignete Stellenausschreibungen, die ihrem Profil am besten entsprechen (Bizer et al., 2005, S. 1371). Aufgrund dieses Prozesses können insbesondere semantische Jobsuchmaschinen der Kategorie der Empfehlungssysteme zugeordnet wer- den. Dabei handelt es sich um ein „System, das einem Benutzer in einem gegebenen Kon- text aus einer gegebenen Entitätsmenge aktiv eine Teilmenge „nützlicher“ Elemente emp- fiehlt.“ (Klahold, 2009, S. 1). Die Suchmaschinen empfehlen Bewerbern nützliche Stellen- angebote, während Unternehmen Kandidatenempfehlungen erhalten. Der Kontext besteht aus dem Benutzerprofil, der Entitätsmenge und der Situation. Die Situation meint unter anderem das Datum, die Uhrzeit und das verwendete Endgerät des Benutzers (Klahold, S. 1). Im Falle von semantischen Jobsuchmaschinen setzen sich die restlichen Elemente des Kontextes (das Benutzerprofil und die Entitätsmenge) aus dem Bewerberprofil und den Stellenanzeigen zusammen, wenn von der Bewerbersicht ausgegangen wird. Tritt das Un- ternehmen in der Rolle des Benutzers auf, handelt es sich bei dem Benutzerprofil um die eigene Stellenanzeige und bei der Entitätsmenge um die Menge der Bewerberprofile. Aus der jeweiligen Entitätsmenge (Stellenanzeigen bzw. Benutzerprofile) erhält der entspre- chende Benutzer (Bewerber bzw. Unternehmen) nützliche Empfehlungen.

Inzwischen erhält die semantische Technologie langsam Einzug bei der Jobsuche. So bietet Monster mittlerweile eine semantische Stellensuche an, die Unternehmen passende Job- kandidaten auf Basis von Lebensläufen und Stellenanforderungen vorschlägt (Luzar & Seeanner, 2012). Jobsuchende werden bei Jobagent bei der Suche nach einem neuen Ar- beitsplatz unterstützt, indem beispielsweise neben den eingegebenen Suchwörtern auch nach verwandten oder ähnlichen Begriffen gesucht wird. Ein weiteres Beispiel für eine semantische Jobsuchmaschine wurde vom „Lehrstuhl für Betriebswirtschaftslehre, insbe- sondere Management-Informationssysteme“ der Universität des Saarlandes von Universi- tätsprofessor Dr. Stefan Strohmeier entwickelt. Dort legen Benutzer ein Qualifikationspro- fil an und erhalten basierend darauf passende Jobempfehlungen. Die Leistung dieser Suchmaschine wird in Abschnitt 7 mit der Leistung einer syntaktischen Jobsuchmaschine verglichen. Ihr Aufbau wird in Kapitel 7.1 spezifiziert.

Unabhängig davon, welche Art von Jobsuchmaschine eingesetzt wird, spielt die Evaluie- rung der Systeme eine entscheidende Rolle. Ohne eine ausführliche Analyse der Leistungs- fähigkeit in einer Testumgebung kann das Verhalten der Anwendungen im praktischen Einsatz nicht vorhergesagt werden und zu Fehlern führen. Der folgende Abschnitt erläutert zunächst die Evaluierung klassischer IR-Systeme, mit der beispielsweise syntaktische Job- suchmaschinen untersucht werden können. Die darauf aufbauende Methode in Kapitel 6 zielt darauf ab, die Leistung semantischer Jobsuchmaschinen zu analysieren.

5 Systemorientierte Evaluation von IR-Systemen

Der folgende Abschnitt befasst sich zunächst mit einer Beschreibung des Evaluationsbe- griffs und zeigt, welche Evaluationsansätze sich bei der Leistungsmessung von Suchma- schinen unterscheiden lassen. Anschließend wird das Prinzip der systemorientierten Evalu- ation ausführlich beschrieben, auf dessen Grundlagen die Methode in Abschnitt 6 basiert.

5.1 Definition und Beschreibung

Der Begriff der Evaluation bezeichnet allgemein einen Prozess zur Analyse und Bewer- tung eines Sachverhalts (Brockhaus, 2003) . Die Evaluation von Information Retrieval- Systemen beschäftigt sich mit dem Prozess der Überprüfung, wie gut ein System den In- formationsbedarf des Nutzers abgedeckt (Baeza-Yates, 2011, S. 131). Dadurch lassen sich viele praktische Fragestellungen zum Einsatz solcher Systeme beantworten, etwa wie gut ein bestimmter Algorithmus arbeitet oder welches System im Vergleich am besten ab- schneidet. Ohne eine ausführliche Analyse der Leistungsfähigkeit eines IR-Systems kann diese nicht mit Gewissheit vor der eigentlichen Nutzung bestimmt werden (Sanderson & Braschler, 2009, S. 1). Bei der Evaluation von IR-Algorithmen lassen sich zwei Analyseverfahren unterscheiden (Womser-Hacker, 2004, S. 227):

Zum einen bestimmt die Effektivitätsanalyse die Fähigkeit eines Systems, die richtigen Informationen aufzufinden (Croft, 2010, S. 269) , während die Effizienzanalyse die Kosten, Zeit und Ressourcen bemisst, die dafür benötigt wurden (Büttcher, 2010). Bezüglich der Effektivitätsbewertung kann zudem zwischen dem system- und benutzerorientierten Ansatz unterschieden werden (Turpin & Scholer, 2006, S. 12):

Der systemorientierte Ansatz untersucht die Leistungsfähigkeit eines Systems in Bezug auf das Wiederauffinden von Dokumenten. Im Gegensatz dazu rücken bei der benutzerorien- tierten Evaluation die Systemanwender und deren Informationsbedarf in den Vordergrund (Turpin & Scholer, 2006, S. 12 ff.). So werden für diese Art der Evaluation Versuchsper- sonen benötigt, die innerhalb vorgegebener Anwendungsszenarien mit einem oder mehre- ren Systemen interagieren und je nach zu untersuchender Fragestellung den Suchprozess an sich (wie den Suchaufwand, die Präsentation der Ergebnisse und die benötigte Zeit), die Qualität der Lösungen oder die persönlich gemachten Erfahrungen bewerten (Kelly, 2009, S. 12).

Sowohl die Effizienzanalyse als auch der benutzerorientierte Ansatz bilden wichtige Bestandteile für eine umfassende Evaluation von Suchmaschinen (Clough & Sanderson, 2013). Die systemorientierte Bewertung ist in der Praxis der IR-Forschung allerdings am weitesten verbreitet (Womser-Hacker, 2004) und stellt den Hauptbestandteil aller wichtigen Evaluierungsinitiativen dar (Manning, 2008). Die Methode ist einfach anzuwenden und bietet leicht zu interpretierenden Kennzahlen (Baeza-Yates, 2011, S. 134). Aufgrund dessen basiert die zu entwickelnde Methode zur Evaluation semantischer Jobsuchmaschinen auf diesem Prinzip (vgl. Kapitel 6). Außerdem können zukünftige Anwender auf bereits vorhandenes Erfahrungswissen aus dem systemorientierten Ansatz bei der Anwendung der vorgestellten Verfahrensweise zurückgreifen.

Der systemorientierte Evaluationsansatz untersucht, wie gut ein System durch das Auffin- den relevanter Dokumente den Informationsbedarf des Nutzers abdeckt (Clough & Sander- son, 2013). Dabei bilden die Vorgehensweisen des Cranfield-Paradigmas die Standardver- fahrensweisen zur Evaluierung von Suchmaschinen (Blanco et al., 2013, S. 4). Grundlage dieser Methode bildet eine Testkollektion, die aus einer Dokumentenbasis, einer Menge von Suchanfragen sowie einer Menge von Relevanzeinschätzungen besteht (vgl. Kapitel 1). Inzwischen gibt es viele Initiativen, die sich auf die Evaluation von Forschungsideen im IR-Umfeld spezialisiert haben (Manning, 2008). Diese stellen sogenannte Referenz- Testkollektionen zur Verfügung, die den Schwerpunkt auf unterschiedliche Suchszenarien wie die Text- und Bildersuche, oder die Suche in asiatischen Sprachen legen (Sanderson & Braschler, 2009, S. 2). Zu den wichtigsten internationalen Konferenzen zählen die „Text REtrieval Conference“ (TREC), das „Cross Language Evaluation Forum“ (CLEF) und die Initiative „National Institute for Informatics Test Collection for IR Systems“ (NTCIR) (Sanderson & Braschler, S. 2).

Die Referenz-Testkollektionen bieten aufgrund des Erfahrungswissens, das über die Jahre in die Gestaltung und Optimierung der Testkollektionen eingeflossen ist, einen großen Mehrwert für die IR-Gemeinschaft. Sie können direkt in anderen Experimenten eingesetzt werden, wodurch die Leistungsfähigkeit der eigenen Systeme evaluiert und mit anderen auf der gleichen Grundlage verglichen werden kann. Für andere Initiativen bietet sich die Möglichkeit, die Ergebnisse früherer Arbeiten zu reproduzieren und zu überprüfen, ob die gemessenen Ergebnisse korrekt sind (Sanderson & Braschler, 2009, S. 2). Allerdings exis- tieren nicht für alle Anwendungsbereiche geeignete Testkollektionen und müssen entspre- chend selbst entwickelt werden (Clough & Sanderson, 2013). Dabei sollten einige Beson- derheiten berücksichtigt werden, damit die gemessenen Ergebnisse objektiv, nachvollzieh- bar und vergleichbar bleiben. Viele Arbeiten beschränken sich dabei lediglich auf die Vor- gehensweise des Cranfield-Paradigmas und stehen deshalb in der Kritik, entscheidende Schritte bei der Evaluation zu übergehen (Büttcher, 2010; Mark Sanderson & Zobel, 2005). Dazu zählt zu Beginn des Evaluationsvorhabens eine klare Zielsetzung, die den Rahmen der Evaluation vorgibt, sowie am Ende die Verwendung statistischer Verfahren, um die Messergebnisse auf ihre Signifikanz hin zu überprüfen . Zwei Arbeiten, die diese Elemente mit in das Rahmenwerk der Evaluation von Suchmaschinen einbinden, sind die Werke von Büttcher (2010) sowie Sanderson und Braschler (2009). Im Wesentlichen glie- dern sich die darin auffindbaren Evaluationsschritte in die Festlegung des Evaluationsziels, den Aufbau einer eigenen Testkollektion, der Auswahl geeigneter Kennzahlen zur Leis- tungsmessung und einer statistischen Methode, um die Aussagekraft der Ergebnisse beur- teilen zu können (Büttcher, S. 406) . Diese Arbeit folgt dem Ansatz der beiden Autoren und erläutert die Gestaltung einer eigenen Testkollektion auf Basis dieser Einteilung. Die Er- läuterung beginnt mit der Zielsetzung.

5.2 Zielsetzung

Um sich im Vorhinein mit allen wichtigen Aspekten der Evaluation intensiv auseinanderzusetzen, sollten zunächst folgende Fragestellungen beantwortet werden. Ihre Beachtung hat einen entscheidenden Einfluss auf das Testdesign der Evaluation und die dafür benötigten Ressourcen (Sanderson & Braschler, 2009, S. 4 ff.):

Welche Ziele werden mit der Evaluation verfolgt?

Je nachdem, ob zwei Systeme miteinander verglichen werden sollen, ein einzelnes optimiert oder ein Langzeittest mit einem Suchsystem durchgeführt werden soll, beeinflusst dies die Ausgestaltung des Evaluationsvorhabens. So wird beim direk- ten Systemvergleich im Rahmen einer Kaufentscheidung die Evaluierung norma- lerweise nur einmal durchgeführt. Dagegen werden bei der Systemoptimierung mehrere Evaluationsläufe mit unterschiedlichen Parametern getestet, um die besten Einstellungen herauszufinden. Die Testkollektion bleibt dabei die gleiche. Bei einer Langzeitevaluation können sich hingegen die Suchanfrageformen und die Themen- gebiete, aus denen diese stammen, von Testintervall zu Testintervall ändern.

Welche Ressourcen stehen zur Verfügung?

Zur Erstellung der Testkollektion und Durchführung der Evaluation werden menschliche, technische und finanzielle Ressourcen benötigt. Um diese kalkulieren zu können, muss der Umfang des Evaluationsvorhabens abgeschätzt werden. Sind diese begrenzt, kann dies den Rahmen der Evaluation und die gewählten Maßnahmen bereits im Vorfeld beeinflussen.

Wie sieht das typische Suchverhalten auf den zu testenden Systemen aus?

Unterschiedliche Arten von Suchmaschinen wurden für unterschiedliche Suchaufträge entwickelt und erfordern unterschiedliche Suchanfragen. Beispielsweise lassen sich spezifische von einfachen Suchanfragen unterscheiden. Bei ersteren kann Expertenwissen zur Relevanzeinschätzung notwendig sein, welches bei einfachen Suchaufträgen nicht erforderlich ist. Das Verständnis darüber, wie zukünftige Anwender mit den zu testenden Systemen interagieren, ist ein entscheidender Aspekt bei der Konzeption des Evaluationsvorhabens.

Wie ist der Kenntnisstand über die zu testenden Systeme?

Abschließend müssen die qualitativen Eigenschaften der zu testenden Systeme be- rücksichtigt werden, etwa ob zwei Systeme die Suchergebnisse auf gleiche Art zu- rückgeben, ob sie über die gleichen Suchfunktionalitäten verfügen und welche Auswirkungen sich aus Unterschieden für die Durchführung der Evaluation erge- ben.

Wenn alle Fragestellungen beachtet worden sind können die Komponenten der Testkollektion konstruiert werden.

5.3 Erstellung der Dokumentenbasis

Die Dokumentenbasis stellt die Datengrundlage dar, auf der die zu evaluierenden Systeme ihre Suchalgorithmen ausführen und Suchergebnisse liefern . Sie sollte einen repräsentati- ven Ausschnitt des zukünftigen Einsatzgebiets der Testalgorithmen darstellen (Clough & Sanderson, 2013). Diese Aussage bezieht sich auf die Größe, Anzahl und Art der Doku- mente (Manning, 2008) . Obwohl damit die Anforderungen an die Dokumentenbasis primär durch das Anwendungsgebiet vorbestimmt sind, lassen sich dennoch einige allgemeine Hinweise zur Gestaltung der Dokumentenbasis anführen. Diese gehen aus der Ableitung von Eigenschaften und Besonderheiten im Einsatz befindlicher Dokumentenbasen hervor (Clough & Sanderson; Sparck-Jones & Van Rijsbergen, 1975, S. 7 ff.).

Die enthaltenen Dokumente unterscheiden sich einerseits thematisch voneinander und de- cken dadurch eine große Bandbreite von Themengebieten ab, zu denen nicht nur häufig nachgefragte, sondern auch spezielle Themenbereiche gehören. Andererseits beziehen sich auch viele auf einen gemeinsamen Themenschwerpunkt. Um bei Suchalgorithmen die Fä- higkeit zu testen, Inhalte zu bestimmten Themengebieten zu finden, wie auch die Unter- scheidungsfähigkeit bei Suchanfragen innerhalb eines Themengebietes zu messen, muss die Testdokumentenbasis solche Dokumente enthalten. Idealerweise stammen die Doku- mente zudem aus verschiedenen Quellen und von verschiedenen Autoren, um objektive Ergebnisse zu ermöglichen (Sparck-Jones & Van Rijsbergen, 1975, S. 7 ff.).

Die Daten zur Erstellung der Dokumentenbasis können aus der anwendungseigenen Da- tenbank stammen. Diese beinhaltet normalerweise genau die Art von Dokumenten (inhalt- lich und strukturell), die das Suchsystem auch im zukünftigen Einsatzgebiet verwendet (Clough & Sanderson, 2013; Sanderson & Braschler, 2009, S. 5). Kann nicht auf eine sol- che Datenbank zurückgegriffen werden, muss eine Dokumentenbasis gefunden werden, die eine bestmögliche Annäherung daran darstellt (Sanderson & Braschler, S. 5). Dabei kann es sich um Datenbanken oder Dokumentenbestände ähnlicher Systeme handeln. Falls die Zielapplikation auf keine spezielle Anwendungsdomäne bezogen ist, sollten mehrere Da- tenquellen benutzt werden, um eine Abhängigkeit der Ergebnisse von nur einem Doku- mentenkorpus auszuschließen (Manning, 2008) . Technisch ist darauf zu achten, dass die Suchalgorithmen vollständigen Zugriff auf die gleiche Datengrundlage haben (Sanderson & Braschler, 2009, S. 5) . Untersuchungen haben gezeigt, dass andernfalls die Evaluationsergebnisse verfälscht sein können (Sanderson & Braschler, S. 5).

Was die Gesamtanzahl der verwendeten Dokumente betrifft, lassen sich keine eindeutigen Empfehlungen aus der untersuchten Literatur ableiten. Einige TREC Web-Kollektionen bestehen aus bis zu 27 Millionen Dokumenten, während kleinere Referenz- Testkollektionen zwischen 80 und 6000 Dokumenten enthalten (Baeza-Yates, 2011, S. 162 ff.). Als Anhaltspunkt kann den Empfehlungen von Sparck-Jones und Van Rijsbergen (1975) gefolgt werden, die in ihren Ausführungen zur Strukturierung einer idealen Testkol- lektion eine Anzahl von 10.000 bis 30.000 Dokumenten für große Testkollektionen, bei mittleren 2000 bis 5000 und bei kleinen Kollektionen 500-1000 nennen. Die Zahlenwerte sind insbesondere bei den kleinen Kollektionen so gewählt, dass sie unabhängigen Evalua- tionsprojekten mit geringen Ressourcen die Durchführung der Evaluation ermöglichen, aber gleichzeitig noch eine gewisse experimentelle Gültigkeit aufweisen. Entscheidend für die Größe der Dokumentenbasis ist die Anzahl der verwendeten Daten in einem gleichen oder ähnlichen operationalen System (Sparck-Jones & Van Rijsbergen).

5.4 Erstellung der Suchanfragen

Die bei der Evaluation verwendeten Suchanfragen sollten die echter Benutzer widerspie- geln, die zukünftig mit den Systemen interagieren (Clough & Sanderson, 2013). In Analo- gie zu den Anforderungen an die Beschaffenheit der Dokumente (vgl. Abschnitt 5.2.2) sollten sich die Suchanfragen inhaltlich voneinander unterscheiden und sich sowohl auf verschiedene sowie gleiche Themenschwerpunkte beziehen (Sparck-Jones & Van Rijsber- gen, 1975, S. 10) . Ebenso sollte sich ein Teil der Suchaufträge nur auf einige spezielle Themen beziehen, während mit anderen ein breites Themenfeld angesprochen wird. Je nach realem Nutzerverhalten müssen informationsorientierte, navigationsorientierte und transaktionsorientierte Suchanfragen Bestandteil der Evaluation sein (Sanderson & Brasch- ler, 2009, S. 6).

Die Suchaufträge können aus Aufzeichnungen gleicher oder ähnlicher Anwendungen, von potentiellen Suchmaschinenanwendern oder von Domänenexperten stammen (Clough & Sanderson, 2013). Die Erstellung der Suchaufträge durch Menschen hat den Vorteil, dass dadurch der ursprüngliche Informationsbedarf zu einer Suchanfrage festgehalten werden kann. Die Aufzeichnungen hingegen stellen zwar eine gute Quelle zur einfachen Extrakti- on realer Nutzeranfragen dar (Manning, 2008), jedoch ist es meist schwierig, den ur- sprünglichen Informationsbedarf des Benutzers daraus zu rekonstruieren (Sanderson & Braschler, 2009, S. 6). Dies kann zu Fehlern bei der Relevanzeinschätzung führen, da un- abhängigen Juroren dadurch der Kontext zu den Suchanfragen fehlt. Deswegen ist es sinn- voll, die Suchanfragen von zukünftigen Anwendern oder Experten formulieren zu lassen und analog zu der Vorgehensweise der TREC-Konferenzen zu jedem Suchauftrag einen beschreibenden Thementitel und eine Erläuterung des Informationsbedarfs festzuhalten (Clough & Sanderson). Wichtig ist hierbei, dass die Informationsbedarfe nicht mehrdeutig sind, damit die Relevanz von Dokumenten eindeutig bestimmt werden kann (Sanderson, 2010, S. 289) .

Damit belastbare Evaluationsergebnisse erstellt werden können, sollten mindestens 50 Suchanfragen ausgewertet werden (Clough & Sanderson, 2013; Manning, 2008). Bei we- niger als 25 Suchanfragen steigt die Wahrscheinlichkeit, dass die Ergebnisse unverwertbar sind (Manning). Mit steigender Anzahl der Suchanfragen steigt auch die Aussagekraft der Evaluationsergebnisse (Clough & Sanderson) . Ein limitierender Faktor stellt hierbei der aufwendige Prozess der Relevanzeinschätzungen dar (Manning, 2008), der im folgenden Abschnitt erläutert wird.

5.5 Erstellung der Relevanzeinschätzungen

Die Relevanzeinschätzung bildet eines der zentralen Konzepte bei der Evaluation von IR- Systemen. Bei diesem Prozess entscheiden in der Regel menschliche Juroren, ob ein Do- kument aus der Dokumentenbasis bezüglich eines Informationsbedarfs relevant ist oder nicht (Sanderson & Braschler, 2009, S. 8). Idealerweise wird dieser Vorgang von den Per- sonen durchgeführt, die zuvor die Suchanfragen erstellt haben (Clough & Sanderson, 2013). Sie können am besten entscheiden, welche Dokumente zu ihren Suchanfragen rele- vant sind. Alternativ kann dieser Prozess auch von unabhängigen Entscheidern übernom- men werden, die allerdings darin geschult werden müssen, wie sie die Relevanz eines Do- kuments zu beurteilen haben (Manning, 2008) .

Die Relevanzeinschätzung wird gewöhnlich entsprechend einer binären Kategorisierung vorgenommen, bei der nur zwischen relevanten und irrelevanten Dokumenten unterschie- den wird (Sanderson & Braschler, 2009, S. 9). In letzter Zeit werden auch häufiger mehr- stufige Klassifizierungen verwendet, die die Relevanz von Dokumenten beispielsweise in sehr relevant, teilweise relevant und irrelevant einteilen (Manning, 2008). Sie gibt eher den realen Sachverhalt wider, wonach der Informationsgehalt der einzelnen Dokumente den Informationsbedarf des Suchenden in unterschiedlich hohem Maße abdeckt (Büttcher, 2010) . Allerdings sind mehrstufige Relevanzeinschätzungen deutlich komplexer zu erstellen und somit fehleranfälliger als binäre (Baeza-Yates, 2011, S. 150) .

Die Anzahl an benötigten Relevanzeinschätzungen ist direkt verknüpft mit der Anzahl der zur Evaluierung eingesetzten Suchanfragen und der Anzahl der Dokumente, die von den Juroren in der verfügbaren Zeit kategorisiert werden können. Carterette et al. (2008) fanden heraus, dass die Jurorenzeit am besten dazu genutzt wird, möglichst viele Suchanfragen abzuarbeiten und die Relevanzeinschätzung oberflächlich durchzuführen (dieser Ansatz wird als „wide and shallow“ bezeichnet), anstatt bei wenigen Dokumenten eine ausführliche Relevanzuntersuchung durchzuführen („deep and narrow“ - Ansatz) (Carterette et al., 2008; Mark Sanderson & Zobel, 2005). Die Anzahl der Relevanzeinschätzungen ist auch abhängig von der Wahl der Evaluationsmetriken.

Bei bestimmten Kennzahlen müssen nur die ersten zehn Einträge der Suchmaschine auf ihre Relevanz hin untersucht werden, während andere Metriken darauf basieren, dass alle Elemente des Dokumentenkorpus eine Relevanzeinteilung erhalten (vgl. Kapitel 5.3). Ge- rade letzteres ist für sehr große Kollektionen wie dem Web mit Hundertausenden von Do- kumenten mit traditionellen Methoden nicht mehr durchführbar. Außerdem gilt die Rele- vanzeinschätzung aufgrund der menschlichen Beteiligung, der Komplexität und dem benö- tigten Zeitaufwand als der limitierende Faktor bei der Evaluierung (Golbus, Zitouni, Kim, Hassan, & Diaz, 2014, S. 1; Samimi & Ravana, 2014, S. 1) . Deswegen gibt es inzwischen einige Ansätze, mit denen dieser Vorgang effizienter gestaltet werden kann.

Eine Variante stellt das Pooling-Verfahren dar. Dabei wird für jede Suchanfrage nur eine feste Anzahl von Suchergebnissen durch Juroren bewertet, die durch die zu evaluierenden Systeme zurückgegeben werden. Alle nicht gefundenen Dokumente werden als irrelevant eingestuft. Ziel der Methode ist eine möglichst präzise Annäherung an die Gesamtzahl der in der Kollektion enthaltenen relevanten Dokumente. Hierbei besteht jedoch das Risiko, dass die Effektivitätsbewertung der Systeme verfälscht wird, weil die Anzahl der nicht bewerteten Dokumente bei großen Testkollektionen unter Umständen sehr umfangreich sein kann. Dadurch können viele relevante Dokumente fälschlicherweise als irrelevant eingestuft werden (Buckley, Dimmick, Soboroff, & Voorhees, 2007, S. 498 ff.).

Eine weitere Technik stellt das Crowdsourcing-Verfahren dar. Bei dieser Methode nimmt eine große Anzahl an Laien die Relevanzeinschätzung vor (Blanco et al., 2013, S. 2). Ar- beiten von Alonso und Mizzaro (2012) haben gezeigt, dass diese Vorgehensweise durchaus verwertbare Ergebnisse liefern kann. Vorausgegangene Studien ergaben aber auch, dass die fehlende Expertise der Entscheider bei speziellen Anwendungsgebieten einen Einfluss auf die Qualität der Relevanzeinschätzungen haben kann (Clough & Sanderson, 2013).

Alle Verfahren basieren nach wie vor auf dem Aspekt, dass die Relevanzeinschätzung von Menschen durchgeführt wird. Sind dies nicht die gleichen Personen, die zuvor die Suchan- fragen formuliert haben, sieht Möhr (1980) darin ein Problem der Stellvertreterentschei- dung: Unabhängige Juroren sollen die Relevanz von Dokumenten beurteilen, ohne das ursprüngliche Informationsbedürfnis des eigentlichen Suchanfragestellers zu kennen. Auch wenn sich durch das Festhalten des Informationsbedarfs diese Problematik entschärfen lässt (vgl. Abschnitt 5.2.3), existiert immer noch eine gewisse Diskrepanz zwischen der Auslegung der Juroren und dem Suchanfragesteller, welche Dokumente relevant sind (Le- wandowski, 2005). Jeder Mensch verfügt aufgrund seiner individuellen subjektiven Eigen- schaften (wie dessen aktueller Wissensstand) über eine eigenständige Relevanzauffassung (Mark Sanderson, 2010, S. 294). Daraus ergibt sich die Problematik, dass die Verwendung des Relevanzkonzeptes nicht wie intendiert als objektives Bewertungsmaß bei der Evalua- tion angesehen werden kann, wonach eine einmalig durchgeführte Relevanzeinstufung die Meinung einer ganzen Nutzerschaft widerspiegeln soll (Baeza-Yates, 2011, S. 134). Voorhees (1998) fand heraus, dass sich selbst zwei Experten bei der Einschätzung bei ge- rade einmal der Hälfte der Dokumente hinsichtlich ihrer Relevanz einig waren. Studien von Cleverdon (1970) und Voorhees konnten jedoch auch belegen, dass die Ergebnisse bei der vergleichenden Evaluation dennoch sehr belastbar sind. Lediglich die Domänenexper- tise der Juroren kann einen Einfluss auf die Ergebnisse der Systemleistung ausüben (Bailey et al., 2008) .

Mit Vollendung dieser Phase ist die Erstellung der Testkollektion abgeschlossen. An dieser Stelle sei darauf hingewiesen, dass die erläuterten Maßnahmen lediglich Empfehlungen darstellen. Ihre konkrete Umsetzung hängt letztlich von den Anforderungen und der Beschaffenheit der zu testenden Suchmaschinen, dem intendierten Ziel des Evaluationsvorhabens und den zur Verfügung stehenden Ressourcen ab. Der nächste Schritt besteht in der Auswahl geeigneter Kennzahlen zur Quantifizierung der Systemleistung.

5.6 Auswahl geeigneter Kennzahlen

Evaluationsmetriken dienen zur Messung der Effektivität von Suchsystemen (Croft, 2010). Gemeinsam mit der Testkollektion simulieren sie das Benutzerverhalten. Die meisten Kennzahlen beziehen sich dabei auf folgende Grundannahmen (Büttcher, 2010, S. 407):

1. Der Informationsbedarf eines Nutzers ist vorgegeben und wird in Form einer Such- anfrage repräsentiert. Jedes Dokument aus der zugrundeliegenden Dokumenten- sammlung ist bezüglich dieses Informationsbedarfs entweder relevant oder nicht re- levant.
2. Die Relevanz eines Dokuments ist unabhängig von der Sortierung anderer Doku- mente der Suchmaschine und hängt nur vom Informationsbedarf des Nutzers und dem Dokument ab.

Im Folgenden werden nur die Metriken und deren Anwendung erläutert, die bei der Instanziierung der Methode aus Kapitel 6 verwendet werden (vgl. Kapitel 7). Je nach Evaluationsvorhaben können aber auch andere eine wichtige Rolle bei der Leistungsmessung von IR-Systemen spielen. Daher werden am Ende dieses Abschnitts weiterer Kenngrößen kurz erwähnt und weiterführende Literatur angegeben. Die nachstehenden Ausführungen beginnen mit der Erläuterung der Kennzahl Precision und Recall.

5.6.1 Precision und Recall

Die als Precision und Recall (zu Deutsch etwa: Genauigkeit und Trefferquote) bezeichnete Kennzahl gilt als das Standardmaß zur Evaluation von Suchalgorithmen (Gödert, Lepsky, & Nagelschmidt, 2012, S. 329 ff.). Hierbei handelt es sich um eine mengenbasierte Kenn- zahl, die die Sortierreihenfolge der Dokumente in der Ergebnisliste ignoriert. Ihr Prinzip ist in Abbildung 3 illustriert.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3: Precision und Recall zu einer Suchanfrage S In Anlehnung an (Baeza-Yates, 2011, S. 135)

Zu einer gegebenen Suchanfrage S wird die Menge relevanter Dokumente R betrachtet, wobei | | die Anzahl der Dokumente in dieser Menge bezeichnet. Ein Retrieval- Algorithmus verarbeitet die Suchanfrage und liefert eine Menge von Suchergebnissen E.

Abbildung in dieser Leseprobe nicht enthalten

Formel 1: Berechnung des Recalls (Baeza-Yates, 2011, S. 135)

Ein Recall-Wert von 1 bzw. 100% bedeutet, dass alle relevanten Einträge zu einem Thema gefunden wurden. Wurde kein relevantes Dokument gefunden, ist der Recall-Wert gleich 0. Die Recall-Kennzahl ist daher ein Maß für die Vollständigkeit eines Suchergebnisses (Ferber, 2003, S. 86) und beschreibt ein Suchszenario, bei dem der Nutzer alle relevanten Dokumente zu einem Interessensgebiet finden möchte (Büttcher, 2010). Ein typisches Bei- spiel hierfür ist die Patentrecherche, bei der alle vorhandenen Patenteinträge zu einem Pro- dukt gefunden werden sollen.

Für sich alleine genommen besitzt die Recall-Kennzahl jedoch wenig Aussagekraft. Die Berechnung des Recalls ist unabhängig von irrelevanten Dokumenten in der Ergebnismen- ge (vgl. Formel 1). Dadurch kann eine Suchmaschine einen Recall-Wert von 100% errei- chen, indem alle Dokumente der Dokumentenbasis zu einer Suchanfrage zurückgegeben werden. Allerdings wären dann die meisten Suchergebnisse irrelevant für einen Anwender. Um eine Kenngröße dafür zu haben, wie gut die Fähigkeit eines Systems ist, irrelevante Dokumente zurückzuhalten, wurde das Recall-Maß um die Precision-Kennzahl ergänzt. Die Precision beschreibt den Anteil der Ergebnisdokumente, die relevant sind:

Abbildung in dieser Leseprobe nicht enthalten

Formel 2: Berechnung der Precision (Baeza-Yates, 2011, S. 135)

Eine Precision von 1 bzw. 100% bedeutet, dass alle gefundenen Dokumente relevant sind (Büttcher, 2010, S. 407) . Im Gegensatz dazu beschreibt ein Wert von 0, dass kein relevan- ter Eintrag in den Suchergebnissen auftaucht. Precision beschreibt somit die Genauigkeit eines Suchergebnisses. Die Kennzahl ist abgeleitet vom Nutzerwunsch, möglichst viele relevante Dokumente vorzufinden und die Anzahl irrelevanter Dokumente zu minimieren (Manning, 2008). Ein Beispielszenario ist die Suche im Web, bei der eine hohe Precision erwünscht ist, um aus der Fülle an Informationen die relevanten schnell aufzufinden.

Bei der Evaluation von Suchmaschinen wird in der Regel nicht nur eine Suchanfrage, son- dern eine Menge von Suchanfragen an die Systeme gerichtet, damit die Ergebnisse eine gewisse Aussagekraft besitzen (vgl. Abschnitt 5). Zur besseren Veranschaulichung der Precision und Recall-Ergebnisse über mehrere Suchanfragen werden Recall-Precision- Graphen eingesetzt, die die Durchschnittspräzision von Suchalgorithmen darstellen (vgl. Abbildung 4).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 4: Recall-Precision-Graph für durchschnittliche Precision-Werte zweier Suchsysteme In Anlehnung an (Baeza-Yates, 2011, S. 138)

Abbildung 4 zeigt die durchschnittliche Precision zweier Suchalgorithmen. Dabei wird die Einteilung an elf Recall-Niveaus vorgenommen, welche sich im Intervall von 0 bis 1 befinden und in Schritten von 0,1 erhöht werden (Manning, 2008). Zur Erstellung des Graphen wird zunächst für jede Suchanfrage die interpolierte Precision eines IR-Systems an den elf Recall-Niveaus berechnet (vgl. Formel 3):

Abbildung in dieser Leseprobe nicht enthalten

Formel 3: Berechnung der interpolierten Precision an den elf Recall-Niveaus (Baeza-Yates, 2011, S. 137)

" bezieht sich auf das aktuell betrachtete Recall-Niveau j. Insgesamt sagt die Funktion aus, dass die interpolierte Precision an einem Niveau j die maximal bekannte Precision aller Recall-Niveaus oberhalb von " darstellt (Baeza-Yates, 2011, S. 137). Anschließend werden die Precision-Werte an den Recall-Niveaus über alle Suchanfragen #$ gemittelt, um die durchschnittliche Precision an den Recall-Niveaus zu erhalten:

Abbildung in dieser Leseprobe nicht enthalten

Formel 4: Berechnung der durchschnittlichen Precision an den elf Recall-Niveaus (Baeza-Yates, 2011, S. 138)

Diese Methode bildet eine monoton fallende Funktion ab und ist daher konsistent mit der Annahme, dass die Precision mit zunehmendem Recall in der Regel fällt (Manning, 2008).

Recall-Precision-Graphen werden inzwischen häufig im Rahmen der Evaluation eingesetzt (Baeza-Yates, 2011, S. 138). Sie ermöglichen die einfache Aggregation und intuitive Dar- stellung der Precision-Recall-Ergebnisse über mehrere Evaluationsläufe und erlauben dadurch, die Retrieval-Effektivität der IR-Systeme auf unkomplizierte Weise zu beurteilen. Abbildung 4 zeigt beispielsweise, dass System A eine höhere Precision bei niedrigeren Recall-Werten besitzt, während System B bei höheren Recall-Niveaus überlegen ist. Demnach wäre das erste IR-System besser für Suchaufträge im Web geeignet, während das andere für die Patentrecherche sinnvoller ist (Baeza-Yates, S. 138).

Allgemein ist ein gutes System durch einen hohen Recall-Wert bei gleichzeitig hoher Pre- cision gekennzeichnet. Die beiden Kennzahlen stehen aber in einer inversen Relation zuei- nander. Während der Recall normalerweise von Suchergebnis zu Suchergebnis zunimmt, nimmt die Precision ab, auch wenn sich diese Aussage nicht verallgemeinern lässt (Henz- ler, 1992, S. 279). Deshalb kommt es häufig vor, dass ein System entweder einen hohen Recall oder eine hohe Precision aufweist. Vergleichende Aussagen darüber, ob ein System in einem Evaluationslauf besser ist als ein anderes, sind nur möglich, wenn sowohl der Recall- als auch der Precision-Wert höher ist als bei dem Vergleichssystem (Ferber, 2003, S. 87). Ansonsten lässt sich nicht allgemein schlussfolgern, welches System effektiver ist, da je nach Suchauftrag ein höherer Recall-Wert (z. B. bei der Patentrecherche) oder ein höherer Precision-Wert (z. B. bei der Websuche) wünschenswert ist. Es ist abhängig von den Benutzeranforderungen, welche Kennzahl bei der Evaluation höher gewichtet wird (Salton & MacGill, 1987, S. 175). Aus diesem Grund lassen sich auch nur solche Systeme sinnvoll miteinander vergleichen, die den gleichen Zweck erfüllen. Die Standardmaße Pre- cision und Recall sind aufgrund ihrer einfachen Anwendung und Interpretation weit ver- breitete Kenngrößen (Büttcher, 2010, S. 410). Mit ihnen sind aber auch einige Nachteile verbunden.

Die Berechnung des Recalls basiert darauf, dass alle relevanten Dokumente in der Kollek- tion zu einer Suchanfrage bekannt sind (Baeza-Yates, 2011, S. 139). Aber gerade bei gro- ßen Dokumentenbeständen wie denen des Webs ist diese Anforderung praktisch nicht um- zusetzen. In solchen Fällen kann der Recall-Wert nicht verlässlich bestimmt werden. Zu- dem spiegeln diese Kennzahlen oftmals nicht mehr das aktuelle Nutzerverhalten wider. Bei der Websuche erhalten Nutzer zu ihrer Suchanfrage keine unsortierten Ergebnislisten, son- dern nach Relevanz sortierte Dokumente (Büttcher, 2010, S. 408). In dieser Sortierung interessiert sich der Nutzer meistens nur für die ersten 5, 10 oder 20 Einträge (Baeza- Yates, S. 140).

[...]

---

¹ www.stepstone.de

² www.monster.de

³ jobboerse.arbeitsagentur.de