Automatische Annotation ist ein Bereich der Computerlinguistik, der im Zuge neuer Technologien immer mehr an Bedeutung gewinnt. So sind in den letzten Jahren vermehrt Anwendungsgebiete entstanden, die auf Erkenntnisse der linguistischen Forschung zurückgreifen. Das sind unter anderem E-Learning, digitales Publizieren und multimediale Informationssysteme (vgl. Mehler 2004, S.1). Ihre Realisierung erfordert automatische Textanalysen, was auch die Grundlage für weitere Anwendungen, wie Übersetzungstools oder Spracherkennung, ist (ebd.). Besonders wichtig ist dabei die Keywordbestimmung, die sowohl in der Linguistik als auch im SEO-Bereich1 eine große Bedeutung hat (vgl. Damm 2012, S. 11). Dabei ist das Vergeben von Keywords in der Linguistik eher eine „Verschlagwortung“ (Liebert 2013, S.3), bei der Bezeichnungen zur inhaltlichen Beschreibung eines Objekts vergeben werden (ebd.). Die Bedeutung der Schlüsselwörter ist hierbei dynamisch und kann sich je nach Kontext ändern (vgl. Liebert 2013, S.4). Im SEO-Bereich ist ein Keyword ein thematisch relevanter Begriff, der von einer Suchmaschine leicht gefunden werden kann (vgl. Damm 2012, S.12). Schlüsselwörter werden nach Suchmaschinengesichtspunkten geordnet und ausgegeben (ebd.). Der Einfachheit halber wird im weiteren Text nicht zwischen verschiedenen Bedeutungen von „Keywords“ oder „Schlüsselwörtern“ unterschieden.
Die nachfolgende Arbeit basiert auf dem Paper „Automatic Annotation Suggestions for Audiovisual Archives: Evaluation Aspects“ (Gazendam et al. 2009), welches sich mit automatischen Annotationsvorschlägen bei audiovisuellen Daten auseinandersetzt. Der Fokus dieser Abhandlung liegt auf Annotationsvorschlägen bei textuellen Daten.
Auf einen Blick
- Note: 1,0
- Eigener Vergleich automatischer Schlüsselwortbestimmung anhand von fünf Spiegel-Online-Texten
- Vergleich von drei Werkzeugen mit einer manuellen Annotation als Goldstandard
- 27 Quellen im Literaturverzeichnis
- 4 Abbildungen
Inhaltsverzeichnis
1. Einführung
2. CHOICE-Projekt
3. Methodik des CHOICE-Projektes
3.1 TF.IDF Score
3.2 Cluster-and-rank-process - CARROT
3.3 Pagerank
3.4 CHOICE-Verfahren
4. Eigene Versuchsanordnung
5. Vorstellen der Ergebnisse
6. Vergleich: eigener Test vs. CHOICE-Projekt
7. Fazit
Zielsetzung und Themen
Die Arbeit untersucht die automatische Bestimmung von Schlüsselwörtern und fragt, wie sich die Vorschläge verschiedener Werkzeuge im Vergleich zu einer manuellen Annotation bewerten lassen. Ausgangspunkt ist das CHOICE-Projekt zur Annotation audiovisueller Archive; ein eigener Versuch überträgt die Fragestellung auf Nachrichtentexte.
- Automatische Annotation und Schlüsselwortbestimmung
- Aufbau und Verfahren des CHOICE-Projekts
- TF.IDF, CARROT und Pagerank
- Vergleich dreier Werkzeuge anhand von Nachrichtentexten
- Quantitative und qualitative Bewertung der Schlüsselwortvorschläge
- Gegenüberstellung des eigenen Versuchs und des CHOICE-Projekts
Auszug aus dem Buch
4. Eigene Versuchsanordnung
Im Projekt von Gazendam et al. wurden audiovisuelle Daten verwendet. Sie wurden transkribiert und zusammen mit Kontextdokumenten analysiert (vgl. Gazendam et al. 2009). Für diesen Versuch werden textuelle Daten verwendet. Die Daten bestehen aus fünf zufällig ausgewählten Texten des Nachrichtenportals Spiegel Online. Diese werden mit vier verschiedenen Werkzeugen analysiert. Als Goldstandard dient hierbei die manuelle Annotation, bei der Entscheidungen aufgrund von Häufigkeit und subjektiver Wichtigkeit getroffen werden. Jedes Tool analysiert die Texte und gibt ein Keywordranking aus. Das erste Werkzeug ist von der Webseite usualredant.de, Autor ist der Blogger Stefan Geyer (vgl. Geyer 2013). Das „Keyword-Generator-Tool“ (Geyer 2013) hat drei Verarbeitungsschritte: Zuerst wird der Text tokenisiert, dann werden Partikel, Adjektive und unwahrscheinliche Schlüsselwörter aussortiert. Das Ranking der Keywords basiert auf ihrer Häufigkeitsverteilung, bei gleicher Anzahl zählt die Prominenz (Positionierung) im Text. Tool zwei ist ein SEO-Werkzeug von webseoanalytics.com. Der „Keyword Analyzer“ (webseoanalytics.com 2013) ordnet die Schlüsselwörter des Textes nach Häufigkeit, Keywordqualität, Suchvolumen und Keywordpotential (vgl. ebd.). Das dritte Werkzeug ist von ranks.nl, auch aus dem SEO-Bereich. Der „Page Analyzer“ (ranks.nl 2013) sortiert die Keywords nach Häufigkeit, Wichtigkeit, Keyworddichte und den Relationen der Keywords untereinander (vgl. ebd.). Verglichen werden die drei Tools mit dem Goldstandard, der manuellen Annotation. Für die Auswertung werden die ersten fünf Keywords im Ranking herangezogen. Im Gegensatz zum Versuch von Gazendam et al. wird hier kein kontrolliertes Vokabular eingesetzt, da es bei externen Tools nicht ohne weiteres möglich ist und eigene Algorithmen den Rahmen dieser Arbeit gesprengt hätten. Die ausgegebenen Keywords werden einer qualitativen und einer quantitativen Analyse unterzogen. Bei der quantitativen Auswertung werden alle Keyword-Übereinstimmungen der fünf Texte mit dem Goldstandard verglichen. In der qualitativen Analyse werden die Schlüsselwortvorschläge in drei Kategorien unterteilt: Exakter Treffer, semantisch nah und Fehler.
Zusammenfassung der Kapitel
1. Einführung: Das Kapitel ordnet die automatische Annotation in die Computerlinguistik ein und erläutert die Bedeutung von Schlüsselwörtern für linguistische Anwendungen und die Suchmaschinenoptimierung.
2. CHOICE-Projekt: Vorgestellt werden Zielsetzung, Datenbasis und grundlegender Ablauf des Projekts zur Unterstützung der Annotation audiovisueller Archive.
3. Methodik des CHOICE-Projektes: Das Kapitel beschreibt TF.IDF, CARROT und Pagerank sowie die Verarbeitungsschritte und Bewertungsmaße des CHOICE-Verfahrens.
4. Eigene Versuchsanordnung: Der Autor erläutert die Auswahl von fünf Nachrichtentexten, die verwendeten Werkzeuge und den Vergleich ihrer Vorschläge mit einer manuellen Annotation.
5. Vorstellen der Ergebnisse: Die Ergebnisse des eigenen Versuchs werden quantitativ und qualitativ anhand exakter und semantisch naher Schlüsselworttreffer dargestellt.
6. Vergleich: eigener Test vs. CHOICE-Projekt: Der eigene Test wird dem CHOICE-Projekt gegenübergestellt. Dabei werden Unterschiede in den Daten und Grenzen der Vergleichbarkeit angesprochen.
7. Fazit: Das Schlusskapitel betrachtet mögliche Verbindungen zwischen computerlinguistischer Forschung und Suchmaschinenoptimierung sowie Perspektiven automatischer Annotation.
Schlüsselwörter
CHOICE-Projekt, automatische Annotation, Schlüsselwortbestimmung, Computerlinguistik, Textanalyse, TF.IDF, CARROT, Pagerank, Suchmaschinenoptimierung, Information Retrieval, manuelle Annotation, Präzision, Vollständigkeit, Schlüsselwortranking
Häufig gestellte Fragen
Worum geht es in der Arbeit?
Die Arbeit befasst sich mit der automatischen Bestimmung von Schlüsselwörtern und vergleicht Verfahren des CHOICE-Projekts mit einem eigenen Versuch an Textdaten.
Welche Themen stehen im Mittelpunkt?
Im Mittelpunkt stehen automatische Annotation, Schlüsselwortranking, Verfahren des Information Retrieval und die Bewertung automatisch erzeugter Vorschläge.
Welche Frage verfolgt die Untersuchung?
Sie untersucht, wie verschiedene Werkzeuge Schlüsselwörter aus Nachrichtentexten bestimmen und wie ihre Vorschläge im Vergleich zu einer manuellen Annotation einzuordnen sind.
Welche wissenschaftliche Methode wird verwendet?
Der Autor führt einen vergleichenden Versuch mit fünf Texten durch und wertet die Schlüsselwortvorschläge quantitativ und qualitativ anhand eines manuellen Goldstandards aus.
Was behandelt der Hauptteil?
Der Hauptteil erläutert das CHOICE-Projekt und seine Algorithmen, beschreibt die eigene Versuchsanordnung und stellt deren Auswertung dem ursprünglichen Projekt gegenüber.
Welche Schlüsselwörter charakterisieren die Arbeit?
Zu den zentralen Begriffen gehören automatische Annotation, Schlüsselwortbestimmung, CHOICE-Projekt, TF.IDF, CARROT, Pagerank und Information Retrieval.
Welche Texte werden im eigenen Versuch untersucht?
Der Versuch verwendet fünf zufällig ausgewählte Texte des Nachrichtenportals Spiegel Online.
Wie werden die Schlüsselwortvorschläge bewertet?
Die Vorschläge werden mit einer manuellen Annotation verglichen. Die qualitative Auswertung unterscheidet exakte Treffer, semantisch nahe Vorschläge und Fehler.
Welche Rolle spielt das CHOICE-Projekt?
Es bildet den fachlichen Ausgangspunkt der Arbeit und liefert einen Vergleich für den eigenen Versuch mit textuellen Daten.
- Quote paper
- Daniel Heißenstein (Author), 2013, Das CHOICE-Projekt. Automatische Keywordbestimmung, Munich, GRIN Verlag, https://www.grin.com/document/229858