GRIN - Automatische Indexierung - Referat (Ausarbeitung)

Automatische Indexierung

E-Book Cover: ()
Flash Player und JavaScript werden für eine verbesserte Ansicht des Dokuments benötigt. Bitte installieren Sie den Flash Player und aktivieren Sie Javascript.

Install Flash Player

Details

Titel: Automatische Indexierung
Autor: Marcello Nicoletti
Fach: Informationswiss., Informationsmanagement
Institut: HBI - Hochschule für Bibliotheks- und Information

Kategorie: Referat (Ausarbeitung)
Jahr: 2001
Seiten: 10
Note: 1,0
Sprache: Deutsch
Dateigröße: 90 KB

Archivnummer: V104966
ISBN (E-Book): 978-3-640-03263-1

Volltext (computergeneriert)

Inhaltsverzeichnis

1. Aufgabe 3

2. Ermittlung von Mehrwortgruppen 3

2.1 Definition 3

3. Kennzeichnung der Mehrwortgruppen 4

4. Grundformen 5

5. Term- und Dokumenthäufigkeit --- Termgewichtung 5

6. Steuerungsinstrument Schwellenwert 10

7. Invertierter Index 10

1. Aufgabe

Eine Dokumentenkollektion soll automatisch indexiert werden, indem informationslinguistische und statistische Verfahren angewendet werden.

Es sollen Substantive und Mehrwortgruppen indexiert werden.

Da nur Substantive und Mehrwortgruppen indexiert werden sollen, wollen wir ein paar Vorbedingungen aufstellen, um irrelevante Terme von vornherein auszuschließen.

Hier handelt es sich um inhaltsleere Wörter:

- Verben
- Artikeln
- Adverbien
- Präpositionen
- Konjunktionen

Weitere Vorbedingungen:

- Ein Term besteht aus mindestens zwei Zeichen
- Der Bindestrich wird als Leerzeichen gelesen, andere Satzzeichen wiederum nicht
- Wörterbucheintragungen werden verwendet
- Komposita werden nicht zerlegt
- Englische Wörter, soweit sie groß geschrieben sind, werden als Substantive erkannt

2. Ermittlung von Mehrwortgruppen

2.1 Definition

Als Mehrwortgruppe wird alles erkannt, was zwischen (wie oben aufgeführt) Verben, Artikeln, Adverbien und Präpositionen liegt. Satzzeichen wie Komma, Punkt usw. sind ebenfalls zu beachten.

Eine Mehrwortgruppe kann natürlich aus mehr als nur zwei Wörtern bestehen. Es gibt unter anderem folgenden Typen:

- Adjektiv-Substantiv-Phrasen
- Substantiv-Phrasen

3. Kennzeichnung der Mehrwortgruppen

Text 1:
Nach einer Studie des Marktforschungsinstitutes GfK werden in den nächsten Jahren viele elektronische Marktplätze im Internet scheitern. Es fehlt an strategischen und betriebswirtschaftlichen Konzepten für das Geschäft im Internet.

Text 2:
Viele E-Commerce Unternehmen im Internet werden nach Ansicht des Unternehmensberaters Roland Berger scheitern. Nur die Unternehmen überleben, die schnell einen großen Marktanteil erobern und eine bekannte Marke aufbauen. Der Gewinner bekommt alles, gelte im E-Commerce des Internet mehr denn je.

Text 3:
Die Implementierung von Balanced Scorecards ergänzt Controlling Software. Spezifische Software für Balanced Scorecards ist besonders wichtig, wenn verschiedene Scorecards konsolidiert werden müssen. Führender Anbieter ist Gentia mit einem Modul für Balanced Scorecards. Gentia ist von der Balanced Scorecard Collaborative zertifiziert.

Text 4:
Das Rennen um den führenden elektronischen Marktplatz der Luftfahrindustrie ist noch nicht entschieden. Allerdings hat Aviation X seine ursprüngliche Geschäftsidee eines elektronischen Marktplatzes für Ersatzteile in der Luftfahrtindustrie bereits aufgegeben und sich gänzlich aus dem Konzept des elektronischen Marktplatzes zurückgezogen.

Text 5:
Kein Unternehmen sollte elektronische Marktplätze im Internet ignorieren. Etwa ein Drittel aller Transaktionen im E-Commerce werden in den kommenden Jahren auf elektronischen Marktplätzen im Internet getätigt. Damit sind die elektronischen Marktplätze allerdings auch nicht alleinige Plattform für den E-Commerce.

Text 6:
Vertreter von OECD Mitgliedsregierungen haben nach Angaben der Organisation Einvernehmen über eine Reihe von Schlussfolgerungen und Empfehlungen zur steuerlichen Behandlung von E-Commerce erzielt. Damit werde der Weg zu größerer Sicherheit für Unternehmen und Verbraucher im Internet geebnet, teilte die OECD mit. Die Schlussfolgerungen und Empfehlungen des OECD Ausschusses für Steuerfragen und der von diesem berufenen Beratungsgruppen aus Vertretern von Regierungen und Geschäftswelt betreffen die internationalen direkte Besteuerung, die Verbrauchsteuern und die Steuerverwaltung.

Text 7:
Die get global electronic transfer AG betreibt elektronische Marktplätze im Internet, die digitale Formen von Informationen, Unterhaltung und kommerziellen Angeboten bündeln und direkt auf den Fernsehbildschirm des Konsumenten bringen. Get strebt die flächendeckende Versorgung von Haushalten mit digitalen Diensten und interaktivem Fernsehen an. Das Internet Portal von get bietet digitalen TV- und Radioempfang an, Video-, Musik- und Spiele-on-Demand, elektronische Programmzeitschrift, Zugang zum Internet mit E-Mail-Dienst sowie Shopping und Banking.

4. Grundformen

Alle Indexterme sollen in ihrer lexikalischen Grundform indexiert werden.

Durch die vielen Ausnahmen in der deutschen Sprache ist es sehr schwer einen eindeutigen und einfachen (?) Reduktionsalgorithmus, wie in der englischen Sprache, zu bilden.

Die Ermittlung der Grundform erfolgt durch Lemmatisierung (Wörterbucheintragungen werden benutzt).

Ein Beispiel aus dem später folgenden Index:

elektronischen Marktplätzen

elektronischen → elektronisch (Lemmatisierung innerhalb der Wortklasse)
Marktplätzen → Marktplatz (Flexionsendung ,,-en")

Indexeintrag: elektronisch Marktplatz

Neben Wortklassen und Flexionsendungen haben auch Fugenbindungen Einfluß auf die Wortform.

Beispiel:

Unternehmensberaters → Unternehmensberater

Es wird kein Benutzer eine solche Abfrage stellen, aber ein Programm sollte die Eingabe des Benutzers auf die Grundform reduzieren. Dieser wird dann mit den Indexeinträgen verglichen.

5. Term- und Dokumenthäufigkeit --- Termgewichtung

Zuerst bestimmen wir die Termfrequenz (FREQ) und die Dokumentfrequenz (DOKFREQ). Hierzu werden alle in Frage kommende Terme (Substantive und Mehrwortgruppen) aufgezählt und dem Text der Dokumentenkollektion zugeordnet. DOKFREQ ist die Anzahl, in wie vielen Texten der Dokumentkollektion der Term auftritt.

Danach berechnen wir die Termgewichtung mit folgender Formel, dem sogenannten Ansatz der inversen Dokumentenhäufigkeit:

IDF = FREQ / DOKFREQ

^Indexterm	^{FREQ1 Text1}	^{FREQ2 Text2}	^{FREQ3 Text3}	^{FREQ4 Text4}	^{FREQ5 Text5}	^{FREQ6 Text6}	^{FREQ7 Text7}	^{DOKFREQ Gewichtung}

^Studie	^{1 1,0}	^-	^-	^-	^-	^-	^-	¹
^{Marktforschungs- institut}	^{1 1,0}	^-	^-	^-	^-	^-	^-	¹
^GfK	^{1 1,0}	^-	^-	^-	^-	^-	^-	¹
^Jahr	^{1 0,5}	^-	^-	^-	^{1 0,5}	^-	^-	²
^Marktplatz	^{1 0,25}	^-	^-	^{3 0,75}	^{3 0,75}	^-	^{1 0,25}	⁴
^Internet	^{2 0,4}	^{2 0,4}	^-	^-	^{2 0,4}	^{1 0,2}	^{3 0,6}	⁵
^Konzept	^{1 0,5}	^-	^-	^{1 0,5}	^-	^-	^-	²
^Geschäft	^{1 1,0}	^-	^-	^-	^-	^-	^-	¹
^Commerce	^-	^{2 0,67}	^-	^-	^{2 0,67}	^{1 0,33}	^-	³
^Unternehmen	^-	^{2 0,67}	^-	^-	^{1 0,33}	^{1 0,33}	^-	³
^Ansicht	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^{Unternehmensberater}	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^Roland	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^Berger	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^Marktanteil	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^Marke	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^Gewinner	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^{Implementierung}	^-	^-	^{1 1,0}	^-	^-	^-	^-	¹
^Balanced	^-	^-	^{4 4,0}	^-	^-	^-	^-	¹
^Scorecard	^-	^-	^{5 5,0}	^-	^-	^-	^-	¹
^Controlling	^-	^-	^{1 1,0}	^-	^-	^-	^-	¹
^Software	^-	^-	^{2 2,0}	^-	^-	^-	^-	¹
^Anbieter	^-	^-	^{1 1,0}	^-	^-	^-	^-	¹
^Gentia	^-	^-	^{2 2,0}	^-	^-	^-	^-	¹
^Modul	^-	^-	^{1 1,0}	^-	^-	^-	^-	¹
^{Collaborative}	^-	^-	^{1 1,0}	^-	^-	^-	^-	¹
^Rennen	^-	^-	^-	^{1 1,0}	^-	^-	^-	¹
^{Luftfahrtindustrie}	^-	^-	^-	^{2 2,0}	^-	^-	^-	¹
^Aviation	^-	^-	^-	^{1 1,0}	^-	^-	^-	¹
^{Geschäftsidee}	^-	^-	^-	^{1 1,0}	^-	^-	^-	¹
^Ersatzteil	^-	^-	^-	^{1 1,0}	^-	^-	^-	¹
^Transaktion	^-	^-	^-	^-	^{1 1,0}	^-	^-	¹
^Plattform	^-	^-	^-	^-	^{1 1,0}	^-	^-	¹
^Vertreter	^-	^-	^-	^-	^-	^{2 2,0}	^-	¹
^OECD	^-	^-	^-	^-	^-	^{3 3,0}	^-	¹
^{Mitgliedsregierung}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Angabe	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Organisation	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Einvernehmen	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Reihe	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{Schlussfolgerung}	^-	^-	^-	^-	^-	^{2 2,0}	^-	¹
^Empfehlung	^-	^-	^-	^-	^-	^{2 2,0}	^-	¹
^Behandlung	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Weg	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Sicherheit	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Verbraucher	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Ausschuss	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Steuerfrage	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{Beratungsgruppe}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Regierung	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{Geschäftswelt}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^Besteuerung	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{Verbrauchssteuer}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{Steuerverwaltung}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^AG	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹

^Form	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Information	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Unterhaltung	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Angebot	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{Fernsehbildschirm}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Konsument	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Versorgung	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Haushalt	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Dienst	^-	^-	^-	^-	^-	^-	^{2 2,0}	¹
^Fernsehen	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Portal	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^TV	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Radioempfang	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Video	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Musik	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Spiel	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Demand	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{Programmzeitschrift}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Zugang	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Mail	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Shopping	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^Banking	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹

^{Marktforschungs- institut GfK}	^{1 1,0}	^-	^-	^-	^-	^-	^-	¹
^{elektronisch Marktplatz}	^{1 0,25}	^-	^-	^{3 0,75}	^{3 0,75}	^-	^{1 0,25}	⁴
^{betriebswirtschaftlich Konzept}	^{1 1,0}	^-	^-	^-	^-	^-	^-	¹
^{Commerce Unternehmen}	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^{Unternehmensberater Roland Berger}	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^{groß Marktanteil}	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^{bekannt Marke}	^-	^{1 1,0}	^-	^-	^-	^-	^-	¹
^{Balanced Scorecard}	^-	^-	^{4 4,0}	^-	^-	^-	^-	¹
^{Controlling Software}	^-	^-	^{1 1,0}	^-	^-	^-	^-	¹
^{spezifisch Software}	^-	^-	^{1 1,0}	^-	^-	^-	^-	¹
^{führend Anbieter}	^-	^-	^{1 1,0}	^-	^-	^-	^-	¹
^{Balanced Scorecard Collaborative}	^-	^-	^{1 1,0}	^-	^-	^-	^-	¹
^{führend elektronisch Marktplatz}	^-	^-	^-	^{1 1,0}	^-	^-	^-	¹
^{ursprünglich Geschäftsidee}	^-	^-	^-	^{1 1,0}	^-	^-	^-	¹
^{alleinig Plattform}	^-	^-	^-	^-	^{1 1,0}	^-	^-	¹
^{OECD Mitgliedsregierung}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{Organisation Einvernehmen}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{steuerlich Behandlung}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{größer Sicherheit}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{OECD Ausschuss}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{berufen Beratungsgruppe}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{international direkt Besteuerung}	^-	^-	^-	^-	^-	^{1 1,0}	^-	¹
^{get global electronic transfer AG}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{digital Form}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{kommerziell Angebot}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{flächendeckend Versorgung}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{digital Dienst}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{interaktiv Fernsehen}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{Internet Portal}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{digital TV}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{elektronisch Programmzeitschrift}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹
^{Mail Dienst}	^-	^-	^-	^-	^-	^-	^{1 1,0}	¹

6. Steuerungsinstrument Schwellenwert

Die Schwellenwertbestimmung ist eine Hilfe, um geeignete Terme festzustellen und ungeeignete Terme auszuschließen.

Festlegung des unteren Schwellenwert: 0,6

Somit eliminiert man nicht relevante Terme wie in diesem Falle Konzept und Jahr.

Da am Anfang keine umfangreiche Stoppwortliste (außer den Verben, Artikeln usw.) definiert wurde, können wir mit Hilfe des oberen Schwellenwertes hochfrequente Wörter eliminieren.

Festlegung des oberen Schwellenwert: 0,8

Nun werden sowohl hochfrequente Terme (z. B. Scorecard) als auch nichtaussagefähige Terme (z. B. Weg) ausgeschlossen.

7. Invertierter Index

Nun können wir einen invertierten Index erstellen:

Indexterm	Texte

Unternehmen		Text 2
Commerce		Text 2		Text 5
Marktplatz			Text 4	Text 5
elektronisch Marktplatz			Text 4	Text 5
Internet					Text 7

Inhaltliche Erschliessung
Marcello Nicoletti SS 2001

Kommentare

Dieser Text kann über folgende URL aufgerufen und zitiert werden:

http://www.grin.com/e-book/104966/

Autor dieses Texts

Marcello Nicoletti

Diesen Text

Einbetten

Bookmarken

Mehr Wissen?

DIE Recherche-Datenbank im deutschen Internet!

Kommentare

Bisher keine Kommentare

Wie es Funktioniert

Bei GRIN.com können Sie Ihre Texte publizieren - online und als Buch. Laden Sie Ihre Arbeiten in 5 Minuten hoch - den Rest übernehmen wir! Unser Service kostet Sie nichts. Verdienen Sie Geld mit Ihren Hausarbeiten, Ihrer Diplomarbeit oder Bachelor/Master Thesis und anderen wissenschaftlichen Texten - oder bieten Sie Ihr Wissen kostenlos an. Laden Sie Ihre Texte jetzt hoch!

Neuigkeiten

Neue Website: Unsere neue Verlagshomepage bietet Ihnen viele Neuerungen: Autorenprofile, Flashvorschauen aller Texte und vieles mehr. Wir wünschen Ihnen viel Spaß!

Kostenlose Buchpublikation: Wir bieten Ihnen als Verlag für akademische Texte und Dissertationsverlag eine Publikation Ihrer Arbeit als Buch ohne Kosten an.

Automatische Indexierung

Details

Volltext (computergeneriert)

Kommentare

Autor dieses Texts

Diesen Text

Mehr Wissen?

Verwandte Texte

Kommentare

Wie es Funktioniert

Neuigkeiten