Inhaltsverzeichnis
1. Aufgabe 3
2. Ermittlung von Mehrwortgruppen 3
2.1 Definition 3
3. Kennzeichnung der Mehrwortgruppen 4
4. Grundformen 5
5. Term- und Dokumenthäufigkeit --- Termgewichtung 5
6. Steuerungsinstrument Schwellenwert 10
7. Invertierter Index 10
1. Aufgabe
Eine Dokumentenkollektion soll automatisch indexiert werden, indem informationslinguistische und statistische Verfahren angewendet werden.
Es sollen Substantive und Mehrwortgruppen indexiert werden.
Da nur Substantive und Mehrwortgruppen indexiert werden sollen, wollen wir ein paar Vorbedingungen aufstellen, um irrelevante Terme von vornherein auszuschließen.
Hier handelt es sich um inhaltsleere Wörter:
- Verben
- Artikeln
- Adverbien
- Präpositionen
- Konjunktionen
Weitere Vorbedingungen:
- Ein Term besteht aus mindestens zwei Zeichen
- Der Bindestrich wird als Leerzeichen gelesen, andere Satzzeichen wiederum nicht
- Wörterbucheintragungen werden verwendet
- Komposita werden nicht zerlegt
- Englische Wörter, soweit sie groß geschrieben sind, werden als Substantive erkannt
2. Ermittlung von Mehrwortgruppen
2.1 Definition
Als Mehrwortgruppe wird alles erkannt, was zwischen (wie oben aufgeführt) Verben, Artikeln, Adverbien und Präpositionen liegt. Satzzeichen wie Komma, Punkt usw. sind ebenfalls zu beachten.
Eine Mehrwortgruppe kann natürlich aus mehr als nur zwei Wörtern bestehen. Es gibt unter anderem folgenden Typen:
- Adjektiv-Substantiv-Phrasen
- Substantiv-Phrasen
3. Kennzeichnung der Mehrwortgruppen
Text 1:
Nach einer Studie des Marktforschungsinstitutes GfK werden in den nächsten Jahren viele elektronische Marktplätze im Internet scheitern. Es fehlt an strategischen und betriebswirtschaftlichen Konzepten für das Geschäft im Internet.
Text 2:
Viele E-Commerce Unternehmen im Internet werden nach Ansicht des Unternehmensberaters Roland Berger scheitern. Nur die Unternehmen überleben, die schnell einen großen Marktanteil erobern und eine bekannte Marke aufbauen. Der Gewinner bekommt alles, gelte im E-Commerce des Internet mehr denn je.
Text 3:
Die Implementierung von Balanced Scorecards ergänzt Controlling Software. Spezifische Software für Balanced Scorecards ist besonders wichtig, wenn verschiedene Scorecards konsolidiert werden müssen. Führender Anbieter ist Gentia mit einem Modul für Balanced Scorecards. Gentia ist von der Balanced Scorecard Collaborative zertifiziert.
Text 4:
Das Rennen um den führenden elektronischen Marktplatz der Luftfahrindustrie ist noch nicht entschieden. Allerdings hat Aviation X seine ursprüngliche Geschäftsidee eines elektronischen Marktplatzes für Ersatzteile in der Luftfahrtindustrie bereits aufgegeben und sich gänzlich aus dem Konzept des elektronischen Marktplatzes zurückgezogen.
Text 5:
Kein Unternehmen sollte elektronische Marktplätze im Internet ignorieren. Etwa ein Drittel aller Transaktionen im E-Commerce werden in den kommenden Jahren auf elektronischen Marktplätzen im Internet getätigt. Damit sind die elektronischen Marktplätze allerdings auch nicht alleinige Plattform für den E-Commerce.
Text 6:
Vertreter von OECD Mitgliedsregierungen haben nach Angaben der Organisation Einvernehmen über eine Reihe von Schlussfolgerungen und Empfehlungen zur steuerlichen Behandlung von E-Commerce erzielt. Damit werde der Weg zu größerer Sicherheit für Unternehmen und Verbraucher im Internet geebnet, teilte die OECD mit. Die Schlussfolgerungen und Empfehlungen des OECD Ausschusses für Steuerfragen und der von diesem berufenen Beratungsgruppen aus Vertretern von Regierungen und Geschäftswelt betreffen die internationalen direkte Besteuerung, die Verbrauchsteuern und die Steuerverwaltung.
Text 7:
Die get global electronic transfer AG betreibt elektronische Marktplätze im Internet, die digitale Formen von Informationen, Unterhaltung und kommerziellen Angeboten bündeln und direkt auf den Fernsehbildschirm des Konsumenten bringen. Get strebt die flächendeckende Versorgung von Haushalten mit digitalen Diensten und interaktivem Fernsehen an. Das Internet Portal von get bietet digitalen TV- und Radioempfang an, Video-, Musik- und Spiele-on-Demand, elektronische Programmzeitschrift, Zugang zum Internet mit E-Mail-Dienst sowie Shopping und Banking.
4. Grundformen
Alle Indexterme sollen in ihrer lexikalischen Grundform indexiert werden.
Durch die vielen Ausnahmen in der deutschen Sprache ist es sehr schwer einen eindeutigen und einfachen (?) Reduktionsalgorithmus, wie in der englischen Sprache, zu bilden.
Die Ermittlung der Grundform erfolgt durch Lemmatisierung (Wörterbucheintragungen werden benutzt).
Ein Beispiel aus dem später folgenden Index:
elektronischen Marktplätzen
elektronischen → elektronisch (Lemmatisierung innerhalb der Wortklasse)
Marktplätzen → Marktplatz (Flexionsendung ,,-en")
Indexeintrag: elektronisch Marktplatz
Neben Wortklassen und Flexionsendungen haben auch Fugenbindungen Einfluß auf die Wortform.
Beispiel:
Unternehmensberaters → Unternehmensberater
Es wird kein Benutzer eine solche Abfrage stellen, aber ein Programm sollte die Eingabe des Benutzers auf die Grundform reduzieren. Dieser wird dann mit den Indexeinträgen verglichen.
5. Term- und Dokumenthäufigkeit --- Termgewichtung
Zuerst bestimmen wir die Termfrequenz (FREQ) und die Dokumentfrequenz (DOKFREQ). Hierzu werden alle in Frage kommende Terme (Substantive und Mehrwortgruppen) aufgezählt und dem Text der Dokumentenkollektion zugeordnet. DOKFREQ ist die Anzahl, in wie vielen Texten der Dokumentkollektion der Term auftritt.
Danach berechnen wir die Termgewichtung mit folgender Formel, dem sogenannten Ansatz der inversen Dokumentenhäufigkeit:
IDF = FREQ / DOKFREQ
Indexterm | FREQ1 Text1 | FREQ2 Text2 | FREQ3 Text3 | FREQ4 Text4 | FREQ5 Text5 | FREQ6 Text6 | FREQ7 Text7 | DOKFREQ Gewichtung |
Studie | 1 1,0 | - | - | - | - | - | - | 1 |
Marktforschungs- institut | 1 1,0 | - | - | - | - | - | - | 1 |
GfK | 1 1,0 | - | - | - | - | - | - | 1 |
Jahr | 1 0,5 | - | - | - | 1 0,5 | - | - | 2 |
Marktplatz | 1 0,25 | - | - | 3 0,75 | 3 0,75 | - | 1 0,25 | 4 |
Internet | 2 0,4 | 2 0,4 | - | - | 2 0,4 | 1 0,2 | 3 0,6 | 5 |
Konzept | 1 0,5 | - | - | 1 0,5 | - | - | - | 2 |
Geschäft | 1 1,0 | - | - | - | - | - | - | 1 |
Commerce | - | 2 0,67 | - | - | 2 0,67 | 1 0,33 | - | 3 |
Unternehmen | - | 2 0,67 | - | - | 1 0,33 | 1 0,33 | - | 3 |
Ansicht | - | 1 1,0 | - | - | - | - | - | 1 |
Unternehmensberater | - | 1 1,0 | - | - | - | - | - | 1 |
Roland | - | 1 1,0 | - | - | - | - | - | 1 |
Berger | - | 1 1,0 | - | - | - | - | - | 1 |
Marktanteil | - | 1 1,0 | - | - | - | - | - | 1 |
Marke | - | 1 1,0 | - | - | - | - | - | 1 |
Gewinner | - | 1 1,0 | - | - | - | - | - | 1 |
Implementierung | - | - | 1 1,0 | - | - | - | - | 1 |
Balanced | - | - | 4 4,0 | - | - | - | - | 1 |
Scorecard | - | - | 5 5,0 | - | - | - | - | 1 |
Controlling | - | - | 1 1,0 | - | - | - | - | 1 |
Software | - | - | 2 2,0 | - | - | - | - | 1 |
Anbieter | - | - | 1 1,0 | - | - | - | - | 1 |
Gentia | - | - | 2 2,0 | - | - | - | - | 1 |
Modul | - | - | 1 1,0 | - | - | - | - | 1 |
Collaborative | - | - | 1 1,0 | - | - | - | - | 1 |
Rennen | - | - | - | 1 1,0 | - | - | - | 1 |
Luftfahrtindustrie | - | - | - | 2 2,0 | - | - | - | 1 |
Aviation | - | - | - | 1 1,0 | - | - | - | 1 |
Geschäftsidee | - | - | - | 1 1,0 | - | - | - | 1 |
Ersatzteil | - | - | - | 1 1,0 | - | - | - | 1 |
Transaktion | - | - | - | - | 1 1,0 | - | - | 1 |
Plattform | - | - | - | - | 1 1,0 | - | - | 1 |
Vertreter | - | - | - | - | - | 2 2,0 | - | 1 |
OECD | - | - | - | - | - | 3 3,0 | - | 1 |
Mitgliedsregierung | - | - | - | - | - | 1 1,0 | - | 1 |
Angabe | - | - | - | - | - | 1 1,0 | - | 1 |
Organisation | - | - | - | - | - | 1 1,0 | - | 1 |
Einvernehmen | - | - | - | - | - | 1 1,0 | - | 1 |
Reihe | - | - | - | - | - | 1 1,0 | - | 1 |
Schlussfolgerung | - | - | - | - | - | 2 2,0 | - | 1 |
Empfehlung | - | - | - | - | - | 2 2,0 | - | 1 |
Behandlung | - | - | - | - | - | 1 1,0 | - | 1 |
Weg | - | - | - | - | - | 1 1,0 | - | 1 |
Sicherheit | - | - | - | - | - | 1 1,0 | - | 1 |
Verbraucher | - | - | - | - | - | 1 1,0 | - | 1 |
Ausschuss | - | - | - | - | - | 1 1,0 | - | 1 |
Steuerfrage | - | - | - | - | - | 1 1,0 | - | 1 |
Beratungsgruppe | - | - | - | - | - | 1 1,0 | - | 1 |
Regierung | - | - | - | - | - | 1 1,0 | - | 1 |
Geschäftswelt | - | - | - | - | - | 1 1,0 | - | 1 |
Besteuerung | - | - | - | - | - | 1 1,0 | - | 1 |
Verbrauchssteuer | - | - | - | - | - | 1 1,0 | - | 1 |
Steuerverwaltung | - | - | - | - | - | 1 1,0 | - | 1 |
AG | - | - | - | - | - | - | 1 1,0 | 1 |
Form | - | - | - | - | - | - | 1 1,0 | 1 |
Information | - | - | - | - | - | - | 1 1,0 | 1 |
Unterhaltung | - | - | - | - | - | - | 1 1,0 | 1 |
Angebot | - | - | - | - | - | - | 1 1,0 | 1 |
Fernsehbildschirm | - | - | - | - | - | - | 1 1,0 | 1 |
Konsument | - | - | - | - | - | - | 1 1,0 | 1 |
Versorgung | - | - | - | - | - | - | 1 1,0 | 1 |
Haushalt | - | - | - | - | - | - | 1 1,0 | 1 |
Dienst | - | - | - | - | - | - | 2 2,0 | 1 |
Fernsehen | - | - | - | - | - | - | 1 1,0 | 1 |
Portal | - | - | - | - | - | - | 1 1,0 | 1 |
TV | - | - | - | - | - | - | 1 1,0 | 1 |
Radioempfang | - | - | - | - | - | - | 1 1,0 | 1 |
Video | - | - | - | - | - | - | 1 1,0 | 1 |
Musik | - | - | - | - | - | - | 1 1,0 | 1 |
Spiel | - | - | - | - | - | - | 1 1,0 | 1 |
Demand | - | - | - | - | - | - | 1 1,0 | 1 |
Programmzeitschrift | - | - | - | - | - | - | 1 1,0 | 1 |
Zugang | - | - | - | - | - | - | 1 1,0 | 1 |
- | - | - | - | - | - | 1 1,0 | 1 | |
Shopping | - | - | - | - | - | - | 1 1,0 | 1 |
Banking | - | - | - | - | - | - | 1 1,0 | 1 |
Marktforschungs- institut GfK | 1 1,0 | - | - | - | - | - | - | 1 |
elektronisch Marktplatz | 1 0,25 | - | - | 3 0,75 | 3 0,75 | - | 1 0,25 | 4 |
betriebswirtschaftlich Konzept | 1 1,0 | - | - | - | - | - | - | 1 |
Commerce Unternehmen | - | 1 1,0 | - | - | - | - | - | 1 |
Unternehmensberater Roland Berger | - | 1 1,0 | - | - | - | - | - | 1 |
groß Marktanteil | - | 1 1,0 | - | - | - | - | - | 1 |
bekannt Marke | - | 1 1,0 | - | - | - | - | - | 1 |
Balanced Scorecard | - | - | 4 4,0 | - | - | - | - | 1 |
Controlling Software | - | - | 1 1,0 | - | - | - | - | 1 |
spezifisch Software | - | - | 1 1,0 | - | - | - | - | 1 |
führend Anbieter | - | - | 1 1,0 | - | - | - | - | 1 |
Balanced Scorecard Collaborative | - | - | 1 1,0 | - | - | - | - | 1 |
führend elektronisch Marktplatz | - | - | - | 1 1,0 | - | - | - | 1 |
ursprünglich Geschäftsidee | - | - | - | 1 1,0 | - | - | - | 1 |
alleinig Plattform | - | - | - | - | 1 1,0 | - | - | 1 |
OECD Mitgliedsregierung | - | - | - | - | - | 1 1,0 | - | 1 |
Organisation Einvernehmen | - | - | - | - | - | 1 1,0 | - | 1 |
steuerlich Behandlung | - | - | - | - | - | 1 1,0 | - | 1 |
größer Sicherheit | - | - | - | - | - | 1 1,0 | - | 1 |
OECD Ausschuss | - | - | - | - | - | 1 1,0 | - | 1 |
berufen Beratungsgruppe | - | - | - | - | - | 1 1,0 | - | 1 |
international direkt Besteuerung | - | - | - | - | - | 1 1,0 | - | 1 |
get global electronic transfer AG | - | - | - | - | - | - | 1 1,0 | 1 |
digital Form | - | - | - | - | - | - | 1 1,0 | 1 |
kommerziell Angebot | - | - | - | - | - | - | 1 1,0 | 1 |
flächendeckend Versorgung | - | - | - | - | - | - | 1 1,0 | 1 |
digital Dienst | - | - | - | - | - | - | 1 1,0 | 1 |
interaktiv Fernsehen | - | - | - | - | - | - | 1 1,0 | 1 |
Internet Portal | - | - | - | - | - | - | 1 1,0 | 1 |
digital TV | - | - | - | - | - | - | 1 1,0 | 1 |
elektronisch Programmzeitschrift | - | - | - | - | - | - | 1 1,0 | 1 |
Mail Dienst | - | - | - | - | - | - | 1 1,0 | 1 |
6. Steuerungsinstrument Schwellenwert
Die Schwellenwertbestimmung ist eine Hilfe, um geeignete Terme festzustellen und ungeeignete Terme auszuschließen.
Festlegung des unteren Schwellenwert: 0,6
Somit eliminiert man nicht relevante Terme wie in diesem Falle Konzept und Jahr.
Da am Anfang keine umfangreiche Stoppwortliste (außer den Verben, Artikeln usw.) definiert wurde, können wir mit Hilfe des oberen Schwellenwertes hochfrequente Wörter eliminieren.
Festlegung des oberen Schwellenwert: 0,8
Nun werden sowohl hochfrequente Terme (z. B. Scorecard) als auch nichtaussagefähige Terme (z. B. Weg) ausgeschlossen.
7. Invertierter Index
Nun können wir einen invertierten Index erstellen:
Indexterm | Texte | ||||||
Unternehmen | Text 2 | ||||||
Commerce | Text 2 | Text 5 | |||||
Marktplatz | Text 4 | Text 5 | |||||
elektronisch Marktplatz | Text 4 | Text 5 | |||||
Internet | Text 7 |
Inhaltliche Erschliessung
Marcello Nicoletti SS 2001
Quote paper:
Marcello Nicoletti, 2001, Automatische Indexierung, Munich, GRIN Publishing GmbH
This text can be quoted and accessed from this url:
Embed
DOI
Formatvorlage (Microsoft Word) für eine Diplomarbeit, Masterarbeit, Ha...
Für MS Word 2003 - Update 2010
Presentations, Models, Tutorials, Instructions
Elaboration, 25 Pages
Formatvorlage (OpenOffice) für eine Diplomarbeit, Masterarbeit, Hausar...
Presentations, Models, Tutorials, Instructions
Elaboration, 35 Pages
Formatvorlage / Vorlage zur Erstellung einer Diplomarbeit, Bachelorarb...
Presentations, Models, Tutorials, Instructions
Elaboration, 15 Pages
Formatvorlage / Vorlage für eine Diplomarbeit / Hausarbeit
Für MS Word 2007 - dotx
Presentations, Models, Tutorials, Instructions
Elaboration, 25 Pages
Anleitung zum Erstellen schriftlicher Arbeiten: Der Aufbau einer wisse...
Presentations, Models, Tutorials, Instructions
Elaboration, 20 Pages
Erstellen einer schriftlichen Hausarbeit
Presentations, Models, Tutorials, Instructions
Termpaper, 14 Pages
Grundtechniken wissenschaftlichen Arbeitens
Bibliografieren - Reden - Schr...
Presentations, Models, Tutorials, Instructions
Script, 46 Pages
Ratgeber zur Erstellung wissenschaftlicher Arbeiten. Diplomarbeiten - ...
Presentations, Models, Tutorials, Instructions
Elaboration, 39 Pages
Marcello Nicoletti has published the text Automatische Indexierung
Marcello Nicoletti has uploaded a new text
Automatische Indexierung von Dokumenten in einer wissenschaftlichen Bi...
Implementierung und Evaluierun...
Thomas Groß
Informationserschließung und Automatisches Indexieren
Ein Lehr- und Arbeitsbuch
Winfried Gödert, Matthias Nagelschmidt, Klaus Lepsky
Handbuch der Automatischen Identifikation 3. Strichcode-Praxis
Projektierung, Codeauswahl, Dr...
Bernhard Lenk
Formale Sprachen, abstrakte Automaten und Compiler
Lehr- und Arbeitsbuch für Grun...
Christian Wagenknecht, Michael Hielscher
0 comments