Ziel der vorliegenden Arbeit ist es, den besonderen Nutzen von Algorithmen zur Datenkompression, hier in erster Linie die sogenannten Zip-Algorithmen, für die Sprach- und Literaturwissenschaften aufzuzeigen.
Dazu erfolgt zunächst eine allgemeine Einführung zum Thema Datenkompression, anschließend werden verschiedene Verfahren und Algorithmen untersucht und miteinander verglichen. Im zweiten Teil werden einige linguistisch relevante Fragen vorgestellt, für deren maschinelle Lösung Zip-Verfahren interressante Möglichkeiten eröffnen. Dabei erfolgt auch eine Einführungen in die Themen der Entropielehre, des Paradigmenwechsels und der sprachlichen Redundanz. Ein besonderes Augenmerk des Verfassers liegt darauf, sowohl den mathematisch-informationstheoretischen, als auch den sprachwissenschaftlichen Aspekten des Themas in gleicher Weise gerecht zu werden.
Inhaltsverzeichnis
I. Einleitung
II. Datenkompression
III. Vergleich ausgewählter Kompressionsverfahren
III.1 WinZip
III.2 Bzip
III.3 WinRAR
IV. Der Ziv-Lempel-Algorithmus
IV.1 LZ77
IV.2 LZSS
IV.3 LZ78
IV.4 LZW
V. Sprachwissenschaftliche Aspekte
V.1 Entropie, Redundanz und Paradigma
V.2 Einige Vorüberlegungen
V.3 Maschinelle Textanalyse
V.3.1 Bestimmung der relativen Entropie
V.3.2 Erkennung der Sprache
V.3.3 Erkennung der Autorenschaft
V.3.4 Korpus-Klassifizierung
VI. Zusammenfassung
VII. Anhang
Zielsetzung & Themen
Die vorliegende Arbeit untersucht den Nutzen von Algorithmen zur Datenkompression, insbesondere von Zip-Verfahren, für sprach- und literaturwissenschaftliche Fragestellungen. Ziel ist es, informationstheoretische Methoden auf linguistische Analysen anzuwenden, um beispielsweise Autorenschaften zu bestimmen oder Texte inhaltlich zu klassifizieren.
- Grundlagen der Datenkompression und verlustfreie Algorithmen
- Vergleich von Kompressionsverfahren wie WinZip, Bzip und WinRAR
- Informationstheoretische Konzepte: Entropie, Redundanz und Paradigma
- Maschinelle Textanalyse mittels Zip-Algorithmen (relative Entropie)
- Anwendung zur Sprachidentifikation, Autorenerkennung und Korpus-Klassifizierung
Auszug aus dem Buch
V.3.1 Bestimmung der relativen Entropie
Entscheidend für die maschinelle Analyse von Texten durch Kompression mit Zip-Verfahren (LZ-Algorithmen) ist die relative Entropie. Je kleiner die relative Entropie zweier, nach einem gesondert beschriebenen Verfahren komprimierter Texte, desto größer ist die Übereinstimmung der Texte untereinander.
Der Nachweis der relativen Entropie erfolgt durch das Anhängen kurzer Auszüge einer Datei (a oder b) an eine längere Ursprungsdatei (A oder B). Dabei wird nun zuerst die Ursprungsdatei komprimiert. Anschließend wird ein kurzer Auszug der zu untersuchenden Datei an die Ursprungsdatei angehängt. Bei der Kompression lernt der Algorithmus nun zuerst die Ursprungsdatei optimal zu komprimieren und muss sich, sobald er auf den angehägten Auszug der zu untersuchenden Datei trifft erneut für diese Datei optimieren. Der Auszug aus der zu untersuchenden Datei darf dabei nicht zu groß sein, da der Algorithmus sonst zu gut hinzulernt. Die Differenz der Komprimierungsrate entspricht nun der relativen Entropie. Eine niedrige relative Entropie bedeutet daher einen hohen Grad an Ähnlichkeit (Übereinstimmung) der Dateien miteinander, eine hohe relative Entropie bedeutet eine geringe Übereinstimmung. Als Dateigrößen eignen sich am besten 1-15 Kilobytes für die Dateien a und b und 32-64 Kilobytes für die Dateien A und B (Benedetto 2002: 2).
Zusammenfassung der Kapitel
I. Einleitung: Vorstellung des Ziels, den Nutzen von Zip-Algorithmen für sprach- und literaturwissenschaftliche Analysen zu untersuchen.
II. Datenkompression: Erläuterung der Grundlagen der verlustbehafteten und verlustfreien Kompression sowie Einführung in relevante Algorithmen.
III. Vergleich ausgewählter Kompressionsverfahren: Vorstellung und Vergleich der Funktionsweisen und Anwendungsbereiche von WinZip, Bzip und WinRAR.
IV. Der Ziv-Lempel-Algorithmus: Detaillierte Analyse der Lempel-Ziv-Kodierung und ihrer verschiedenen Varianten (LZ77, LZSS, LZ78, LZW).
V. Sprachwissenschaftliche Aspekte: Verknüpfung informationstheoretischer Begriffe wie Entropie und Redundanz mit Methoden zur maschinellen Textanalyse.
VI. Zusammenfassung: Resümee der Untersuchungsergebnisse hinsichtlich der Leistungsfähigkeit von Kompressionsalgorithmen als linguistisches Analysewerkzeug.
VII. Anhang: Auflistung der verwendeten Literatur sowie ein Verzeichnis der Tabellen und Bilder.
Schlüsselwörter
Datenkompression, Zip-Algorithmen, Lempel-Ziv, Informationstheorie, Entropie, Redundanz, Sprachwissenschaft, Textanalyse, relative Entropie, Autorenerkennung, Korpus-Klassifizierung, LZ77, LZ78, verlustfreie Kompression.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit untersucht, wie moderne Datenkompressionsalgorithmen – speziell Zip-Verfahren – eingesetzt werden können, um linguistische Analysen wie die Bestimmung der Autorenschaft oder die inhaltliche Klassifizierung von Texten maschinell zu unterstützen.
Was sind die zentralen Themenfelder?
Die zentralen Themen sind die mathematischen Grundlagen der Datenkompression (informationstheoretische Aspekte) und deren Anwendung in den Sprach- und Literaturwissenschaften.
Was ist das primäre Ziel oder die Forschungsfrage?
Ziel ist es aufzuzeigen, dass Kompressionsalgorithmen nicht nur zur Speicherplatzersparnis dienen, sondern als leistungsfähige wissenschaftliche Hilfsmittel fungieren, um Redundanzen in Sprache und Schrift zu analysieren.
Welche wissenschaftliche Methode wird verwendet?
Es wird eine vergleichende Analyse verschiedener Algorithmen durchgeführt. Zudem wird das Verfahren der relativen Entropie genutzt, um die Ähnlichkeit zwischen Texten mittels Kompressionsraten mathematisch zu bestimmen.
Was wird im Hauptteil behandelt?
Der Hauptteil gliedert sich in eine Vorstellung bekannter Kompressionstools (WinZip, Bzip, WinRAR), eine tiefgehende Betrachtung der LZ-Algorithmen und die praktische Anwendung dieser Verfahren auf linguistische Fragestellungen.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit wird maßgeblich durch Begriffe wie Datenkompression, Lempel-Ziv-Algorithmus, Entropie, Redundanz, Autorenerkennung und maschinelle Textanalyse geprägt.
Welches Experiment wurde zur Autorenerkennung durchgeführt?
Es wurde ein Experiment mit 90 Texten italienischer Autoren durchgeführt, bei dem jeweils Auszüge an andere Texte angehängt wurden, um mittels relativer Entropie den wahrscheinlichsten Autor zu bestimmen. Dies führte zu einer Erfolgsquote von über 93 Prozent.
Wie lässt sich die relative Entropie zur Korpus-Klassifizierung nutzen?
Durch die Messung der relativen Entropie zwischen verschiedenen Dokumenten kann eine Distanz-Matrix erstellt werden, aus der sich wiederum Baumstrukturen ableiten lassen, die Verwandtschaftsverhältnisse (etwa zwischen Sprachen) visualisieren.
- Quote paper
- Marc Seifert (Author), 2002, Nutzen von Zip-Verfahren für die Sprach- und Literaturwissenschaften. Möglichkeiten maschineller Analyse und Klassifizierung von Texten, Munich, GRIN Verlag, https://www.grin.com/document/8749
