Der Bedarf an Summarizing steigt stetig. Immer mehr Informationen sollen in immer kürzerer Zeit erfasst werden. Das Ziel vom automatischen Summarizing ist es, aus einer Informationsquelle den wichtigsten content herauszuziehen und diesen dem Benutzer auf verständliche Weise zu präsentieren. [vgl. Mani01a] So können Personen, die keine Zeit haben alle einschlägigen Wissensobjekte vollständig durchzulesen, sich einen Überblick über ein Wissensgebiet verschaffen. [vgl. Kuhlen] Auch für Suchmaschinen sind Zusammenfassungen eine wesentliche Erleichterung, da nur noch die Zusammenfassungen durchsucht werden müssen, um die relevanten Objekte zu finden. [vgl. Kupiec et al.] Von den meisten wissenschaftlichen Arbeiten gibt es, i.d.R. vom Autor selbst geschriebene Zusammenfassungen, sogenannte Abstracts. Aber nicht nur im wissenschaftlichen Bereich, sondern auch in anderen Bereichen wird immer mehr Wissen produziert und führt somit zu immer höheren Informationsmengen. Unzählige Diskussionsforen und die Darstellung von Wissen in jeder Art in unzähligen Website hat zu einer Explosion von Wissensobjekten geführt. [vgl. Kuhlen] Dies führt zwangsläufig zu einem Orientierungsproblem. Um diesem entgegen zukommen wird verstärkt Summarizing eingesetzt.
Doch ist es auch entscheidend die Effizienz von Summarizing Methoden zu testen. Hierfür stehen eine Reihe von Evaluationsmethoden zur Verfügung, die in der Seminararbeit vorgestellt werden. Im Anschluss wird darauf eingegangen, welche der vorgestellten Methoden für ein Summarizing von K3 Diskussionsbeiträgen in Betracht kommen.
Inhaltsverzeichnis
1 Einleitung
2 Abstracts und Extracts
3 Multidocument Summarizing
4 Evaluation
5 Evaluationsverfahren
5.1 Intrinsische Evaluationsverfahren
5.1.1 Qualitätsevaluation
5.1.2 Vergleich zu einer Referenz- (Ideal) Zusammenfassung
5.1.3 Fidelity to source comparision
5.1.4 Component level tests
5.2 Extrinsische Evaluationsmethoden
5.2.1 Relevanzbeurteilung
5.2.2 Reading comprehension
5.2.3 Presentation Strategies Evaluation
5.2.4 Mature system evaluation
5.3 Evaluation von Multidocument Summarizing
5.4 Evaluation von automatischen Zusammenfassungen von Konferenzen
5.4.1 Maximal Marginal Relevance (MMR)
5.4.2 Latent Semantic Analysis
5.4.3 Feature-based Klassifizierung
6. Evaluationsmetriken
6.1 Co-selection Metriken
6.1.1 Precision and Recall
6.1.2 Kappa
6.1.3 Relative Utility
6.2 Content-basierende Ähnlichkeitsmaße
6.3 Relevanz-Korrelation
7 Summarizing in K3
7.1 Summarizing-Leistungen der Studierenden
7.2 Summarizing Möglichkeiten aus K3
7.3 Evaluationsmöglichkeiten für K3
8 Schlussbetrachtung
Zielsetzung & Themen
Die Arbeit untersucht Evaluationsverfahren für das automatische Summarizing, um deren Effizienz zu bestimmen, und prüft Möglichkeiten zur Übertragung dieser Methoden auf Diskurs-Summaries im Kontext der Lehrplattform K3.
- Grundlagen des automatischen Summarizing (Abstracts vs. Extracts)
- Intrinsische und extrinsische Evaluationsverfahren
- Einsatz von Evaluationsmetriken (Co-selection, Content-based)
- Anwendung und Evaluation von Summarizing-Techniken in der K3-Plattform
Auszug aus dem Buch
5.2.1 Relevanzbeurteilung
Für die Beurteilung der Relevanz gibt es eine Vielzahl von extrinsischen Evaluationsmethoden. Die US Regierung führte eine Bewertung verschiedener Summarizer durch (The Tripster SUMMAC Text Summarization Evaluation). Hier wurden sowohl intrinsische als auch extrinsische Evaluationsmethoden verwendet. Allerdings lag der Schwerpunkt auf extrinsischen Evaluationsmethoden, basierend auf wirklichkeitsgetreue Aufgabenstellungen, die üblicherweise von Informationsanalysten ausgeübt wurden. Zum einen wurden ad hoc Aufgaben, zum anderen Kategorisierungsaufgaben gestellt.
Bei ad hoc Aufgaben liegt der Schwerpunkt auf indikative Zusammenfassungen. Mit Hilfe eines Retrieval Systems soll eine Versuchsperson schnell und genau bestimmen, ob ein Dokument für eine bestimmte Themenstellung relevant ist oder nicht.
Mit Hilfe von Kategoriesierungsaufgaben kann festgestellt werden, ob eine allgemeine Zusammenfassung ausreichend Informationen für eine schnelle und korrekte Kategorisierung enthält. Aus fünf gegebenen Kategorien sollte die Versuchsperson bestimmen, welche Katergorie für das Dokument relevant ist. Die Aufgaben wurden unter verschiedenen Bedingungen durchgeführt.
Zusammenfassung der Kapitel
1 Einleitung: Einführung in den steigenden Bedarf an automatischem Summarizing zur Bewältigung der Informationsüberflutung und Zielsetzung der Arbeit.
2 Abstracts und Extracts: Differenzierung zwischen den beiden Hauptformen der Zusammenfassung sowie Erläuterung grundlegender Ansätze.
3 Multidocument Summarizing: Behandlung des Summarizing über mehrere Dokumente hinweg unter Einsatz statistischer Verfahren und neuronaler Netzwerke.
4 Evaluation: Diskussion der zentralen Probleme bei der Evaluierung automatischer Zusammenfassungen.
5 Evaluationsverfahren: Klassifizierung und detaillierte Beschreibung intrinsischer sowie extrinsischer Methoden der Evaluation.
6. Evaluationsmetriken: Vorstellung quantitativer Maße zur Leistungsbewertung von Zusammenfassungssystemen.
7 Summarizing in K3: Anwendung der Summarizing-Prinzipien auf die kooperative Lernplattform K3 an der Universität Konstanz.
8 Schlussbetrachtung: Fazit zum Forschungsbedarf und zur Anwendung extrinsischer Evaluationsmethoden für Diskurs-Summaries.
Schlüsselwörter
Automatische Zusammenfassung, Summarizing, Evaluation, Multidocument Summarizing, Abstracts, Extracts, Intrinsische Evaluation, Extrinsische Evaluation, Relevanzbeurteilung, Precision, Recall, K3, Diskurs-Summaries, Informationsüberflutung, Diskursanalyse
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit befasst sich mit Methoden zur Evaluierung von Systemen, die automatisch Zusammenfassungen (Summarizing) von Texten erstellen.
Was sind die zentralen Themenfelder?
Die Themenfelder umfassen die Unterscheidung zwischen Abstracts und Extracts, verschiedene Evaluationsmetriken sowie die Anwendung von Summarizing in kooperativen Lernumgebungen.
Was ist das primäre Ziel der Arbeit?
Das Ziel ist die Darstellung aktueller Evaluationsmethoden und deren Anwendbarkeit auf Diskurs-Summaries im Rahmen der Plattform K3.
Welche wissenschaftliche Methode wird verwendet?
Die Autorin führt eine Literatur- und Methodenanalyse durch, um bestehende Ansätze der Informatik auf den speziellen Kontext der K3-Diskussionsbeiträge zu transferieren.
Was wird im Hauptteil behandelt?
Der Hauptteil gliedert sich in eine theoretische Fundierung der Evaluationsverfahren (intrinsisch/extrinsisch) und eine praktische Analyse der Summarizing-Möglichkeiten in K3.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit ist geprägt durch Begriffe wie Automatisches Summarizing, Evaluation, Multidocument Summarizing und Diskurs-Summaries.
Wie unterscheiden sich intrinsische und extrinsische Evaluationsverfahren?
Intrinsische Verfahren bewerten die Qualität der Zusammenfassung direkt anhand des Inhalts, während extrinsische Verfahren die Nützlichkeit bei der Erfüllung konkreter Aufgaben prüfen.
Welche Rolle spielt die K3-Plattform bei den Untersuchungen?
K3 dient als Fallbeispiel für eine kooperative Wissensplattform, bei der die automatische Zusammenfassung von Diskursen zur Unterstützung der studentischen Arbeit besonders relevant ist.
- Quote paper
- Gabriele Wilke-Müller (Author), 2006, Evaluierungsverfahren für automatisches Summarizing - Methoden, Ergebnisse, mögliche Übertragung auf K3, Munich, GRIN Verlag, https://www.grin.com/document/65110
