Universität Konstanz, FB Informatik und
Seminar Summarizing
SS 2006

Evaluierungsverfahren für automatisches Summarizing -
Methoden, Ergebnisse, mögliche Übertragung auf K3

von: Gabriele Wilke-Müller

Inhaltsverzeichnis

Zusammenfassung  4

1 Einleitung  5

2 Abstracts und Extracts  6

3 Multidocument Summarizing  7

4 Evaluation 8

5 Evaluationsverfahren  9

5.1 Intrinsische Evaluationsverfahren  9

5.1.1 Qualitätsevaluation  9
5.1.2 Vergleich zu einer Referenz- (Ideal) Zusammenfassung 10
5.1.3 Fidelity to source comparision 10
5.1.4 Component level tests 11

5.2 Extrinsische Evaluationsmethoden 11

5.2.1 Relevanzbeurteilung  12
5.2.2 Reading comprehension 13
5.2.3 Presentation Strategies Evaluation 13
5.2.4 Mature system evaluation  14

5.3 Evaluation von Multidocument Summarizing 14
5.4 Evaluation von automatischen Zusammenfassungen von Konferenzen 14

5.4.1 Maximal Marginal Relevance (MMR)  15
5.4.2 Latent Semantic Analysis  15
5.4.3 Feature-based Klassifizierung 15

6. Evaluationsmetriken  16

6.1 Co-selection Metriken  16

6.1.1 Precision and Recall  16
6.1.2 Kappa 17
6.1.3 Relative Utility  17

6.2 Content-basierende Ähnlichkeitsmaße 17
6.3 Relevanz-Korrelation  17

7 Summarizing in K3 19

7.1 Summarizing-Leistungen der Studierenden 20
7.2 Summarizing Möglichkeiten aus K3  20
7.3 Evaluationsmöglichkeiten für K3 21

8 Schlussbetrachtung  23

Quellenverzeichnis 24

Zusammenfassung

Die Informationsüberflutung im 21. Jahrhundert macht ein automatisches Summarizing unentbehrlich. Da in elektronischen Foren die Diskurse häufig sehr komplex und umfänglich sind, ist auch für dieses Einsatzgebiet Summarizing wichtig, um einen schnellen Überblick zu erhalten. Hierfür kommt vor allem das Multidocument Summarizing in Betracht. Um die Effizienz einer Summarizing Methode zu erkennen, ist es wichtig diese zu evaluieren. Aktuelle Evaluationsmethoden für das Summarizing sollen hier dargestellt werden. Im Anschluss wird darauf eingegangen, inwiefern diese auf K3 zu übertragen sind.

1 Einleitung

Der Bedarf an Summarizing steigt stetig. Immer mehr Informationen sollen in immer kürzerer Zeit erfasst werden. Das Ziel vom automatischen Summarizing ist es, aus einer Informationsquelle den wichtigsten content herauszuziehen und diesen dem Benutzer auf verständliche Weise zu präsentieren. [vgl. Mani01a] So können Personen, die keine Zeit haben alle einschlägigen Wissensobjekte vollständig durchzulesen, sich einen Überblick über ein Wissensgebiet verschaffen. [vgl. Kuhlen] Auch für Suchmaschinen sind Zusammenfassungen eine wesentliche Erleichterung, da nur noch die Zusammenfassungen durchsucht werden müssen, um die relevanten Objekte zu finden. [vgl. Kupiec et al.]

Von den meisten wissenschaftlichen Arbeiten gibt es, i.d.R. vom Autor selbst geschriebene Zusammenfassungen, sogenannte Abstracts. Aber nicht nur im wissenschaftlichen Bereich, sondern auch in anderen Bereichen wird immer mehr Wissen produziert und führt somit zu immer höheren Informationsmengen. Unzählige Diskussionsforen und die Darstellung von Wissen in jeder Art in unzähligen Website hat zu einer Explosion von Wissensobjekten geführt. [vgl. Kuhlen] Dies führt zwangsläufig zu einem Orientierungsproblem. Um diesem entgegen zukommen wird verstärkt Summarizing eingesetzt. Doch ist es auch entscheidend die Effizienz von Summarizing Methoden zu testen. Hierfür stehen eine Reihe von Evaluationsmethoden zur Verfügung, die in der Seminararbeit vorgestellt werden. Im Anschluss wird darauf eingegangen, welche der vorgestellten Methoden für ein Summarizing von K3 Diskussionsbeiträgen in Betracht kommen.

2 Abstracts und Extracts

Es werden zwei Arten von Summarizing unterschieden, die Abstracts und die Extracts. Bei Extracts handelt es sich um Zusammenfassungen, die eine Anzahl von Worten und Sätzen wörtlich aus dem Orginaltext übernehmen. Wogegen bei Abstracts Zusammenfassungen anhand des aus dem Text gezogenen contents geschrieben werden. [vgl. Hovy05]

Abstracts werden häufig von professionellen Abstractern verfasst. Doch der steigende Bedarf an Summarizing macht die Bedeutung des automatischen Summarizing immer deutlicher. Für die Entwicklung von automatischen Summarizing werden häufig die Arbeitsmethoden der professionellen Summarizer beobachtet und nachempfunden. [vgl. Mani01a] Viele Verfahren basieren auf dem Luhn-Algorithmus (Luhn 1958), der Sätze mit signifikant hohem Vorkommen signifikanter Wörter extrahiert. [Kuhlen]

Es gibt indikative und informative Abstracts. Indikativen Abstracts, dienen i.d.R. als Orientierung, informative Abstracts sollen zusammenfassend über die wesentlichen Inhalte, Methoden und Ergebnisse informieren. Nach herrschender Meinung sollen Abstracts keine Wertungen beinhalten, sondern nur das widergeben, was im Originaltext vorhanden ist. Das sogenannte slanted Abstract oder auch adaptives Abstract ist auf eine eng definierte Zielgruppe oder sogar nur auf eine einzige Person zugeschnitten.

In der Regel handelt es sich um Textform. Aber Abstracts können auch als grafische Visualisierung und als strukturierte Positionsreferate entwickelt werden. Werden mehrere Texte zusammengefasst, spricht man von Multidocument Summaries. [vgl. Kuhlen]

3 Multidocument Summarizing

[...]