Evaluierungsverfahren für automatisches Summarizing - Methoden, Ergebnisse, mögliche Übertragung auf K3

Inhaltsverzeichnis

  Inhaltsverzeichnis  2

  Zusammenfassung  4

1  Einleitung  5

2  Abstracts und Extracts  6

3  Multidocument Summarizing  7

4  Evaluation  8

5  Evaluationsverfahren  9

5.1  Intrinsische Evaluationsverfahren  9

5.1.1  Qualitätsevaluation  9

5.1.2  Vergleich zu einer Referenz (Ideal) Zusammenfassung  10

5.1.3  Fidelity to source comparision  10

5.1.4  Component level tests  11

5.2  Extrinsische Evaluationsmethoden  11

5.2.1  Relevanzbeurteilung  12

5.2.2  Reading comprehension  13

5.2.3  Presentation Strategies Evaluation  13

5.2.4  Mature system evaluation  14

5.3  Evaluation von Multidocument Summarizing  14

   -

5.4  Evaluation von automatischen Zusammenfassungen  von

  Konferenzen  14

5.4.1  Maximal Marginal Relevance (MMR)  15

5.4.2  Latent Semantic Analysis  15

5.4.3  Feature-based Klassifizierung  15

6.  Evaluationsmetriken  16

6.1  Co-selection Metriken  16

6.1.1  Precision and Recall  16

6.1.2  Kappa  17

6.1.3  Relative Utility  17

6.2  Content-basierende Ähnlichkeitsmaße  17

6.3  Relevanz-Korrelation  17

7  Summarizing in K3  19

7.1  Summarizing-Leistungen der Studierenden  20

7.2  Summarizing Möglichkeiten aus K3  20

7.3  Evaluationsmöglichkeiten für K3  21

8  Schlussbetrachtung  23

  Quellenverzeichnis  24

   -

Zusammenfassung

Die Informationsüberflutung im 21. Jahrhundert macht ein automatisches Summarizing unentbehrlich. Da in elektronischen Foren die Diskurse häufig sehr komplex und umfänglich sind, ist auch für dieses Einsatzgebiet Summarizing wichtig, um einen schnellen Überblick zu erhalten. Hierfür kommt vor allem das Multidocument Summarizing in Betracht. Um die Effizienz einer Summarizing Methode zu erkennen, ist es wichtig diese zu evaluieren.

Aktuelle Evaluationsmethoden für das Summarizing sollen hier dargestellt werden. Im Anschluss wird darauf eingegangen, inwiefern diese auf K3 zu übertragen sind.

- 4 -

1 Einleitung

Der Bedarf an Summarizing steigt stetig. Immer mehr Informationen sollen in immer kürzerer Zeit erfasst werden. Das Ziel vom automatischen Summarizing ist es, aus einer Informationsquelle den wichtigsten content herauszuziehen und diesen dem Benutzer auf verständliche Weise zu präsentieren. [vgl. Mani01a] So können Personen, die keine Zeit haben alle einschlägigen Wissensobjekte vollständig durchzulesen, sich einen Überblick über ein Wissensgebiet verschaffen. [vgl. Kuhlen] Auch für Suchmaschinen sind Zusammenfassungen eine wesentliche Erleichterung, da nur noch die Zusammenfassungen durchsucht werden müssen, um die relevanten Objekte zu finden. [vgl. Kupiec et al.]

Von den meisten wissenschaftlichen Arbeiten gibt es, i.d.R. vom Autor selbst geschriebene Zusammenfassungen, sogenannte Abstracts. Aber nicht nur im wissenschaftlichen Bereich, sondern auch in anderen Bereichen wird immer mehr Wissen produziert und führt somit zu immer höheren Informationsmengen. Unzählige Diskussionsforen und die Darstellung von Wissen in jeder Art in un- zähligen Website hat zu einer Explosion von Wissensobjekten geführt. [vgl. Kuhlen] Dies führt zwangsläufig zu einem Orientierungsproblem. Um diesem entgegen zukommen wird verstärkt Summarizing eingesetzt.

Doch ist es auch entscheidend die Effizienz von Summarizing Methoden zu testen. Hierfür stehen eine Reihe von Evaluationsmethoden zur Verfügung, die in der Seminararbeit vorgestellt werden. Im Anschluss wird darauf eingegangen, welche der vorgestellten Methoden für ein Summarizing von K3 Diskussionsbeiträgen in Betracht kommen.

- 5 -

2 Abstracts und Extracts

Es werden zwei Arten von Summarizing unterschieden, die Abstracts und die Extracts. Bei Extracts handelt es sich um Zusammenfassungen, die eine Anzahl von Worten und Sätzen wörtlich aus dem Orginaltext übernehmen. Wogegen bei Abstracts Zusammenfassungen anhand des aus dem Text gezogenen contents geschrieben werden. [vgl. Hovy05]

Abstracts werden häufig von professionellen Abstractern verfasst. Doch der steigende Bedarf an Summarizing macht die Bedeutung des automatischen Summarizing immer deutlicher. Für die Entwicklung von automatischen Summarizing werden häufig die Arbeitsmethoden der professionellen Summarizer beobachtet und nachempfunden. [vgl. Mani01a] Viele Verfahren basieren auf dem Luhn-Algorithmus (Luhn 1958), der Sätze mit signifikant hohem Vorkommen signifikanter Wörter extrahiert. [Kuhlen]

Es gibt indikative und informative Abstracts. Indikativen Abstracts, dienen i.d.R. als Orientierung, informative Abstracts sollen zusammenfassend über die wesentlichen Inhalte, Methoden und Ergebnisse informieren. Nach herrschender Meinung sollen Abstracts keine Wertungen beinhalten, sondern nur das widergeben, was im Originaltext vorhanden ist. Das sogenannte slanted Abstract oder auch adaptives Abstract ist auf eine eng definierte Zielgruppe oder sogar nur auf eine einzige Person zugeschnitten.

In der Regel handelt es sich um Textform. Aber Abstracts können auch als grafische Visualisierung und als strukturierte Positionsreferate entwickelt werden. Werden mehrere Texte zusammengefasst, spricht man von Multidocument Summaries. [vgl. Kuhlen]

- 6 -

3 Multidocument Summarizing

Das Multidocument Summarizing (MDS) ist erst in letzter Zeit Gegenstand computerlinguistischer Forschung geworden.[vgl. Hovy05] Hier kommen meist statistische Verfahren oder neuronale Netzwerke zum Einsatz. Zur Zeit wird intensiv über bspw. den Einsatz von Clustertechniken für relevanter Sätze aus verschiedenen Texten und von lead sentences geforscht sowie einer Kombination von Zufallstreffern und der Extraktion benachbarter Sätze.

Entscheidend für den Erfolg eines MDS ist die Kohärenz der zusammenzufassenden Dokumente. Neben dem cross-lingual Summarizing gewinnt das Summarizing von elektronischer Kommunikation, z. B. eMail-Threads oder Chat Logs und von Interaktions-/Gesprächssituationen zunehmend an Bedeutung. [vgl. Kuhlen]

Doch stellt sich nun die Frage, wie man beurteilen kann, ob es sich um ein gutes Abstract oder Extract handelt. Hierfür werden verschiedene Evaluationsmethoden eingesetzt, auf die im nächsten Kapitel näher eingegangen werden soll.

- 7 -