III

Inhaltsverzeichnis

ABBILDUNGSVERZEICHNIS   IV

ABK  ÜRZUNGSVERZEICHNIS.  V

ZUSAMMENFASSUNG.   VI

1.  EINFÜHRUNG.  1

2.  HELLIGKEIT/ KONTRAST.  4

2.1.  Helligkeitsschwankungen  5

2.1.1.  Erkennung von Helligkeitsschwankungen.  5

2.1.2.  Korrektur von Helligkeitsschwankungen.  6

2.2.  Überdunkelte Sequenzen.  8

2.2.1.  Erkennung zu dunkler Sequenzen.  8

2.2.2.  Änderung zu dunkler Sequenzen.  9

2.3.  Überhellte Sequenzen.  10

2.3.1.  Erkennung zu heller Sequenzen.  10

2.3.2.  Änderung zu heller Sequenzen.  10

3.  HORIZONTALE WEIßE STÖRLINIE  12

3.1.  Erkennung der weißen Linie  12

3.1.1.  Voruntersuchungen  13

3.1.2.  Erkennungsprozess  15

3.2.  Beseitigung der weißen Störlinie.  16

4.  VERWACKELTE SEQUENZEN.  19

4.1.  Erkennung von verwackelten Sequenzen  20

4.2.  Stabilisierung von verwackelten Sequenzen.  23

5.  ERGEBNIS UND AUSBLICK  28

5.1.  Experimentelle Ergebnisse.  28

5.2.  Zukünftige Ansatzpunkte  30

5.3.  Ausblick.  31

LITERATURVERZEICHNIS   VII

IV

Abbildungsverzeichnis   

Abbildung  1: Gesamtüberblick über das Programm  

Abbildung  2: Ablauf der Helligkeitskorrektur  

Abbildung  3: Beispiel für die Korrektur von Helligkeitsschwankungen.  

Abbildung  4: Beispiel für Helligkeitskorrektur.  

Abbildung  5: Ablauf der Erkennung und Korrektur zu heller/ zu dunkler  

Sequenzen   

Abbildung  6: Beispiele für weiße Linien  

Abbildung  7: Beispiel für natürlich auftretende weiße horizontale Linien.  

Abbildung  8: Veranschaulichung der Methode checkPixel  

Abbildung  9: Beispiele zur Entfernung einer Störlinie  

Abbildung  10: Die 4 Fälle der Kamerabewegungen und deren Korrekturen.  

Abbildung  11: Abfolge von Frames mit sich änderndem Rand  

Abbildung  12: Frames mit unterschiedlichen Rändern  

Abbildung  13: Beispiel für verwackelte Frames und deren Korrektur  

V

Abkürzungsverzeichnis

Abb. Abbildung ECHO European CHronicles On- line. (EU Projekt mit dem Ziel der Analyse und Indexierung historischer Videos.) EU European Union ggf. gegebenenfalls Kap. Kapitel KI Künstliche Intelligenz KNN Künstliche Neuronale Netze MoCA Movie Content Analysis Library: C++ Bibliothek für Bild und

UNESCO United Nations Educational, Scientific and Cultural Organization u.a. und andere o.V. ohne Verfasser u.U. unter Umständen v.a. vor allem

VI

Zusammenfassung

Die UNESCO hat schon früh erkannt, dass historische Filme einen wichtigen Baustein in der Erhaltung des kulturellen Erbes darstellen. Durch eine Digitalisierung können diese für die Zukunft erhalten werden, ohne dass Filme durch Materialermüdung der Filmrollen bzw. Bänder Schaden nehmen. Leider haben einige dieser historischen Aufnahmen bereits Schäden, die durch Abspielen oder Lagerung hervorgerufen wurden. Dies macht sich beispielsweise durch weiße Linien bemerkbar, die durch Beschädigungen wie Kratzer auf der Filmrolle entstanden sind. Außerdem weisen einige dieser Aufnahmen störende Helligkeitsschwankungen auf.

Ziel dieser Arbeit ist die Entwicklung von Algorithmen zur Erkennung und Behebung solcher Fehler in historischen Schwarzweißfilmen. Das entwickelte Programm überarbeitet digitalisierte historische Filme automatisch. Durch die in dieser Arbeit vorgestellten Algorithmen wird die Qualität verbessert, indem typische Fehler erkannt und entsprechend korrigiert werden. Dabei handelt es sich um die Erkennung und Beseitigung von horizontalen Störlinien, um die Helligkeits- und Kontrastkorrektur sowohl bei starken Helligkeitsschwankungen als auch bei überdunkelten oder überhellten Sequenzen, sowie um die Entfernung von Verwackelungen bei Kameraeinstellungen.

Die einzelnen Algorithmen werden separat vorgestellt und erläutert. Die Umsetzung in ein lauffähiges C++ Programm und die Einbindung in eine vorhandene Multimediabibliothek wird erklärt.

Schließlich wird ein Ausblick auf weitere Einsatzmöglichkeiten der Algorithmen sowie Ansatzpunkte für weitere Forschungsmöglichkeiten in diesem Gebiet gegeben.

1

1. Einführung

Nachdem die UNESCO erkannt hat, dass es sich bei historischem Filmmaterial um ein schützenswertes Gut handelt, das für die Zukunft erhalten werden muss, ist das digitale Archivieren von Filmen in den letzten Jahren immer stärker zur wissenschaftlichen Disziplin geworden (Edmondson, 2004). Auch die EU baut große digitale Archive mit europäischem Kulturgut auf und hat mehrere Projekte am Laufen, die sich mit der Indizierung und Verbesserung der archivierten Filme beschäftigen (EU Commission, 2005).

Die Herausforderung besteht in der Digitalisierung der Schwarzweißfilme, die auf Filmrollen- oder Bändern aufgenommen wurden. Durch die jahrelange Lagerung beginnt das Filmmaterial zu zerfallen und muss schnellstmöglich auf digitale, verlustfreie Träger gespeichert werden.

Historische Filme haben Schwarzweiß filmmaterial verwendet. Dieses bestand aus drei Schichten, jedoch nur aus einer Farbschicht. Ein Bild entsteht also aus den Helligkeiten Weiß, Schwarz und ihren Mischungen. Der Schwarzweißfilm war ursprünglich mit Silbernitrat beschichtet. Er bestand aus einer lichtempfindliche n Schicht, die ihrerseits aus einer retuschierbaren Gelatine-Schut zschicht und Emulsionschichten, einem Schichtträger sowie einer Lichthofschutzschicht bestand (Wikipedia, 2005e).

Nach der Digitalisierung von historischen Filmen stellt man leider oft fest, dass die Qualität des Filmmaterials zu wünschen übrig lässt. Im Folgenden werden nun die einzelnen Fehler und Fehlerquellen beschrieben, die zu dieser Qualitätsminderung führen.

Helligkeitsschwankungen sowie zu dunkle oder zu helle Sequenzen oder Einzelbilder können für den Betrachter sehr störend sein. Diese Helligkeitsschwankungen können mehrere Ursachen haben:

2

§ Durch Schmutz oder Dreck bei der Lagerung der Filmrollen oder durch den Digitalisierungsprozess kann es zu Störungen in der Helligkeit in einzelnen Sequenzen eines Filmes kommen.

§ Zu dunkle oder zu helle Bilder können auch aus Schimmelbefall der Filmrollen bei feuchter La gerung resultieren.

§ Flackern, also die globale Änderung der Helligkeit zwischen Einzelbildern, auch Frames genannt, entstand meist schon bei der Aufnahme von Schwarzweißfilmen durch die mangelhafte damalige Technik (Schallauer, Pinz, Haas, 1999).

Oft beobachtet man auch eine horizontale, zum Teil flackernde weiße Linie über weite Strecken eines Films. Diese entsteht durch Kratzer, die beim Transport der Rolle im Abspielgerät, beispielsweise durch ein Malteserkreuzgetriebe (Wikipedia, 2005a), oder schon bei der Entwicklung entstanden sind (Schallauer et al, 1999). Verwackelte Bilder entstehen durch ungenaue mechanische

Transportvorrichtungen bei den Abspielgeräten oder bereits bei der Aufnahme (Schallauer et al, 1999).

Im Folgenden wird nun erarbeitet, w ie typische Fehler von digitalisierten Schwarzweiß filmen erkannt und behoben werden können. Ob jede dieser Behebungsmöglichkeiten bei einem einzelnen Film auch tatsächlich angewendet werden soll, liegt in der Entscheidung des Betrachters bzw. des Historikers, der den Film für ein Archiv digitalisiert. Da jedoch eine manuelle Kontrolle jedes einzelnen überarbeiteten Films sehr teuer ist, gerade wenn der Optimierungsprozess im Rahmen einer größeren Archivierung stattfindet, sind die entwickelten Algorithmen standardmäßig darauf ausgelegt, generell nach allen Fehlern zu suchen, auch wenn diese in einem einzelnen Film gar nicht vorkommen.

Das entwickelte C++ Programm wird in die Automatic Movie Content Analysis Bibliothek (MoCA) des Lehrstuhls für Praktische Informatik IV der Universität Mannheim eingebunden. Diese Bibliothek bietet bereits diverse Möglichkeiten

3

der Manipulation von Einzelbildern, Videosequenzen, Audiotracks sowie Verknüpfungen, wie z.B. automatische Videobearbeitung und Inhaltsanalyse (Pfeiffer, Lienhart, Kühne, Effelsberg, 1998). Diese Bibliothek stellt auch notwendige Methoden für das hier entwickelte Programm zur Verfügung, beispielsweise das Einlesen und Ausgeben eines Videos.

Für jeden Fehler, der in dieser Arbeit betrachtet wird, wird zu Beginn auf dessen Entstehung sowie typische Merkmale eingegangen. Gegebenenfalls werden Verfahren anderer Autoren vorgestellt, die sich mit gleichen oder ähnlichen Fehlern beschäftigt haben.

Daraufhin wird der Algorithmus zur Erkennung des Fehlers vorgestellt und erläutert. Schließlich wird der Optimierungsalgorithmus dargestellt und dessen Potenzial und Grenze aufgezeigt. Abb.1 zeigt die generelle Vorgehensweise des Programms.