Entwicklung von Algorithmen zur Verbesserung
der Qualität von historischen Filmen

von: Manuel Knaus

Inhaltsverzeichnis

ZUSAMMENFASSUNG VI

1. EINFÜHRUNG 1

2. HELLIGKEIT/ KONTRAST 4

2.1. Helligkeitsschwankungen 5

2.1.1. Erkennung von Helligkeitsschwankungen 5
2.1.2. Korrektur von Helligkeitsschwankungen 6

2.2. Überdunkelte Sequenzen 8

2.2.1. Erkennung zu dunkler Sequenzen 8
2.2.2. Änderung zu dunkler Sequenzen 9

2.3. Überhellte Sequenzen 10

2.3.1. Erkennung zu heller Sequenzen 10
2.3.2. Änderung zu heller Sequenzen 10

3. HORIZONTALE WEIßE STÖRLINIE 12

3.1. Erkennung der weißen Linie 12

3.1.1. Voruntersuchungen 13
3.1.2. Erkennungsprozess 15

3.2. Beseitigung der weißen Störlinie 16

4. VERWACKELTE SEQUENZEN 19

4.1. Erkennung von verwackelten Sequenzen 20
4.2. Stabilisierung von verwackelten Sequenzen 23

5. ERGEBNIS UND AUSBLICK 28

5.1. Experimentelle Ergebnisse 28
5.2. Zukünftige Ansatzpunkte 30
5.3. Ausblick 31

LITERATURVERZEICHNIS

Abkürzungsverzeichnis

ECHO European CHronicles On-line. (EU Projekt mit dem Ziel der Analyse und Indexierung historischer Videos.)
KI Künstliche Intelligenz
KNN Künstliche Neuronale Netze
MoCA Movie Content Analysis Library: C++ Bibliothek für Bild und Videobearbeitung, entwickelt vom Lehrstuhl für Praktische Informatik IV, Universität Mannheim
[...]

Zusammenfassung

Die UNESCO hat schon früh erkannt, dass historische Filme einen wichtigen Baustein in der Erhaltung des kulturellen Erbes darstellen. Durch eine Digitalisierung können diese für die Zukunft erhalten werden, ohne dass Filme durch Materialermüdung der Filmrollen bzw. Bänder Schaden nehmen. Leider haben einige dieser historischen Aufnahmen bereits Schäden, die durch Abspielen oder Lagerung hervorgerufen wurden. Dies macht sich beispielsweise durch weiße Linien bemerkbar, die durch Beschädigungen wie Kratzer auf der Filmrolle entstanden sind. Außerdem weisen einige dieser Aufnahmen störende Helligkeitsschwankungen auf.

Ziel dieser Arbeit ist die Entwicklung von Algorithmen zur Erkennung und Behebung solcher Fehler in historischen Schwarzweißfilmen. Das entwickelte Programm überarbeitet digitalisierte historische Filme automatisch. Durch die in dieser Arbeit vorgestellten Algorithmen wird die Qualität verbessert, indem typische Fehler erkannt und entsprechend korrigiert werden. Dabei handelt es sich um die Erkennung und Beseitigung von horizontalen Störlinien, um die Helligkeits- und Kontrastkorrektur sowohl bei starken Helligkeitsschwankungen als auch bei überdunkelten oder überhellten Sequenzen, sowie um die Entfernung von Verwackelungen bei Kameraeinstellungen. Die einzelnen Algorithmen werden separat vorgestellt und erläutert. Die Umsetzung in ein lauffähiges C++ Programm und die Einbindung in eine vorhandene Multimediabibliothek wird erklärt. Schließlich wird ein Ausblick auf weitere Einsatzmöglichkeiten der Algorithmen sowie Ansatzpunkte für weitere Forschungsmöglichkeiten in diesem Gebiet gegeben.

1. Einführung

Nachdem die UNESCO erkannt hat, dass es sich bei historischem Filmmaterial um ein schützenswertes Gut handelt, das für die Zukunft erhalten werden muss, ist das digitale Archivieren von Filmen in den letzten Jahren immer stärker zur wissenschaftlichen Disziplin geworden (Edmondson, 2004). Auch die EU baut große digitale Archive mit europäischem Kulturgut auf und hat mehrere Projekte am Laufen, die sich mit der Indizierung und Verbesserung der archivierten Filme beschäftigen (EU Commission, 2005). Die Herausforderung besteht in der Digitalisierung der Schwarzweißfilme, die auf Filmrollen- oder Bändern aufgenommen wurden. Durch die jahrelange Lagerung beginnt das Filmmaterial zu zerfallen und muss schnellstmöglich auf digitale, verlustfreie Träger gespeichert werden. Historische Filme haben Schwarzweißfilmmaterial verwendet. Dieses bestand aus drei Schichten, jedoch nur aus einer Farbschicht. Ein Bild entsteht also aus den Helligkeiten Weiß, Schwarz und ihren Mischungen. Der Schwarzweißfilm war ursprünglich mit Silbernitrat beschichtet. Er bestand aus einer lichtempfindlichen Schicht, die ihrerseits aus einer retuschierbaren Gelatine-Schutzschicht und Emulsionschichten, einem Schichtträger sowie einer Lichthofschutzschicht bestand (Wikipedia, 2005e). Nach der Digitalisierung von historischen Filmen stellt man leider oft fest, dass die Qualität des Filmmaterials zu wünschen übrig lässt. Im Folgenden werden nun die einzelnen Fehler und Fehlerquellen beschrieben, die zu dieser Qualitätsminderung führen.

Helligkeitsschwankungen sowie zu dunkle oder zu helle Sequenzen oder Einzelbilder können für den Betrachter sehr störend sein. Diese Helligkeitsschwankungen können mehrere Ursachen haben:
- Durch Schmutz oder Dreck bei der Lagerung der Filmrollen oder durch den Digitalisierungsprozess kann es zu Störungen in der Helligkeit in einzelnen Sequenzen eines Filmes kommen.
- Zu dunkle oder zu helle Bilder können auch aus Schimmelbefall der Filmrollen bei feuchter Lagerung resultieren.
- Flackern, also die globale Änderung der Helligkeit zwischen Einzelbildern, auch Frames genannt, entstand meist schon bei der Aufnahme von Schwarzweißfilmen durch die mangelhafte damalige Technik (Schallauer, Pinz, Haas, 1999).

Oft beobachtet man auch eine horizontale, zum Teil flackernde weiße Linie über weite Strecken eines Films. Diese entsteht durch Kratzer, die beim Transport der Rolle im Abspielgerät, beispielsweise durch ein Malteserkreuzgetriebe (Wikipedia, 2005a), oder schon bei der Entwicklung entstanden sind (Schallauer et al, 1999). Verwackelte Bilder entstehen durch ungenaue mechanische Transportvorrichtungen bei den Abspielgeräten oder bereits bei der Aufnahme (Schallauer et al, 1999). Im Folgenden wird nun erarbeitet, wie typische Fehler von digitalisierten Schwarzweißfilmen erkannt und behoben werden können. Ob jede dieser Behebungsmöglichkeiten bei einem einzelnen Film auch tatsächlich angewendet werden soll, liegt in der Entscheidung des Betrachters bzw. des Historikers, der den Film für ein Archiv digitalisiert. Da jedoch eine manuelle Kontrolle jedes einzelnen überarbeiteten Films sehr teuer ist, gerade wenn der Optimierungsprozess im Rahmen einer größeren Archivierung stattfindet, sind die entwickelten Algorithmen standardmäßig darauf ausgelegt, generell nach allen Fehlern zu suchen, auch wenn diese in einem einzelnen Film gar nicht vorkommen. Das entwickelte C++ Programm wird in die Automatic Movie Content Analysis Bibliothek (MoCA) des Lehrstuhls für Praktische Informatik IV der Universität Mannheim eingebunden. Diese Bibliothek bietet bereits diverse Möglichkeiten der Manipulation von Einzelbildern, Videosequenzen, Audiotracks sowie Verknüpfungen, wie z.B. automatische Videobearbeitung und Inhaltsanalyse (Pfeiffer, Lienhart, Kühne, Effelsberg, 1998). Diese Bibliothek stellt auch notwendige Methoden für das hier entwickelte Programm zur Verfügung, beispielsweise das Einlesen und Ausgeben eines Videos. Für jeden Fehler, der in dieser Arbeit betrachtet wird, wird zu Beginn auf dessen Entstehung sowie typische Merkmale eingegangen. Gegebenenfalls werden Verfahren anderer Autoren vorgestellt, die sich mit gleichen oder ähnlichen Fehlern beschäftigt haben. Daraufhin wird der Algorithmus zur Erkennung des Fehlers vorgestellt und erläutert. Schließlich wird der Optimierungsalgorithmus dargestellt und dessen Potenzial und Grenze aufgezeigt. Abb.1 zeigt die generelle Vorgehensweise des Programms.

Abbildung 1: Gesamtüberblick über das Programm [Abbildung in der Downloaddatei vorhanden]

2. Helligkeit/ Kontrast

[...]