Entwicklung von Algorithmen zur Verbesserung der Qualität von historischen Filmen

Inhaltsverzeichnis

Abbildungsverzeichnis

Abkürzungsverzeichnis

Zusammenfassung

1. Einführung

2. Helligkeit/ Kontrast
2.1. Helligkeitsschwankungen
2.1.1. Erkennung von Helligkeitsschwankungen
2.1.2. Korrektur von Helligkeitsschwankungen
2.2. Überdunkelte Sequenzen
2.2.1. Erkennung zu dunkler Sequenzen
2.2.2. Änderung zu dunkler Sequenzen
2.3. Überhellte Sequenzen
2.3.1. Erkennung zu heller Sequenzen
2.3.2. Änderung zu heller Sequenzen

3. Horizontale weiße Störlinie
3.1. Erkennung der weißen Linie
3.1.1. Voruntersuchungen
3.1.2. Erkennungsprozess
3.2. Beseitigung der weißen Störlinie

4. Verwackelte Sequenzen
4.1. Erkennung von verwackelten Sequenzen
4.2. Stabilisierung von verwackelten Sequenzen

5. Ergebnis und Ausblick
5.1. Experimentelle Ergebnisse
5.2. Zukünftige Ansatzpunkte
5.3. Ausblick

Literaturverzeichnis

Abbildungsverzeichnis

Abbildung 1: Gesamtüberblick über das Programm

Abbildung 2: Ablauf der Helligkeitskorrektur

Abbildung 3: Beispiel für die Korrektur von Helligkeitsschwankungen

Abbildung 4: Beispiel für Helligkeitskorrektur

Abbildung 5: Ablauf der Erkennung und Korrektur zu heller/ zu dunkler Sequenzen

Abbildung 6: Beispiele für weiße Linien

Abbildung 7: Beispiel für natürlich auftretende weiße horizontale Linien

Abbildung 8: Veranschaulichung der Methode checkPixel

Abbildung 9: Beispiele zur Entfernung einer Störlinie

Abbildung 10: Die 4 Fälle der Kamerabewegungen und deren Korrekturen.

Abbildung 11: Abfolge von Frames mit sich änderndem Rand

Abbildung 12: Frames mit unterschiedlichen Rändern

Abbildung 13: Beispiel für verwackelte Frames und deren Korrektur

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

Zusammenfassung

Die UNESCO hat schon früh erkannt, dass historische Filme einen wichtigen Baustein in der Erhaltung des kulturellen Erbes darstellen. Durch eine Digitalisierung können diese für die Zukunft erhalten werden, ohne dass Filme durch Materialermüdung der Filmrollen bzw. Bänder Schaden nehmen.

Leider haben einige dieser historischen Aufnahmen bereits Schäden, die durch Abspielen oder Lagerung hervorgerufen wurden. Dies macht sich beispielsweise durch weiße Linien bemerkbar, die durch Beschädigungen wie Kratzer auf der Filmrolle entstanden sind. Außerdem weisen einige dieser Aufnahmen störende Helligkeitsschwankungen auf.

Ziel dieser Arbeit ist die Entwicklung von Algorithmen zur Erkennung und Behebung solcher Fehler in historischen Schwarzweißfilmen. Das entwickelte Programm überarbeitet digitalisierte historische Filme automatisch. Durch die in dieser Arbeit vorgestellten Algorithmen wird die Qualität verbessert, indem typische Fehler erkannt und entsprechend korrigiert werden. Dabei handelt es sich um die Erkennung und Beseitigung von horizontalen Störlinien, um die Helligkeits- und Kontrastkorrektur sowohl bei starken Helligkeitsschwankungen als auch bei überdunkelten oder überhellten Sequenzen, sowie um die Entfernung von Verwackelungen bei Kameraeinstellungen.

Die einzelnen Algorithmen werden separat vorgestellt und erläutert. Die Umsetzung in ein lauffähiges C++ Programm und die Einbindung in eine vorhandene Multimediabibliothek wird erklärt.

Schließlich wird ein Ausblick auf weitere Einsatzmöglichkeiten der Algorithmen sowie Ansatzpunkte für weitere Forschungsmöglichkeiten in diesem Gebiet gegeben.

1. Einführung

Nachdem die UNESCO erkannt hat, dass es sich bei historischem Filmmaterial um ein schützenswertes Gut handelt, das für die Zukunft erhalten werden muss, ist das digitale Archivieren von Filmen in den letzten Jahren immer stärker zur wissenschaftlichen Disziplin geworden (Edmondson, 2004).

Auch die EU baut große digitale Archive mit europäischem Kulturgut auf und hat mehrere Projekte am Laufen, die sich mit der Indizierung und Verbesserung der archivierten Filme beschäftigen (EU Commission, 2005).

Die Herausforderung besteht in der Digitalisierung der Schwarzweißfilme, die auf Filmrollen- oder Bändern aufgenommen wurden. Durch die jahrelange Lagerung beginnt das Filmmaterial zu zerfallen und muss schnellstmöglich auf digitale, verlustfreie Träger gespeichert werden.

Historische Filme haben Schwarzweißfilmmaterial verwendet. Dieses bestand aus drei Schichten, jedoch nur aus einer Farbschicht. Ein Bild entsteht also aus den Helligkeiten Weiß, Schwarz und ihren Mischungen. Der Schwarzweißfilm war ursprünglich mit Silbernitrat beschichtet. Er bestand aus einer lichtempfindlichen Schicht, die ihrerseits aus einer retuschierbaren Gelatine-Schutzschicht und Emulsionschichten, einem Schichtträger sowie einer Lichthofschutzschicht bestand (Wikipedia, 2005e).

Nach der Digitalisierung von historischen Filmen stellt man leider oft fest, dass die Qualität des Filmmaterials zu wünschen übrig lässt. Im Folgenden werden nun die einzelnen Fehler und Fehlerquellen beschrieben, die zu dieser Qualitätsminderung führen.

Helligkeitsschwankungen sowie zu dunkle oder zu helle Sequenzen oder Einzelbilder können für den Betrachter sehr störend sein. Diese Helligkeitsschwankungen können mehrere Ursachen haben:

- Durch Schmutz oder Dreck bei der Lagerung der Filmrollen oder durch den Digitalisierungsprozess kann es zu Störungen in der Helligkeit in einzelnen Sequenzen eines Filmes kommen.
- Zu dunkle oder zu helle Bilder können auch aus Schimmelbefall der Filmrollen bei feuchter Lagerung resultieren.
- Flackern, also die globale Änderung der Helligkeit zwischen Einzelbildern, auch Frames genannt, entstand meist schon bei der Aufnahme von Schwarzweißfilmen durch die mangelhafte damalige Technik (Schallauer, Pinz, Haas, 1999).

Oft beobachtet man auch eine horizontale, zum Teil flackernde weiße Linie über weite Strecken eines Films. Diese entsteht durch Kratzer, die beim Transport der Rolle im Abspielgerät, beispielsweise durch ein Malteserkreuzgetriebe (Wikipedia, 2005a), oder schon bei der Entwicklung entstanden sind (Schallauer et al, 1999).

Verwackelte Bilder entstehen durch ungenaue mechanische Transportvorrichtungen bei den Abspielgeräten oder bereits bei der Aufnahme (Schallauer et al, 1999).

Im Folgenden wird nun erarbeitet, wie typische Fehler von digitalisierten Schwarzweißfilmen erkannt und behoben werden können. Ob jede dieser Behebungsmöglichkeiten bei einem einzelnen Film auch tatsächlich angewendet werden soll, liegt in der Entscheidung des Betrachters bzw. des Historikers, der den Film für ein Archiv digitalisiert. Da jedoch eine manuelle Kontrolle jedes einzelnen überarbeiteten Films sehr teuer ist, gerade wenn der Optimierungsprozess im Rahmen einer größeren Archivierung stattfindet, sind die entwickelten Algorithmen standardmäßig darauf ausgelegt, generell nach allen Fehlern zu suchen, auch wenn diese in einem einzelnen Film gar nicht vorkommen.

Das entwickelte C++ Programm wird in die Automatic Movie Content Analysis Bibliothek (MoCA) des Lehrstuhls für Praktische Informatik IV der Universität Mannheim eingebunden. Diese Bibliothek bietet bereits diverse Möglichkeiten der Manipulation von Einzelbildern, Videosequenzen, Audiotracks sowie Verknüpfungen, wie z.B. automatische Videobearbeitung und Inhaltsanalyse (Pfeiffer, Lienhart, Kühne, Effelsberg, 1998). Diese Bibliothek stellt auch notwendige Methoden für das hier entwickelte Programm zur Verfügung, beispielsweise das Einlesen und Ausgeben eines Videos.

Für jeden Fehler, der in dieser Arbeit betrachtet wird, wird zu Beginn auf dessen Entstehung sowie typische Merkmale eingegangen. Gegebenenfalls werden Verfahren anderer Autoren vorgestellt, die sich mit gleichen oder ähnlichen Fehlern beschäftigt haben.

Daraufhin wird der Algorithmus zur Erkennung des Fehlers vorgestellt und erläutert. Schließlich wird der Optimierungsalgorithmus dargestellt und dessen Potenzial und Grenze aufgezeigt. Abb.1 zeigt die generelle Vorgehensweise des Programms.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Gesamtüberblick über das Programm

2. Helligkeit/ Kontrast

Im Folgenden wird nun die Erkennung von Helligkeitsfehlern in Videosequenzen näher betrachtet und es werden Wege zur Korrektur von Helligkeit und Kontrast aufgezeigt.

Die Helligkeit eines Frames wird in dieser Arbeit nur global betrachtet, d.h. bezüglich eines gesamten Frames. Dabei wird die globale Helligkeit eines Frames mit anderen Frames einer Sequenz verglichen. Lokale Fehler in der Helligkeit, beispielsweise eines einzelnen zu dunklen Objektes innerhalb eines Frames, werden nicht betrachtet.

Neben der Helligkeit wird auch der Kontrast betrachtet. Als Kontrast bezeichnet man den Helligkeitsunterschied eines Bildes. Während das menschliche Auge den in der Natur auftretenden enormen Kontrastumfang relativ problemlos meistert, stößt man bei dem Bemühen, das Gesehene festzuhalten, an Grenzen. Deshalb kann nur etwa ein Zehntel des wirklichen Kontrastumfangs bewältigt werden, so dass zu helle Bereiche abgedunkelt und/ oder zu dunkle Bereiche aufgehellt werden müssen (Wikipedia, 2005c).

Durch eine Verringerung des Kontrastes wird der Unterschied zwischen dem hellsten und dunkelsten Wert eines Frames reduziert, durch eine Vergrößerung entsprechend erhöht. So erfolgt die Korrektur dann auch durch Änderung der Helligkeit bzw. des Kontrastes für jeweils ein Frame.

2.1. Helligkeitsschwankungen

2.1.1. Erkennung von Helligkeitsschwankungen

Da Helligkeitsschwankungen auf der einen Seite nur lokal auftreten können, auf der anderen Seite die Lichtverhältnisse in unterschiedlichen Kameraeinstellungen differieren, ist es notwendig, das gegebene Video in einzelne Kameraeinstellungen zu unterteilen und diese dann separat zu untersuchen. Dies geschieht hier durch die Erkennung von hard cuts, also harten Schnitten im Video. Unter einem Schnitt versteht man den Übergang von einer Kameraeinstellung zur nächsten, wobei man in Abgrenzung von Blenden von einem „hartem Schnitt“ spricht (Wikipedia, 2005d). Dazu wird die Klasse CutDetection der MoCA Bibliothek verwendet. Die im Folgenden beschriebenen Abläufe finden für jede Kameraeinstellung separat statt.

In Anlehnung an den Erkennungsalgorithmus von Yan und Kankanhalli (2002) wird von jedem Frame die durchschnittliche Helligkeit actLum berechnet. Die maximale und minimale auftretende durchschnittliche Helligkeit lumMax bzw. lumMin einer Kameraeinstellung werden zwischengespeichert.

Nun wird die Distanz Abbildung in dieser Leseprobe nicht enthaltenberechnet. Die Helligkeit der Kameraeinstellung wird, wenn d größer ist als ein Schwellenwert DTHRESIMBALANCE=20, korrigiert. Anderenfalls gilt die Kameraeinstellung als ausbalanciert und es wird keine Änderung durchgeführt.

2.1.2. Korrektur von Helligkeitsschwankungen

Wurde eine Helligkeitsschwankung festgestellt, dann werden die Änderungswerte für Helligkeit und Kontrast, lumChangeRate und contrastChangeRate berechnet.

Yan und Kankanhalli (2002) verwenden eine gleichbleibende Änderungsrate der Helligkeit für alle Frames. Dabei ändern sie nur die Helligkeit und lassen die Änderungsrate konstant. Bei der in dieser Arbeit entwickelten Algorithmen jedoch werden Helligkeit und Kontrast geändert, und zwar für jedes Frame der Kameraeinstellung einzeln in Abhängigkeit des bisherigen durchschnittlichen Helligkeitswertes actLum von jedem Frame. Dabei werden noch zwei Schwellenwerte UPPERBOUND=110 und LOWEBOUND=90 benötigt. Frames mit Helligkeitswerten zwischen diesen Schwellenwerten werden nicht geändert.

Wenn actLum < LOWERBOUND ist, handelt es sich um ein zu dunkles Frame, es gilt:

lumChangeRate = 0.8 * (LOWERBOUND - actLum)

Dabei werden die Änderungswerte umso größer, je kleiner die aktuelle Helligkeit actLum ist. Theoretisch – bedingt durch die MoCA -Klasse LuminanceFilter – kann die lumChangeRate zwischen -255 und +255 liegen, der maximal mögliche Wert liegt jedoch hier bei +90, da durchschnittlich überhellte Helligkeitswerte wenig Kontrast bieten, verwaschen aussehen und das menschliche Auge nur wenig erkennen kann.

Deshalb verkleinert der Faktor 0.8 die Änderungswerte und die übrige notwendige Aufhellung findet mit dem Kontrast statt. Hier gilt:

contrastChangeRate = - (0.5 * lumChangeRate)

Dieser Wert wird mit der MoCA -Klasse ContrastFilter geändert, sein Wertebereich liegt wiederum zwischen -255 und +255, den Maximalwerten des Kontrastes eines Bildes, wobei der negative Wert zu einer Erhöhung des Kontrastes führt. Da die Kontraständerung hier nur zur Ergänzung der Helligkeitsänderung dient, ist der maximal mögliche Wert entsprechend kleiner. Eine weitere Anpassung des Kontrastes wird in den Kapiteln 2.2 und 2.3 beschrieben.

Wenn actLum > UPPERBOUND ist, handelt es sich um ein zu helles Frame, es gilt:

lumChangeRate = UPPERBOUND - actLum

Hier ergibt sich ein negativer Wert von maximal -145, falls das Bild komplett weiß wäre (actLum = 255). Eine Abdunklung um solch einen Betrag ist im Gegensatz zum vorhergehenden Fall durchaus vertretbar. Allerdings wird auch hier die u.U. starke Änderung der durchschnittlichen Helligkeit durch Erhöhung des Kontrastes ergänzt.

Frames zwischen den Schwellenwerten gelten als ausbalanciert und werden nicht geändert.

Abb. 2 zeigt den Ablauf der Erkennung und Korrektur von Helligkeitsschwankungen schematisch auf.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: Ablauf der Helligkeitskorrektur

Abb. 3 schließlich zeigt die Helligkeitsänderung eines zu hellen Beispielframes.

Abbildung 3: Beispiel für die Korrektur von Helligkeitsschwankungen

2.2. Überdunkelte Sequenzen

2.2.1. Erkennung zu dunkler Sequenzen

Zu dunkle Sequenzen in Filmen können durch Unterbelichtung, falsche Entwicklung oder Beschädigungen bei der Lagerung der Filmrolle entstehen.

Wie schon bei der Erkennung der Helligkeitsschwankungen werden die durch hard cuts ermittelten Kameraeinstellungen wieder separat betrachtet.

Bei überdunkelten Sequenzen geht man davon aus, dass die größte in der Sequenz vorkommende Helligkeit lumMax unter einem Schwellenwert THRESOVERDARK=70 liegt. Da es allerdings auch Sequenzen geben kann, bei denen sehr dunkle Frames keinen Fehler darstellen, muss noch ein weiteres Kriterium eingeführt werden.

Dazu schaut man sich die bereits in 2.1.1 eingeführte Distanz Abbildung in dieser Leseprobe nicht enthaltenüber die Sequenz an. Diese muss zusätzlich unter einem Schwellenwert THRESNOOVERCORECTION=40 liegen. Für eine überdunkelte Sequenz gilt also:

(lumMax ≤ THRESOVERDARK) and (d ≤ THRESNOOVERCORECTION)

[...]