Das Ziel dieser Diplomarbeit ist die Entwicklung einer Systemplattform für die Echtzeit-Bildverarbeitung an Bord eines VTOL-MAV unter Berücksichtigung der gegebenen Rand-bedingungen des bereits existierenden Miniatur-Helikopters MD4-200. Diese Randbedingungen sind zunächst zu identifzieren, darauf aufbauend sind die erforderlichen Hardwarekomponenten der Systemplattform zu selektieren sowie ein Konzept für die Implementierung einer Softwareumgebung auf der Hardwareplattform zu entwerfen. Danach soll ein Prototyp der Systemplattform erstellt und in Betrieb genommen werden. Um die Leistungsfähigkeit der Plattform zu validieren sind im Anschluss verschiedene Algorithmen der Bildverarbeitung zu implementieren, die auch als Basis für weitere Applikationen dienen sollen.
Inhalt
1 Einleitung
1.1 Aufgabenstellung
1.2 Gliederung der Arbeit
2 Grundlagen
2.1 Das VTOL-MAV MD4-200
2.1.1 Leistungsdaten
2.1.2 Avionik
2.2 Digitale Signalprozessoren
2.2.1 Arithmetik
2.2.1.1 Fixkommaarithmetik
2.2.1.2 Gleitkommaarithmetik
2.2.1.3 Spezialisierte Recheneinheiten
2.2.2 Speicherzugriff
2.2.2.1 Direct Memory Access
2.2.3 Analog Devices Blackfin BF561
2.2.3.1 Die Blackfin Prozessorfamilie
2.2.3.2 Peripherie
2.2.3.3 Besonderheiten des ADSP-BF561
2.3 Bildsensorik
2.3.1 Verfahren der Bildaufnahme
2.3.2 Logische Repräsentation der Bilddaten
2.3.3 Bayer-Sensor
2.4 Farbmodelle
2.4.1 RGB
2.4.2 YUV und YCbCr
2.5 Bildübertragung
2.5.1 Phase Alternating Line
2.6 Der Optische Fluss
2.6.1 Prinzipien
2.6.2 Das Verfahren nach Lukas und Canade
3 Systemintegration
3.1 Anforderungen an Systemplattform
3.2 Hardware
3.2.1 Systemüberblick
3.2.2 Systemkomponenten
3.2.2.1 Prozessormodul
3.2.2.2 Kameras
3.2.2.3 Videoencoder
3.2.2.4 Massenspeicher
3.2.2.5 I2C und SCCB Schnittstellen
3.2.2.6 Spannungsversorgung
3.2.2.7 Benutzerschnittstellen
3.3 Betriebssystem und Applikationen
3.3.1 Das Betriebssystem μClinux
3.3.2 Layout des Arbeitsspeichers
3.3.3 Bootvorgang
3.3.3.1 Initialisierung des Prozessors
3.3.3.2 Der Bootprozess im Detail
4 Erzeugung und Übertragung stereographischer Bilddaten
4.1 Entstehung des Tiefeneindrucks
4.2 Erzeugung stereographischer Bilddaten in Echtzeit
4.2.1 Signalpfad der Bilddaten
4.2.2 Synchronisation der Kameras
4.2.3 Bayer-Interpolation
4.2.4 Farbraumkonvertierung
4.2.5 Erzeugung des PAL-Signals
4.2.5.1 Layout des SDRAM-Speichers
4.2.5.2 Übertragung des Videopuffers
4.3 Visualisierung
4.3.1 Darstellung mittels Videobrille
4.3.2 Darstellung mittels Anaglyphen
5 Schätzung des optischen Flusses mittels Census Transformation
6 Ergebnisse
6.1 Systemplattform
6.1.1 Technische Daten
6.2 Anwendungen
6.2.1 Stereographie
6.2.2 Schätzung des Optischen Flusses
7 Zusammenfassung
A Verzeichnis der Applikationen
A.1 Applikationen
A.1.1 Verzeichnis camtools
A.1.2 Verzeichnis videnctools
B Anaglyphenbrille
C Schaltpläne
Zielsetzung & Themen
Die vorliegende Arbeit befasst sich mit der Entwicklung und Implementierung einer kompakten Hardwareplattform für die Echtzeit-Bildverarbeitung an Bord eines VTOL-MAV (Unmanned Aerial Vehicle) vom Typ MD4-200. Ziel ist es, durch die lokale Verarbeitung von Bilddaten direkt auf dem Fluggerät die Zuverlässigkeit und Autonomie der Navigationslösung zu erhöhen, da bisherige Ansätze über analoge Funkstrecken aufgrund von Latenzen und Störanfälligkeiten limitiert waren.
- Entwicklung und Prototyping einer eingebetteten Systemplattform auf Basis des Blackfin BF561 DSP.
- Integration von zwei Kameras für stereoskopische Bildaufnahmen zur Tiefenwahrnehmung.
- Implementierung eines Echtzeit-Bildverarbeitungssystems unter Verwendung von μClinux.
- Entwicklung effizienter Algorithmen zur Schätzung des optischen Flusses mittels Census-Transformation, angepasst an DSP-Ressourcen.
Auszug aus dem Buch
2.6.2 Das Verfahren nach Lukas und Canade
Der Lucas-Canade Algorithmus [19] ist ein gängiges Verfahren zur Schätzung des Optischen Flusses. Auf eine vollständige mathematische Herleitung des Algorithmus wird im Rahmen dieser Diplomarbeit verzichtet, vielmehr wird auf dessen wesentlichen Eigenschaften im Bezug auf eine Implementierung in DSP-basierten Umgebungen eingegangen. Eine Erläuterung des Verfahrens nebst Praxisbeispielen ist in [20] zu finden.
Gegeben sei ein Pixel x eines Grauwertbildes mit der Intensität I(x, y, t). Dieser Pixel soll sich in einem zweiten Grauwertbild um den Betrag δx, δy, δt von seinem Ursprungspunkt bewegt haben. Für die Intensität bedeutet dies:
I(x, y, t) = I(x + δx, y + δy, t + δt) (2.4)
Unter Annahme eines hinreichend kleinen δx, δy, δt kann diese Gleichung mittels Taylorreihenentwicklung auf die Form:
∂I/∂xδx + ∂I/∂y δy + ∂I/∂t δt = 0 (2.5)
beziehungsweise durch Mulitplikation dieses Terms mit 1/δt und Grenzwertbildung mit δt → 0
∂I/∂x · dx/dt + ∂I/∂y · dy/dt + ∂I/∂t · δt/δt = 0 (2.6)
gebracht werden. Mit f = ( dx/dt , dy/dt )T beziehungsweise fx = dx/dt und fy = dy/dt ergibt sich
∂I/∂x · fx + ∂I/∂y · fy = −∂I/∂t. (2.7)
f enthält dabei die x- und y-Komponenten des Optischen Flusses von I(x, y, t). ∂I/∂x , ∂I/∂y und ∂I/∂t stellen die Ableitungen des Grauwertbildes nach den bezeichneten Komponenten im Pixel x dar.
Zusammenfassung der Kapitel
1 Einleitung: Diese Einleitung stellt die Bedeutung von MAVs in modernen Anwendungen vor und definiert die Aufgabenstellung sowie das Ziel der Diplomarbeit: Die Entwicklung einer echtzeitfähigen Systemplattform zur Bildverarbeitung für das MD4-200.
2 Grundlagen: Das Kapitel vermittelt essenzielle Hintergrundinformationen zum VTOL-MAV MD4-200, zur Funktionsweise von digitalen Signalprozessoren (insbesondere dem Blackfin BF561), zur Bildsensorik sowie zu Farbmodellen und dem Konzept des optischen Flusses.
3 Systemintegration: Hier wird der Entwurf der Hardware-Systemplattform detailliert beschrieben, einschließlich der Anforderungen, der Auswahl der Komponenten wie Kameras, Speicher und Videoencoder, sowie die Softwareeinbettung in eine μClinux-Umgebung.
4 Erzeugung und Übertragung stereographischer Bilddaten: Dieses Kapitel erläutert die Implementierung der Stereobildverarbeitung, wobei der Fokus auf der synchronen Aufnahme, der effizienten Bayer-Interpolation und der Echtzeitübertragung des PAL-Videosignals zur Bodenstation liegt.
5 Schätzung des optischen Flusses mittels Census Transformation: Es wird die Methodik zur Schätzung des optischen Flusses mittels Census-Transformation vorgestellt, die speziell für die Ressourcenbeschränkungen und die sequentielle Architektur des Blackfin-DSPs optimiert wurde.
6 Ergebnisse: Die Ergebnisse validieren die entwickelte Systemplattform hinsichtlich ihrer technischen Leistungsfähigkeit und belegen die Praxistauglichkeit der implementierten Anwendungen (Stereographie und optischer Fluss).
7 Zusammenfassung: Das abschließende Kapitel fasst die Arbeit zusammen und diskutiert mögliche zukünftige Optimierungspotenziale sowie Erweiterungsmöglichkeiten für die Systemplattform.
Schlüsselwörter
MAV, MD4-200, Blackfin BF561, Echtzeit-Bildverarbeitung, Stereographie, Optischer Fluss, Census-Transformation, μClinux, Digitale Signalprozessoren, Bildsensorik, FPGA, PAL-Videoencoder, Embedded Systems, Robotik, Bildverarbeitung
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Diplomarbeit beschäftigt sich mit der Entwicklung einer dedizierten Hardwareplattform für die automatisierte Echtzeit-Bildverarbeitung, die direkt an Bord eines unbemannten Fluggerätes (Micro Aerial Vehicle) eingesetzt wird.
Was sind die zentralen Themenfelder der Arbeit?
Die Schwerpunkte liegen auf der Systemintegration von DSP-basierter Hardware, der Implementierung einer Softwareumgebung mittels μClinux und der praktischen Anwendung von Bildverarbeitungsalgorithmen zur Stereographie und Schätzung des optischen Flusses.
Was ist das primäre Ziel der Arbeit?
Das Ziel ist die Schaffung eines kompakten Systems, das trotz strenger Gewichts- und Platzvorgaben eine performante Bildverarbeitung in Echtzeit ermöglicht, um die autonome Navigation des MD4-200-Helikopters zu stützen.
Welche wissenschaftliche Methode wird verwendet?
Neben der Hardware-Konzeption nutzt die Arbeit Ansätze der digitalen Bildverarbeitung, insbesondere die Census-Transformation zur Schätzung des optischen Flusses, die im Vergleich zum klassischen Lukas-Canade-Algorithmus speichereffizienter auf DSPs implementiert werden kann.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil gliedert sich in die technologische Grundlagenermittlung, das detaillierte Hardware-Layout der Systemplattform inklusive Kameraschnittstellen und Video-Encodierung sowie die Beschreibung der zwei Hauptanwendungen: Stereobild-Aufnahme und der optische Fluss zur Bewegungsschätzung.
Welche Schlüsselwörter charakterisieren die Arbeit?
Zentrale Begriffe sind MAV, Blackfin-DSP, Echtzeit-Bildverarbeitung, Stereographie, optischer Fluss, Census-Transformation, μClinux und Systemintegration.
Wie wurde die Synchronisation der Kameras realisiert?
Da die zeitliche Synchronisation für stereoskopische Anwendungen entscheidend ist, werden beide Kameramodule über ein gemeinsames Taktsignal versorgt und über ein kombiniertes Powerdown-Signal durch den Prozessor gleichzeitig gestartet, um bitsynchrone Bilddaten zu erhalten.
Warum wurde die Census-Transformation dem Lukas-Canade-Verfahren vorgezogen?
Die Census-Transformation erfordert weniger wahlfreie Speicherzugriffe und reduziert das Datenvolumen frühzeitig, was sie wesentlich besser für die auf sequentielle Datenverarbeitung optimierte Architektur des verwendeten Blackfin-Prozessors geeignet macht als den rechenintensiven Lukas-Canade-Algorithmus.
- Quote paper
- Carsten Kappenberger (Author), 2008, Entwurf und Implementierung einer Systemplattform für die Echtzeit-Bildverarbeitung an Bord eines VTOL-MAVs, Munich, GRIN Verlag, https://www.grin.com/document/178023
