Objekterkennung ist ein weit gefächertes Gebiet und umfasst eine Vielzahl von Verfahren zur Vermessung und Kategorisierung von Objekten mittels unterschiedlichster Sensorsysteme, die je nach Umgebung, Beleuchtung und Art der Objekte die detektiert oder vermessen werden sollen, unterschiedlich geeignet sind und ensprechend ihre Vor- und Nachteile besitzen. Diese Diplomarbeit beschäftigt sich mit der Objekterkennung im Rahmen der Robotik, speziell im Roboterfußball, welcher sich in den letzten Jahren, aufgrund der sich daraus ergebenden Forschungsmöglichkeiten, immer größerer Beliebtheit erfreut.
Der Roboter soll den Regeln der Mirosot Kategorie der internationalen Organisation zur Förderung des Roboterfußballs FIRA entsprechen. Als Sensor für die Objekterkennung dient eine Digitalkamera. So wird in dieser Arbeit ausgehend von den Einschränkungen in den Abmessungen, bestimmt durch die Regeln der Kategorie Mirosot, eine geeignete Hardware-Plattform erarbeitet und Gründe für den Entscheid zur Wahl bestimmter Komponenten dargelegt.
Ausgehend von gängigen Methoden der Bildverarbeitung und der Aufwandsabschätzung für diese Algorithmen, wird nach einem Softwarekonzept gesucht, das auf der gewählten Plattform den gestellten Anforderungen entspricht. Ziel ist in erster Linie die Erkennung des Spielballes, ein oranger Golfball und der farbig markierten Tore. Da Standardverfahren aber nicht auf die spezielle Hardware optimiert sind und auch ansonsten hohe Anforderungen an die Rechenleistung stellen, wird ein Konzept vorgestellt, das es erlaubt einfache geometrische Formen wie Kreise oder Rechtecke zu detektieren und zu vermessen.
Dieses neue Konzept greift teilweise auf in der Fachliteratur bekannte Methoden zurück die hierfür entsprechend optimiert werden, enthält aber auch einen neuen Ansatz, der es erlaubt den Anforderungen durch die hohe Dynamik der Bewegung der zu detektierenden Objekte Rechnung zu tragen. So entstand ein Bilderkennungssystem mit einer Erkennungsrate von 60 Bildern pro Sekunde. Für den Spielball liegt die Genauigkeit bei +/- 1 mm in einer mittleren Entfernung von 50 cm. Dies bei einem durchschnittlichen Leistungsverbrauch von 1,5 Watt und Dimensionen der Hardware die in einem Würfel von 7,5 cm Kantenlänge Platz finden.
Inhaltsverzeichnis
Kapitel 1 Aufgabenstellung
1.1 Roboterfußball
1.1.1 FIRA
1.1.2 Robocup
1.2 Anforderungen and das Vision System
Kapitel 2 Begriffsbildung
2.1 Das menschliche Sehen
2.1.1 Der Aufbau des Auges
2.2 Farbton, Helligkeit und Sättigung
2.3 Farbräume und ihre Entstehung
2.3.1 Drei-Komponenten-Theorie
2.3.2 Der RGB-Farbraum
2.3.3 Von der analogen in die digitale Welt
2.3.4 Der FHS-Farbraum
2.3.5 FHS ähnliche Modelle
2.3.6 Das YUV-Farbmodell
2.3.7 Das YCbCr-Farbmodell
2.3.8 Abtastfrequenzen
2.4 Auflösung von digitalen Bildern
2.5 Videoübertragung
2.5.1 Bildübertragung allgemein
2.5.2 ITU-R BT.601
2.5.3 ITU-R BT.656
Kapitel 3 Methoden der Bilderkennung
3.1 Grundlegende Begriffe
3.2 Das Schichtenmodell
3.3 Aufnahme
3.4 Vorverarbeitung
3.4.1 Charakterisierung digitaler Bilder
3.4.2 Punktoperatoren
3.4.3 Globale Operatoren
3.4.4 Operationen im Frequenzbereich
3.4.5 Transformation der Ortskoordinaten
3.5 Segmentierung
3.5.1 Schwellwertverfahren
3.5.2 Kantendetektion
3.5.3 Kantennachbearbeitung
3.5.4 Morphologische Operatoren
3.6 Merkmalsextraktion und Objektidentifikation
3.6.1 Opening und Closing
3.6.2 Vektorisierung
3.6.3 Modellierung
3.7 Interpretation
3.8 Rückkopplungen
Kapitel 4 Systemarchitektur und Wahl der Komponenten
4.1 Rahmenbedingungen
4.1.1 Abmessungen
4.1.2 Leistungsverbrauch
4.2 Architektur des Objekterkennungssystems
4.3 Bildaufnahme
4.3.1 Objektiv
4.3.2 Fotosensor
4.3.3 Image-Sensoren und Kameramodule am Markt
4.3.4 Monokamera gegen Stereokamera
4.3.5 Kameramontage
4.4 Prozessor
4.4.1 Fixkomma gegen Fließkomma
4.4.2 DSPs am Markt
4.5 Speicher
4.5.1 RAM
4.5.2 Flash
4.6 Tinyphoon
Kapitel 5 Realisierung und Ergebnisse
5.1 Entwicklungstools
5.1.1 Altium Designer
5.1.2 VDSP++
5.1.3 JTAG
5.2 Schaltplan und Platinenlayout
5.2.1 Schaltplan
5.2.2 PCB-Layout
5.3 Betriebssystem
5.4 Software-Bibliotheken zur Bilderkennung
5.5 Treibersoftware
5.5.1 PLL
5.5.2 SDRAM-Controller
5.5.3 GPIO
5.5.4 SCCB
5.5.5 Kamerainitialisierung
5.5.6 Kamerkalibrierung
5.5.7 PPI und DMA
5.5.8 Flashspeicher
5.6 Bootvorgang
5.7 Aufnahmetests
5.7.1 AEC und AWB
5.7.2 Auflösung und Objektgrößen
5.8 DMA und Speicherverwaltung
5.8.1 Framebuffer
5.8.2 Cache der Bilddaten
5.8.3 Synchronisation der DMA-Transfers
5.9 Der Objekterkennungsalgorithmus
5.9.1 Vorverarbeitung des Bildes
5.9.2 Wahl eines geeigneten Farbraums
5.9.3 Kantendetektion und Farbklassifizierung
5.9.4 Nachbearbeitung der Segmente
5.9.5 Das „Short Line Detection“ Konzept
5.9.6 Die Modellierung und Objektbestimmung
5.9.7 Bildkoordinaten
5.10 Transformation der Bild- in Roboterkoordinaten
5.10.1 Koordinatentransformation
5.10.2 Testaufbau
5.10.3 Methode der kleinsten Quadrate
5.10.4 Stückweise lineare Approximation
5.11 Ablauf und Timing des Algorithmus
5.12 Performance optimiertes Kodieren
5.13 Evaluierung der Performance
5.13.1 Genauigkeit
5.13.2 Ausführungszeit
5.13.3 Leistungsaufnahme
5.14 Erkenntnisse und Problembereiche
Kapitel 6 Weitere Entwicklungen
6.1 FPGAs
6.2 Drehbarer Stereokopf
6.3 Neue Prozessoren
6.4 Neue Kameramodule
6.5 Autofokus
6.6 Verbesserungen des Monokamerasystems
6.6.1 Verdoppelung der Framerate
6.6.2 Verringerung der Empfindlichkeit gegen Verdeckung
6.6.3 Verbesserte Objektdetektion
6.6.4 Weniger Empfindlichkeit gegenüber Helligkeitsänderungen
6.6.5 Verringerung der Ausführungszeit
6.7 Intelligenter Bildverarbeitungssensor
Zielsetzung & Themen
Die vorliegende Arbeit befasst sich mit der Entwicklung eines effizienten Bildverarbeitungssystems für autonome mobile Roboter, die im Rahmen des Roboterfußballs (Mirosot-Kategorie) eingesetzt werden. Das primäre Ziel besteht darin, ein System zu entwerfen, das auf leistungsbegrenzten Embedded-Systemen eine schnelle Objekterkennung (insbesondere von Ball und Toren) ermöglicht, indem es Kamera-Hardware mit optimierter Software kombiniert, um Entfernungen präzise zu bestimmen.
- Entwicklung einer geeigneten Hardware-Architektur für mobile Roboter unter strengen Energie- und Platzvorgaben
- Optimierung von Bildverarbeitungsalgorithmen (Kantendetektion, Farbklassifizierung) für DSP-Systeme (Blackfin)
- Effiziente Speicherverwaltung und Nutzung von DMA-Transfers zur Echtzeit-Bildverarbeitung
- Konzept zur geometrischen Objekterkennung unter variablen Licht- und Entfernungsbedingungen
Auszug aus dem Buch
Die Stäbchen:
Liegt die Beleuchtungsstärke unter einem bestimmten Schwellwert, so reagieren die Zäpfchen nicht mehr in ausreichendem Maße auf eintreffendes Licht. An ihrer Stelle treten dann die Stäbchen die einerseits in größerer Zahl auftreten, ca. 75 bis 150 Millionen im Gegensatz zu den 6 bis 7 Millionen Zäpfchen, andererseits sind auch immer mehrere Stäbchen mit einem Nerv verbunden, im Durchschnitt an die 130. Diesen zwei Faktoren verdanken wir es, dass die Empfindlichkeit der Stäbchen um einige Größenordnungen höher als jene der Zäpfchen liegt, wodurch sehen auch unterhalb des Schwellwertes bei dem Zäpfchen noch angeregt werden, möglich ist. Da es von den Stäbchen aber nur einen Typus gibt ist in der Dunkelheit eine Farbunterscheidung nicht mehr möglich. Die unterschiedliche Anzahl und Verteilung bedingt aber auch, dass das menschliche Auge eine wesentlich bessere räumliche Auflösung für Helligkeits- als für Änderungen im Farbton hat. Ein weiterer Umstand der in der Bildverarbeitung Verwendung findet.
Zusammenfassung der Kapitel
Kapitel 1 Aufgabenstellung: Diese Einführung erläutert die Anforderungen und das Umfeld der Roboterfußball-Liga Mirosot sowie die Zielsetzung zur Entwicklung eines intelligenten Vision-Sensors.
Kapitel 2 Begriffsbildung: Hier werden theoretische Grundlagen zu Farbräumen, dem menschlichen Sehen und der Videoübertragung gelegt, die für das Verständnis der Bildverarbeitung essenziell sind.
Kapitel 3 Methoden der Bilderkennung: Das Kapitel bietet einen Überblick über gängige Algorithmen der Bildverarbeitung, von der Vorverarbeitung über Segmentierung bis hin zur Merkmalsextraktion.
Kapitel 4 Systemarchitektur und Wahl der Komponenten: Dieser Teil beschreibt die Auswahl der Kamera, des Prozessors (Blackfin) und der Speicherarchitektur unter Berücksichtigung der strengen Größen- und Energie-Vorgaben.
Kapitel 5 Realisierung und Ergebnisse: Hier werden die Implementierung der Treibersoftware, das Timing des Algorithmus sowie die experimentelle Evaluierung der Genauigkeit und Leistungsaufnahme detailliert dargelegt.
Kapitel 6 Weitere Entwicklungen: Das abschließende Kapitel gibt einen Ausblick auf potenzielle zukünftige Verbesserungen, wie den Einsatz von FPGAs oder Stereokamerasystemen.
Schlüsselwörter
Objekterkennung, Roboterfußball, Embedded Systems, Bildverarbeitung, Echtzeit, Blackfin, DSP, CMOS-Sensor, Farbraum, Kantendetektion, Mikrocontroller, Bildaufnahme, Robotik, FIRA, Echtzeitverarbeitung.
Häufig gestellte Fragen
Worum geht es in dieser Diplomarbeit grundsätzlich?
Die Arbeit beschäftigt sich mit der Entwicklung eines Echtzeit-Objekterkennungssystems für mobile Roboter, die im Roboterfußball eingesetzt werden.
Welche zentralen Themenfelder behandelt die Arbeit?
Die Arbeit deckt Hardware-Architektur, Bildverarbeitungs-Algorithmen, Speicherverwaltung und Echtzeit-Optimierung auf eingebetteten Prozessoren ab.
Was ist das primäre Ziel der Forschungsarbeit?
Ziel ist die Entwicklung eines kompakten, energieeffizienten Bildverarbeitungssystems, das in der Lage ist, Spielball und Tore zuverlässig zu detektieren und Entfernungen zu bestimmen.
Welche wissenschaftliche Methode wird primär verwendet?
Der Autor nutzt eine Kombination aus systematischer Hardware-Auswahl, algorithmischer Optimierung für Signalprozessoren (Assembler-Programmierung) und empirischer Leistungsbewertung.
Welche Aspekte werden im Hauptteil der Arbeit behandelt?
Der Hauptteil befasst sich mit der Architekturplanung, der Auswahl spezifischer Sensoren und Prozessoren, der Implementierung von Treibern sowie der Entwicklung und Optimierung von Bildverarbeitungsalgorithmen.
Welche Schlüsselbegriffe charakterisieren die Arbeit?
Die Arbeit wird durch Begriffe wie Echtzeit-Objekterkennung, Embedded Vision, digitale Bildverarbeitung, Blackfin-DSP und FIRA-Roboterfußball charakterisiert.
Warum wurde das "Short Line Detection" Konzept eingeführt?
Dieses Konzept dient dazu, die Suche nach dem Ball im Bild effizient auf spezifische Kantenmerkmale (kurze horizontale Geradenstücke) zu reduzieren und so Rechenleistung einzusparen.
Warum spielt die Assembler-Programmierung eine so große Rolle für das Ergebnis?
Durch die Verwendung von Assembler konnte die Ausführungszeit für kritische Operationen signifikant gesenkt werden, was für das Erreichen der geforderten Framerate von 60 Bildern pro Sekunde entscheidend war.
Welche Rolle spielt die DMA-Einheit bei der Objekterkennung?
Die DMA-Einheit ermöglicht den parallelen Datentransfer zwischen Kamera, SDRAM und internem Speicher, was die CPU entlastet und eine kontinuierliche Echtzeit-Verarbeitung ohne Bildverluste erlaubt.
- Citar trabajo
- Roland Oberhammer (Autor), 2007, Echtzeit Objekterkennung auf low power embedded systems, Múnich, GRIN Verlag, https://www.grin.com/document/86427
