Neuronale Netze: Theoretische Grundlagen und Anwendung in der Verkehrszeichenerkennung


Diplomarbeit, 2004
148 Seiten, Note: 1.7

Leseprobe

Inhaltsverzeichnis

1. Einleitung
1.1 Motivation
1.2 Überblick über die einzelnen Kapitel

2. Theoretische Grundlagen
2.1 Aufbau Neuronaler Netze
2.2 Darstellbarkeit von Funktionen
2.2.1 Das Perzeptron
2.2.2 Repräsentierbarkeit von Feedforward Netzen

3. Lernverfahren für Feedforward Netze
3.1 Backpropagation
3.1.1 Modifikationen von Backpropagation
3.1.2 Konvergenz von Backpropagation
3.1.3 Three-Term-Backpropagation
3.2 Quickprop
3.3 Resilient Propagation
3.4 Backpercolation
3.5 Levenberg-Marquardt Algorithmus
3.6 Globale Lernverfahren
3.6.1 Cutting Angle Methode
3.6.2 Heuristic Global Learning

4. Rekurrente Netze und ihre Lernverfahren
4.1 Jordan-Netze
4.2 Elman-Netze
4.3 Hierarchische Elman-Netze
4.4 Lernverfahren für partiell rekurrente Netze
4.4.1 Backpropagation Through Time (BPTT)
4.4.2 Real-Time Recurrent Learning (RTRL)
4.4.3 Kombination von BPTT und RTRL
4.5 Hopfield-Netze
4.6 Stabilität
4.6.1 Stabilität von Hopfield-Netzen
4.6.2 Bedingungen für globale asymptotische Stabilität
4.7 Boltzmann Maschine

5. Pruning Algorithmen
5.1 Weight Decay
5.2 Löschen der betragsmäßig kleinsten Gewichte (Mag)
5.3 Optimal Brain Damage (OBD)
5.4 Optimal Brain Surgeon (OBS)
5.5 Skelettierung

6. Erkennung von Verkehrszeichen
6.1 Problemstellung
6.2 Bearbeitung der Bilder
6.3 Trainingsmuster
6.4 Erstellen und Training der Neuronalen Netze
6.4.1 32 x 32 / 32 / 4 Feedforward Netz
6.4.2 32 x 32 / 16 / 4 / 4 Feedforward Netz
6.5 Testen der Neuronalen Netze
6.5.1 Generierung der Testdaten
6.5.2 32 x 32 / 32 / 4 Feedforward Netz
6.5.3 32 x 32 / 16 / 4 / 4 Feedforward Netz
6.5.4 Ergebnis
6.6 Erweiterung des Neuronalen Netzes

7. Fazit

A Programmlisting
A.1 Umwandlung der Bilder in Matrizen
A.2 Umwandlung der Matrizen in Bilder

B R Skripten
B.1 Erstellen der Trainingsdaten
B.2 Erstellen der Testdaten
B.3 Erstellen der Daten für das „Gefahr“-Schild

C Testergebnisse
C.1 Testergebnisse für das 32 x 32 / 32 / 4 Feedforward Netz
C.2 Testergebnisse für das 32 x 32 / 16 / 16 / 4 Feedforward Netz
C.3 Testergebnisse für das 32 x 32 / 16 / 5 / 4 Feedforward Netz

Erklärung

Einleitung

1.1 Motivation

Neuronale Netze sind ursprünglich aus der Biologie bekannt. Sie haben eine grobe Analogie zum Gehirn der Säugetiere. Künstliche Neuronale Netze sind informationsverarbeitende Systeme. Sie bestehen aus einer großen Anzahl einfacher Einheiten, den Neuronen, die sich Informationen in Form der Aktivierung der

Neuronen über gerichtete, gewichtete Verbindungen zusenden. Es sind massiv parallele, lernfähige Systeme. Neuronale Netze haben die Fähigkeit, eine Aufgabe selbständig, anhand von Trainingsbeispielen, zu lernen.

Beim Training eines Neuronalen Netzes entsteht eine Differenz zwischen der tatsächlichen Ausgabe des Neuronalen Netzes und einer gewünschten Ausgabe. Diese ist in den Trainingsdaten aufgrund von Vorwissen (z.B. vorgegebene Muster, Vergangenheitsdaten usw.) bekannt. Es entsteht also ein Trainings- bzw Netzwerkfehler. Damit dieser stets nichtnegativ ist, wird er im Allgemeinen mit Hilfe des Quadrats des euklidischen Abstands definiert (siehe Gleichung (3.1)). Ziel des Trainings ist es also, diesen Fehler zu minimieren. Man hat damit ein Optimierungsproblem ohne Nebenbedingungen.

Zum Training stehen einige Algorithmen, die aus der unrestringierten Optimierung bekannt sind und für die Anwendung auf Neuronale Netze angepasst wurden, zur Verfügung. In dieser Arbeit werden einige Algorithmen vorgestellt, die der Gradientenabstiegsmethode, einem Quasi-Newton Verfahren oder einer Abwandlung des Gauß-Newton Verfahrens, dem Levenberg-Marquardt Verfahren, entsprechen. Außerdem wird auf Verfahren aus der globalen Optimierung eingegangen. Dabei wird ein Cutting Angle Verfahren auf Neuronale Netze angepasst. Weiterhin wird ein heuristisches Verfahren, das auf der Verwendung einer Gradientenabstiegsmethode zusammen mit einer Penalty-Funktion basiert, vorgestellt. Damit kann ein lokales Minimum wieder

verlassen und ein globales erreicht werden.

Für einige Verfahren wird ein Konvergenzbeweis geführt. Des weiteren wird auf die Stabilität dieser Verfahren eingegangen.

Es werden verschiedene zeitabhängige rekurrente Neuronale Netze vorgestellt und die dazugehörigen Lernverfahren entsprechend angepasst. Außerdem werden Bedingungen für deren Stabilität gezeigt. Stabilität heißt dabei, dass sich die Ausgabe des Neuronalen Netzes nicht verändert.

Anschließend werden Verfahren zur Minimierung der Neuronalen Netze vorgestellt. Damit sollen unwichtige Verbindungen oder Neuronen gelöscht werden.

Neuronale Netze sind vielseitig verwendbar, z.B. in der Mustererkennung, Steuerung autonomer Fahrzeuge, Prognose. Weitere Anwendungsmöglichkeiten sind in [52] zu finden.

In dieser Arbeit wird ein Neuronales Netz in der Verkehrszeichenerkennung als praktisches Beispiel für eine Mustererkennung angewendet. Ziel ist es, ein Neuronales Netz zu erstellen und mit ausgewählten Verkehrszeichen zu trainieren. Dafür werden die Verkehrszeichen um bis zu 25% mit Hilfe eines Zufallsgenerators, in diesem Fall unter Verwendung des Statistikprogramms R, verrauscht. Um die Neuronalen Netze zu erstellen und zu trainieren, wurde der Stuttgarter Neuronale Netze Simulator verwendet. Dabei werden die vorher theoretisch festgestellten Unterschiede in der Geschwindigkeit der Verfahren, den Netzwerkfehler zu minimieren, deutlich sichtbar. Anschließend soll das Netz in der Lage sein, diese Verkehrszeichen, die ebenfalls verrauscht sein können, wieder zu erkennen. Danach wird gezeigt, wie dem Neuronalen Netz ein weiteres Verkehrszeichen antrainiert werden kann.

[...]

Ende der Leseprobe aus 148 Seiten

Details

Titel
Neuronale Netze: Theoretische Grundlagen und Anwendung in der Verkehrszeichenerkennung
Hochschule
Universität Bayreuth  (Fakultät für Mathematik und Physik)
Note
1.7
Autor
Jahr
2004
Seiten
148
Katalognummer
V27839
ISBN (eBook)
9783638297721
ISBN (Buch)
9783640862467
Dateigröße
2431 KB
Sprache
Deutsch
Schlagworte
Neuronale, Netze, Theoretische, Grundlagen, Anwendung, Verkehrszeichenerkennung
Arbeit zitieren
Andreas Friedrich (Autor), 2004, Neuronale Netze: Theoretische Grundlagen und Anwendung in der Verkehrszeichenerkennung, München, GRIN Verlag, https://www.grin.com/document/27839

Kommentare

  • Noch keine Kommentare.
Im eBook lesen
Titel: Neuronale Netze: Theoretische Grundlagen und Anwendung in der Verkehrszeichenerkennung


Ihre Arbeit hochladen

Ihre Hausarbeit / Abschlussarbeit:

- Publikation als eBook und Buch
- Hohes Honorar auf die Verkäufe
- Für Sie komplett kostenlos – mit ISBN
- Es dauert nur 5 Minuten
- Jede Arbeit findet Leser

Kostenlos Autor werden