Das menschliche Gehirn ist zu faszinierenden Leistungen fähig. In manchen Bereichen ist es jedem Computer überlegen. Zum Beispiel könnte heute kein Computer im Straßenverkehr ein Auto so sicher lenken wie ein Mensch. Andererseits löst ein Computer komplizierte Rechenaufgaben viel schneller als ein menschliches Gehirn. Mit künstlichen neuronalen Netzen versucht die Informatik, das Gehirn zu imitieren, um die Vorzüge beider Systeme zu vereinigen.
Künstliche neuronale Netze bestehen aus künstlichen Neuronen, die miteinander zu einem Netz verbunden sind. Dabei können die Verbindungen unterschiedlich stark ausgeprägt sein. Damit ein solches Netz bestimmte Probleme lösen kann, muss es zunächst mit einem Lernverfahren trainiert werden. Dabei werden dem Netz Beispiele in Form von Eingabedaten und den dazugehörigen korrekten Ausgabedaten vorgelegt. Manche Lernverfahren arbeiten auch mit Trainingsdaten, die keine korrekten Ausgabedaten enthalten.
Bei den Lernverfahren handelt es ich um eine Minimierung der Fehlerfunktion des künstlichen neuronalen Netzes. Diese suchen ein lokales Minimum der Fehlerfuntkion. Dieses ist nicht optimal, da es nach dem Finden eines lokalen Minimums der Funktion noch kleinere Werte der Fehlerfunktion geben kann.
In dieser Arbeit entwickle und implementiere ich ein Lernverfahren für künstliche neuronale Netze, welches ein globales Minimum der Fehlerfuntkion sucht. Als Grundlage benutze ich einen von Harkiolakis entwickelten Algorithmus zur globalen Optimierung eines nicht nichtlinearen Gleichungssystem durch den Flug eines Projektils. [Har08] Mithilfe dieses Verfahrens wurden in bekannten Optimierungsproblemen neue Minima gefunden. Dieses übertrage ich auf ein Lernverfahren für künstliche neuronale Netze mit dem Versuch bessere Netze zu
finden als mit den standard Lernverfahren.
Inhaltsverzeichnis
1 Einleitung
2 Einführung in die künstlichen neuronalen Netze
2.1 Biologisches Vorbild
2.2 Modellierung von Neuronen
2.3 Vernetzung der künstlichen Neuronen
2.4 Lernverfahren
2.5 Backpropagation
3 Probleme des Backpropagation Algorithmus
3.1 Lokale Minima
3.2 Flache Plateaus
3.3 Verlassen guter Minima
4 Modifikation von Backpropagation
4.1 Momentum Term
4.2 Weight Decay
4.3 Quickprop
4.4 δ − ¯δ Lernregel
5 Lösungsansatz
5.1 Flight of a Projectile in the Conformational Space
5.2 Projectile Learning
5.2.1 Verwendetes Framework
5.2.2 Implementierung des Projektilfluges
5.2.3 Kollision des Projektils mit der Fehleroberfläche
5.2.4 Resultat des Lernverfahrens
6 Anwendung
6.1 Testfälle
6.1.1 Wirbelsäulenstörung
6.1.2 Brustkrebs Vorhersage
6.1.3 Parkinson
6.2 Auswertung der Testfälle
7 Fazit
8 Anlage
Zielsetzung & Themen
Das Hauptziel dieser Arbeit besteht darin, ein neues Lernverfahren für künstliche neuronale Netze zu entwickeln und zu implementieren, das ein globales Minimum der Fehlerfunktion sucht, um bessere Trainingsergebnisse als mit Standard-Lernverfahren zu erzielen. Die Forschungsfrage konzentriert sich darauf, wie ein auf der Flugbahn eines Projektils basierender heuristischer Optimierungsalgorithmus auf die Gewichtsoptimierung in Feedforward-Netzen übertragen werden kann.
- Entwicklung des "Projectile Learning" Lernverfahrens
- Übertragung der globalen Optimierung nach Harkiolakis auf neuronale Netze
- Vergleich von Projectile Learning mit klassischer Backpropagation
- Analyse des Einflusses von Parametern auf die Fehleroberfläche
- Anwendung des Verfahrens auf medizinische Datensätze (Wirbelsäule, Brustkrebs, Parkinson)
Auszug aus dem Buch
5.1 Flight of a Projectile in the Conformational Space
Harkiolakis entwickelte einen heuristischen Algoritmus zur Optimierung mehrdimensionaler Probleme, welcher auf dem physikalischen Phänomen des Fluges eines Projektils basiert.[Har08]
Dieses Projektil, welches als punktförmig angenommen wird, bewegt sich im Raum der Funktion, dessen Minimum gesucht wird. Die Definitionsmenge kann mehrdimensional sein, wobei die Zielmenge eindimensional ist. Dabei werden schrittweise Punkte auf dem Weg des Projektils berechnet. Ausgehend von dem aktuellen Punkt wird der nächste Punkt berechnet, an welchem das Projektil sich nach einer gewissen Zeit befinden würde. Von diesen Punkten entspricht derjenige, welcher den kleinsten Funktionswert aufweist, dem vom Algorithmus ermittelten Minimum.
In Abbildung 9 ist ein Funktionsgraph einer Funktion mit mehreren lokalen Minima zu sehen. Das Projektil wird hier durch eine rote Kugel dargestellt. Dieses wird in Punkt A losgelassen und bewegt sich dann nach den Gesetzen der Mechanik unter Einfluss einer Gravitationskraft durch den Raum. An den Stellen, an denen das Projektil auf die Oberfläche der Funktion trifft, erfolgt ein vollständig elastischer Stoß und die Stelle wird mit einer roten Kugel markiert. Indem diese der Reihe nach mit einer gestrichelten Linie verbunden werden, kann man den Weg des Projektils erkennen.
Zusammenfassung der Kapitel
1 Einleitung: Motivation für den Einsatz künstlicher neuronaler Netze und Zielsetzung der Arbeit, ein globales Minimum der Fehlerfunktion durch einen neuartigen Ansatz zu finden.
2 Einführung in die künstlichen neuronalen Netze: Grundlagen der Modellierung, Vernetzung und das Training von Neuronen sowie die formale Beschreibung des Backpropagation-Algorithmus.
3 Probleme des Backpropagation Algorithmus: Analyse von Limitierungen bei Standardverfahren, insbesondere das Hängenbleiben in lokalen Minima, flache Plateaus und das Verlassen guter Minima.
4 Modifikation von Backpropagation: Vorstellung verschiedener Ansätze zur Verbesserung des Lernverhaltens, wie Momentum Term, Weight Decay, Quickprop und die δ − ¯δ Lernregel.
5 Lösungsansatz: Detaillierte Herleitung des entwickelten Projectile Learning Algorithmus, basierend auf der physikalischen Simulation eines Projektils im Raum der Gewichte.
6 Anwendung: Durchführung von Tests des neuen Algorithmus an drei medizinischen Datensätzen und Vergleich der Ergebnisse mit klassischer Backpropagation.
7 Fazit: Zusammenfassende Bewertung der Ergebnisse, Diskussion der Vorteile und Limitierungen sowie Ausblick auf potenzielle Verbesserungen des Verfahrens.
8 Anlage: Auflistung der beiliegenden Dateien und der in Java implementierten Klassen.
Schlüsselwörter
Künstliche neuronale Netze, Backpropagation, Globale Optimierung, Projectile Learning, Fehlerfunktion, Lokale Minima, Gradientenabstiegsverfahren, Lernverfahren, Gewichtsoptimierung, Simulation, Heuristik, Feedforward-Netze, MSE, Java, Neuronales Netz Training
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit beschäftigt sich mit der Entwicklung eines neuartigen Lernverfahrens für künstliche neuronale Netze, das eine globale statt nur einer lokalen Suche auf der Fehleroberfläche ermöglicht.
Was sind die zentralen Themenfelder?
Die zentralen Felder sind künstliche Intelligenz, neuronale Netze, mathematische Optimierungsverfahren sowie die physikalische Simulation zur Problemlösung.
Was ist das primäre Ziel oder die Forschungsfrage?
Das Ziel ist es, ein Verfahren zu implementieren, das es erlaubt, durch Simulation eines Projektilfluges in den Gewichten eines Netzes, ein besseres (globales) Minimum der Fehlerfunktion zu finden.
Welche wissenschaftliche Methode wird verwendet?
Es wird ein heuristischer Ansatz verwendet, der auf der physikalischen Simulation elastischer Stöße eines Projektils im Konfigurationsraum der Netzgewichte basiert.
Was wird im Hauptteil behandelt?
Der Hauptteil erläutert zunächst die theoretischen Grundlagen neuronaler Netze, analysiert Schwachstellen der Backpropagation, stellt Modifikationen vor und beschreibt die Implementierung des eigenen Projektil-basierten Lernalgorithmus.
Welche Schlüsselwörter charakterisieren die Arbeit?
Künstliche neuronale Netze, Backpropagation, Globale Optimierung, Projectile Learning, Fehlerfunktion, Lokale Minima.
Warum wird das "Projectile Learning" gegen klassische Verfahren getestet?
Um zu validieren, ob die globale Suche tatsächlich zu einer Reduktion des mittleren quadratischen Fehlers (MSE) führt, auch wenn die Laufzeit dabei signifikant höher ausfällt.
Warum ist eine "Starthöhe" für das Projektil relevant?
Die Starthöhe bestimmt die potentielle Energie des Projektils, welche definiert, welche Hindernisse auf der Fehleroberfläche überwunden werden können, um aus lokalen Minima zu entkommen.
- Citar trabajo
- Dieter Janzen (Autor), 2011, Projectile Learning - Entwicklung und Implementierung eines neuen Lernverfahrens für künstliche neuronale Netze mit dem Ansatz einer globalen Suche auf der Fehlerfunktion, Múnich, GRIN Verlag, https://www.grin.com/document/201989
