Diese Arbeit soll einen umfassenden Überblick über die theoretischen Grundlagen und die Funktionsweise Künstlicher Neuronaler Netze (KNNs) im Allgemeinen und von CNNs im Speziellen geben, sodass auch deren Anwendungsgebiete nachvollziehbar werden. So soll ein fundierter Einstieg in das Thema geboten werden.
In Kapitel 2 wird zunächst ein Grundverständnis des Deep Learning vermittelt, einschließlich der Einordnung in das Feld des Machine Learning und der historischen Entwicklung KNNs. Kapitel 3 widmet sich anschließend den CNNs im Detail, wobei deren grundlegender Aufbau und Funktionsweise erläutert werden. Darüber hinaus wird auf Regularisierungsmethoden, insbesondere auf Dropout, eingegangen. Anschließend werden zentrale Anwendungsgebiete von CNNs sowie moderne Architekturen wie ResNet, DenseNet und Octave Convolution vorgestellt. Die Arbeit schließt mit einer Zusammenfassung und einer kritischen Würdigung, in der die zentralen Erkenntnisse der Untersuchung reflektiert werden. Die kritische Würdigung setzt sich zudem mit möglichen Einschränkungen der eigenen Analyse auseinander und diskutiert offene Fragen sowie potenzielle Verbesserungspotenziale in der methodischen Herangehensweise.
Inhaltsverzeichnis
- Abbildungsverzeichnis
- Abkürzungsverzeichnis
- 1 Einleitung
- 1.1 Thematische Einführung
- 1.2 Ziel und Aufbau der Arbeit
- 2 Deep Learning
- 2.1 Grundlagen
- 2.1.1 Machine Learning
- 2.1.2 Deep Learning
- 2.2 Historische Entwicklung
- 2.1 Grundlagen
- 3 Convolutional Neural Networks
- 3.1 Aufbau und Funktionsweise
- 3.2 Regularisierung mit Dropout
- 3.3 Anwendungsgebiete
- 3.4 Moderne Netzarchitekturen
- 4 Fazit
- 4.1 Zusammenfassung
- 4.2 Kritische Würdigung
- Literaturverzeichnis
Zielsetzung & Thematische Schwerpunkte
Diese Arbeit bietet einen umfassenden Überblick über die theoretischen Grundlagen und die Funktionsweise von Künstlichen Neuronalen Netzen (KNNs) im Allgemeinen und Convolutional Neural Networks (CNNs) im Speziellen. Das primäre Ziel ist es, einen fundierten Einstieg in das Thema zu ermöglichen und die Anwendungsgebiete nachvollziehbar zu machen.
- Grundlagen und Definitionen von Machine Learning und Deep Learning.
- Detaillierte Analyse des Aufbaus und der Funktionsweise von Convolutional Neural Networks.
- Erläuterung von Regularisierungsmethoden, insbesondere Dropout, zur Verbesserung der Modellgeneralisierung.
- Übersicht über diverse Anwendungsgebiete von CNNs in Bilderkennung, medizinischer Diagnostik und weiteren Feldern.
- Vorstellung moderner Netzarchitekturen wie ResNet, DenseNet und Octave Convolution.
- Historische Entwicklung relevanter Meilensteine im Bereich Deep Learning und Künstlicher Neuronaler Netze.
Auszug aus dem Buch
3.1 Aufbau und Funktionsweise
Wie aus den historischen Meilensteinen der Entwicklung von KNNs in Abschnitt 2.2 hervor- geht, erzielen sog. Convolutional Neural Networks hervorragende Leistungen im Bereich von Bildklassifikationsaufgaben, weshalb sie auf diesem Gebiet die derzeitige Standardarchitektur darstellen26. Grundsätzlich handelt es sich dabei um eine spezielle Form von Feedforward- Netzen, welche auf die Verarbeitung von Daten in rasterähnlicher Topologie ausgelegt sind27. Im Unterschied zu herkömmlichen KNNs sind sie jedoch nicht aus einer Abfolge beliebig vie- ler Fully-Connected Layer aufgebaut, sondern bestehen aus einer Struktur in Form von Blöcken zur Merkmalsextraktion aus je einer Faltungsschicht (engl. Convolutional Layer) gefolgt von ei- nem Pooling Layer28. Diese Struktur kann beliebig oft aneinandergereiht werden, wodurch mit entsprechender Anzahl ein Deep CNN entsteht. Der Output wird am Ende wiederum durch ei- ne Anzahl von Fully-Connected Layern erzeugt29. Abbildung 3.1 verdeutlicht diesen Aufbau schematisch.
In herkömmlichen Feedforward-Netzen, die in einer Fully-Connected Architektur aufgebaut sind, werden Zusammenhänge aller Featuremerkmale zueinander gesucht. Sie lernen, indem sie Gewichtsanpassungen vornehmen und so die besten Linearkombinationen hervorheben. Im Fall von hochdimensionalen Eingabedaten bedeutet diese Architektur allerdings einen enormen Rechenaufwand.
Ein Bild mit einer Auflösung von 1920*1080 Pixeln hätte bspw. eine Verbin- dungsanzahl der Neuronen zu sämtlichen Features von mehr als 2 Millionen und demnach pro Durchlauf Gewichtsanpassungen in gleicher Anzahl zur Folge. Für Aufgaben der Bilderken- nung ist diese Herangehensweise allerdings ohnehin nicht sinnvoll, da deren Inhalt erst über Muster innerhalb benachbarter Pixel erkennbar wird. CNNs machen sich diesen Umstand zu- nutze. Dabei kommt die mathematische Operation der Faltung (engl. Convolution) zum Einsatz. Es wird eine meist quadratische Filtermatrix, oder auch Kernel, definiert, die in einer vorgege- benen Schrittweite (Stride) über den Eingabevektor bewegt wird. Hierbei werden die Merkmale dieser Bildausschnitte jeweils nacheinander mit denen des Filters multipliziert und anschließend aufsummiert30. Das Ergebnis dieser Berechnungen wird dann an der entsprechenden Position auf der Ausgabematrix, welche als Feature Map bezeichnet wird, abgelegt. Der Filter ist so definiert, dass er der Erkennung von speziellen Features, wie Kanten, Texturen oder anderen wiederkehrenden Mustern dient. Die Feature Map zeigt demnach an, an welcher Stelle im Ori- ginalbild das entsprechende Feature existiert. Um eine Reduktion der Dimensionen im Output zu verhindern, wird bei der Faltung meist das sog. Zero Padding eingesetzt. Dabei wird das Bild an den Rändern mit zusätzlichen Nullen aufgefüllt. Dies sorgt dafür, dass die Filtermatrix auch auf die äußeren Pixel zugreifen kann und die Feature Map die gleiche Größe wie die Eingabe hat31. Auf diese Weise können mit verschiedenen Filtern verschiedene Features extrahiert wer- den32. Wendet man in einem Convolutional Layer eine Anzahl von f Filtern an, werden also f Feature Maps erzeugt. Diese werden als Kanäle oder Channels des jeweiligen Convolutional Layer bezeichnet. Deren Output ist damit ein Array der Struktur f * n * m (Kanäle * Pixel des Originalbildes)33.
Auf jeden Convolutional Layer folgt ein Pooling Layer, welcher der Reduktion redundanter Features dient. Dabei wird ein Pooling Algorithmus auf nicht überlappende Bereiche der Fea- ture Map (oft wird dieser 2*2 Pixel groß gewählt) angewendet und gibt nur einen Wert an eine reduzierte Map weiter. Die zwei meistverwendeten Algorithmen sind das Max und das Mean Pooling, wobei nur der größte Wert bzw. der Durchschnittswert erhalten bleibt. Der so entste- hende Informationsverlust verringert die Dimension der Channels und damit den notwendigen Rechenaufwand des Modells. Das Pooling kann außerdem zu einer größeren Robustheit ge- gen Overfitting beitragen34. Es können dabei aber auch für die jeweilige Anwendung relevante Informationen verloren gehen, was die Anwendung des Pooling nicht unumstritten macht. Ab-
Zusammenfassung der Kapitel
Kapitel 1 Einleitung: Dieses Kapitel führt in das Thema ein, skizziert die Relevanz von Convolutional Neural Networks (CNNs) in der Künstlichen Intelligenz und definiert das Ziel sowie den Aufbau der vorliegenden Arbeit.
Kapitel 2 Deep Learning: Hier werden die Grundlagen des Deep Learnings erläutert, einschließlich der Abgrenzung zu Machine Learning, der Funktionsweise Künstlicher Neuronaler Netze und der historischen Entwicklung wichtiger Meilensteine in diesem Forschungsfeld.
Kapitel 3 Convolutional Neural Networks: Dieses zentrale Kapitel widmet sich detailliert dem Aufbau und der Funktionsweise von CNNs, beleuchtet Regularisierungsmethoden wie Dropout, stellt verschiedene Anwendungsgebiete vor und diskutiert moderne Netzarchitekturen.
Kapitel 4 Fazit: Das Abschlusskapitel bietet eine Zusammenfassung der wichtigsten Erkenntnisse und eine kritische Würdigung der Arbeit, einschließlich möglicher Einschränkungen und weiterer Forschungsperspektiven.
Schlüsselwörter
Deep Learning, Convolutional Neural Networks, CNN, Machine Learning, Künstliche Neuronale Netze, Bilderkennung, Mustererkennung, Dropout, Regularisierung, Faltungsoperation, Pooling, ResNet, DenseNet, Octave Convolution, KI
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit befasst sich mit Convolutional Neural Networks (CNNs) und deren Rolle in der Künstlichen Intelligenz, insbesondere im Bereich der Bild- und Mustererkennung, und beleuchtet deren theoretische Grundlagen, Funktionsweise und Anwendungsgebiete.
Was sind die zentralen Themenfelder?
Zentrale Themenfelder sind die Grundlagen des Deep Learnings, der Aufbau und die Funktionsweise von CNNs, Regularisierungsmethoden wie Dropout, Anwendungsgebiete von CNNs sowie moderne Netzarchitekturen.
Was ist das primäre Ziel oder die Forschungsfrage?
Das primäre Ziel ist es, einen umfassenden Überblick über Künstliche Neuronale Netze und speziell CNNs zu geben, um einen fundierten Einstieg in das Thema zu ermöglichen und deren Anwendungsgebiete nachvollziehbar zu machen.
Welche wissenschaftliche Methode wird verwendet?
Die Arbeit verfolgt einen deskriptiven und analytischen Ansatz, indem sie theoretische Konzepte, historische Entwicklungen und technische Funktionsweisen von Künstlicher Intelligenz, Deep Learning und insbesondere Convolutional Neural Networks detailliert erläutert und zusammenfasst.
Was wird im Hauptteil behandelt?
Im Hauptteil werden die Konzepte des Deep Learnings, die Unterscheidung zu Machine Learning, die historische Entwicklung, der detaillierte Aufbau und die Funktionsweise von Convolutional Neural Networks, Regularisierungsmethoden und deren Anwendungsgebiete sowie moderne Netzarchitekturen behandelt.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit wird durch Schlüsselwörter wie Deep Learning, Convolutional Neural Networks, CNN, Machine Learning, Künstliche Neuronale Netze, Bilderkennung, Mustererkennung, Dropout, Regularisierung, Faltungsoperation, Pooling, ResNet, DenseNet, Octave Convolution und KI charakterisiert.
Was unterscheidet CNNs von herkömmlichen Künstlichen Neuronalen Netzen?
Im Gegensatz zu herkömmlichen KNNs mit Fully-Connected Layern bestehen CNNs aus Blöcken von Faltungs- und Poolingschichten zur Merkmalsextraktion, die speziell für die Verarbeitung von Daten in rasterähnlicher Topologie, wie Bildern, optimiert sind.
Welche Rolle spielt die Regularisierungsmethode Dropout in CNNs?
Dropout ist eine Regularisierungsmethode, bei der während des Trainings zufällig Neuronen deaktiviert werden, um Overfitting zu verhindern und die Generalisierungsfähigkeit des Modells auf neue, unbekannte Daten zu verbessern.
Nenne Beispiele für moderne CNN-Architekturen und deren Beitrag.
Moderne CNN-Architekturen wie ResNet ermöglichen das Training sehr tiefer Netzwerke durch Skip Connections, DenseNet verbessert den Informationsfluss durch Verbindungen zwischen allen Schichten, und Octave Convolution reduziert Rechenlast und Speicherbedarf durch die Unterteilung von Bildmerkmalen.
In welchen Bereichen finden CNNs typischerweise Anwendung?
CNNs finden vielfältige Anwendungen, besonders in der Bild- und Mustererkennung, medizinischen Diagnostik (z.B. Tumore), autonomem Fahren, industrieller Qualitätskontrolle, Handschrifterkennung, Spracherkennung und Zeitreihenanalyse.
- Quote paper
- Sebastian Hufe (Author), 2025, Convolutional Neural Network (CNN). Grundlagen, Funktionsweise und Anwendungsgebiete, Munich, GRIN Verlag, https://www.grin.com/document/1588398
