Ziel dieser Seminararbeit ist es, allgemeine Grundlagen von künstlichen neuronalen Netzen (KNN) vorzustellen und ihre Tauglichkeit für die Sprachverarbeitung zu erforschen.
Theoretisch müsste ein Computer leistungsfähiger als das Gehirn eines Menschen sein, allerdings fehlt ihm die Fähigkeit des Lernens. Seit den frühen 1940er Jahren, fast zeitgleich mit der Geschichte der Computer, läuft die Forschung Computern die Fähigkeiten des Lernens (u. a. wie Fehlertoleranz) zunutze zu machen. Die Adaption der Lernfähigkeit wird durch das Abbilden des menschlichen Gehirns – der Neuronalen Netze – erreicht.
Künstliche Neuronale Netzwerke werden heute in sehr vielfältiger Weise eingesetzt. Laut Prof. Dr. Jürgen Schmidhuber vom Schweizer Forschungsinstitut für Künstliche Intelligenz IDSIA ist man (fast) soweit ein kleines Äffchen, welches lernt abstrakt zu denken und zu planen, nachzubilden. Ist dieser Meilenstein erreicht, wird es nicht mehr allzu lange dauern, bis menschenähnliche Intelligenz nachgebildet werden kann.
Inhaltsverzeichnis
1 Einführung
1.1 Die Lernfähigkeit
1.2 Zielsetzung der Arbeit
2 Künstliche Neuronale Netze
2.1 Verortung im Gebiet der Computational Intelligence
2.2 Definition und typische Anwendungsfälle
2.3 Allgemeine künstliche Neuronale Netze
2.3.1 Das menschliche Gehirn als Vorbild
2.3.2 Aufbau künstlicher neuronaler Netze
3 Künstliche neurale Netze in der Sprachverarbeitung
3.1 Sprachverarbeitung
3.2 Spracherkennung
3.2.1 Ansätze und Probleme
3.2.2 Vorverarbeitung
3.2.3 Erkennung
3.3 Künstliche neuronale Netze in der Spracherkennung
3.3.1 Hybride Systeme
3.3.2 Rekurrente Neuronale Netze mit Long Short-Term Memory
3.4 Long Short-Term Memory außerhalb der Sprachverarbeitung
4 Fazit
Zielsetzung & Themen
Die vorliegende Seminararbeit verfolgt das primäre Ziel, die Grundlagen künstlicher neuronaler Netze (KNN) zu erläutern und deren Eignung sowie praktische Anwendungsmöglichkeiten im Bereich der modernen Sprachverarbeitung kritisch zu untersuchen.
- Grundlagen und Funktionsweise biologischer und künstlicher neuronaler Netze
- Methoden der automatischen Spracherkennung und statistische Modellierung
- Der hybride Ansatz zur Kombination von neuronalen Netzen und Hidden Markov Modellen
- Bedeutung von Long Short-Term Memory (LSTM) für rekurrente neuronale Netze
- Einfluss von Hardware-Optimierungen (GPUs) auf die Leistungsfähigkeit beim Training neuronaler Netze
Auszug aus dem Buch
3.3.2 Rekurrente Neuronale Netze mit Long Short-Term Memory
Häufig werden in der Spracherkennung künstliche neuronale Netze mit Hidden Markov Modelle und Vorverarbeitung kombiniert. Jüngst wird alternativ dazu damit experimentiert, die gesamte Erkennung rekurrenten neuronalen Netzen mit Long Short-Term Memory (LSTM) zu überlassen. Die Fehlerquote liegt dabei bei 17,7% (Stand 2013). Es wird jedoch erwartet, dass in der Spracherkennung noch wesentliche Fortschritte erreicht werden. Denn durch die erst kurze Experimentierzeit sind die Trainingsdaten in der Spracherkennung hinsichtlich Menge und Aufbereitung noch nicht so optimal, wie in anderen Gebieten wie der Bildererkennung.
RNN mit LSTM konnte den Wettbewerb zur Erkennung chinesischer Handschrift im Jahr 2011 gewinnen. Der Algorithmus ist in der Lage, chinesische Schrift (und viele weitere Sprachen) auf einem Bild zu erkennen und in eine andere Sprache zu übersetzen. Dieses Problem kann man in keines der aus der Literatur erwähnten Teilgebiete der Sprachverarbeitung eingeteilt werden. Das Erkennen von Sprache aus einem Bild kann jedoch sehr nützlich sein. Ist man in einem Land ohne die Landessprache zu kennen, kann beispielsweise die Speisekarte in einem Restaurant mit einem Smartphone fotografiert werden, sodass die Sprache erkannt und auf eine andere Sprache übersetzt werden kann.
RNNs sind schwer zu trainieren. Das Trainingsverfahren Connectionist Temporal Classification macht es erst möglich RNNs für Sequenzaufbereitungsproblemen, bei denen Eingabe und Ausgabe unbekannt sind, zu trainieren.
Beim Training von RNNs gestaltet sich die Fehlerrückführung (engl. Backpropagation) als schwierig. Denn beim Training auftretende Fehler werden pro Zeitpaket einmal multipliziert. Bei kleinen Fehlern ist das relativ unproblematisch, während größere Fehler aufgrund der wiederholten Multiplikation schnell noch größer werden. Mit einem LSTM aufgebauten künstlichen neuronalen Netzes lässt sich dieses Problem vermeiden.
Zusammenfassung der Kapitel
1 Einführung: Diese Einleitung beschreibt die historische Entwicklung der Informationstechnologie, die Notwendigkeit von lernfähigen Systemen und definiert das Ziel der Arbeit, die Tauglichkeit von KNN für die Sprachverarbeitung zu untersuchen.
2 Künstliche Neuronale Netze: Das Kapitel verortet KNN im Kontext der Computational Intelligence, erläutert deren biologische Vorbilder und beschreibt die mathematischen sowie strukturellen Grundlagen der Netzwerkkonfiguration und des Trainings.
3 Künstliche neurale Netze in der Sprachverarbeitung: Dieser Hauptteil analysiert die spezifischen Anforderungen der Sprachverarbeitung, die Vorverarbeitung von Audiodaten sowie den Einsatz verschiedener Architekturansätze wie hybrider Modelle und LSTM-Netzwerke.
4 Fazit: Das Fazit fasst zusammen, dass hybride Systeme aktuell noch überlegen sind, aber KNN mit LSTM durch Hardwarebeschleunigung mittels GPUs ein enormes Potenzial für zukünftige Entwicklungen bergen.
Schlüsselwörter
Künstliche neuronale Netze, KNN, Sprachverarbeitung, Spracherkennung, Long Short-Term Memory, LSTM, Deep Learning, Hidden Markov Model, HMM, Computational Intelligence, Rekurrente neuronale Netze, RNN, GPU, Backpropagation, Signalverarbeitung
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit beschäftigt sich mit dem Einsatz und der Funktionsweise von künstlichen neuronalen Netzen, insbesondere im Kontext der automatischen Verarbeitung und Erkennung von menschlicher Sprache.
Was sind die zentralen Themenfelder der Arbeit?
Die zentralen Themen sind die theoretischen Grundlagen künstlicher neuronaler Netze, Methoden der automatischen Spracherkennung sowie der Vergleich zwischen hybriden Systemen und modernen Ansätzen wie Long Short-Term Memory (LSTM).
Was ist das primäre Ziel oder die Forschungsfrage?
Das Ziel ist es, die Grundlagen von KNN darzustellen und deren Tauglichkeit sowie Leistungsfähigkeit für die Sprachverarbeitung zu erforschen.
Welche wissenschaftliche Methode wird verwendet?
Die Arbeit basiert auf einer Literaturanalyse, die grundlegende Konzepte der Computational Intelligence und spezifische Algorithmen der Spracherkennung zusammenführt und bewertet.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil behandelt die Funktionsweise der Sprachverarbeitung, Probleme der Spracherkennung, hybride Ansätze und die spezifische Architektur rekurrenter neuronaler Netze mit LSTM-Zellen.
Welche Schlüsselwörter charakterisieren die Arbeit?
Künstliche neuronale Netze (KNN), Spracherkennung, LSTM, Deep Learning, HMM und Computational Intelligence sind die prägenden Begriffe.
Welche Rolle spielt die Hardware bei der Entwicklung von KNN?
Die Arbeit erläutert, dass erst der Einsatz von GPUs, die für parallele Matrixmultiplikationen optimiert sind, das effiziente Training großer neuronaler Netze innerhalb praxistauglicher Zeitrahmen ermöglicht hat.
Warum sind rekurrente neuronale Netze schwer zu trainieren?
Das Training von RNNs mittels Backpropagation ist schwierig, da bei der Fehlerrückführung über Zeitpakete hinweg Multiplikationen auftreten, die kleine Fehler schnell zu großen Fehlern anwachsen lassen können, was durch LSTM-Architekturen vermieden wird.
- Quote paper
- Anonym (Author), 2017, Künstliche neuronale Netze. Ihr Einsatz in der Sprachverarbeitung, Munich, GRIN Verlag, https://www.grin.com/document/1000540