Natural Language Processing mit Deep Learning

Abstract or Introduction

Rasenroboter oder Staubsauger-Roboter gehören heute für viele Menschen zum Alltag – auch wenn das vor einigen Jahren noch kaum vorstellbar gewesen wäre. Die Forschung schreitet voran und auch auf dem Arbeitsmarkt soll in Zukunft vieles Maschinen abgegeben werden, wie zum Beispiel die Altenpflege oder das Vorbereiten von Gerichtsentscheiden.

Auch das Verarbeiten und Verstehen komplexer sprachlicher Aussagen und Informationen ist Teil der künstlichen Intelligenz. Bisher wurden sprachliche Aussagen mit Symbolen in Schallform oder schriftlicher Form verarbeitet. Dieses Modell des diskreten Sprachgebrauchs hatte den Vorteil, dass Symbole eindeutig sind, da es ein Regelsystem für diese Symbole gibt. Bisherige Engstellen waren der zu geringe Speicherplatz und der fehlende Kontext bei der Sprachverarbeitung, da dafür mehr Variablen notwendig gewesen wären. Das zentrale Hauptproblem war jedoch, dass die Maschinen nicht selbst gelernt haben, sondern nur so intelligent waren, wie die Person, die sie programmiert hat. Diese Probleme können mit dem Machine Learning und dem Deep Learning überwunden werden, wie genau das funktioniert wird im zweiten Punkt dieser Arbeit erläutert.

Das Deep Learning wurde im Seminar anhand von Deep-Learning-Ansätzen des Natural Language Processing, kurz NLP, erklärt. Das NLP ist eine der wichtigsten Technologien des Informationszeitalters. Da Sprache ein wesentlicher Bestandteil der menschlichen Kommunikation ist, gibt es zahlreiche Anwendungsgebiete von NLP, wie zum Beispiel die Sprachübersetzung, E-Mails oder Werbung. Neben den Deep-Learning-Ansätzen gibt es zahlreiche weitere maschinelle Lernmodelle für NLP, die Deep-Learning-Ansätze haben jedoch aktuell mit hohen Leistungen bei NLP-Aufgaben überzeugt.

In dieser Arbeit wird zunächst das Deep Learning definiert, vom Machine Learning und der künstlichen Intelligenz abgegrenzt und anschließend ein korrektes Programmierbeispiel vorgestellt, in dem wir eine handgeschriebene Ziffer zu einer Kategorie zugeordnet haben. Die Arbeit stützt sich dabei, neben den im Seminar gewonnen Kenntnissen, auf das Werk Deep Learning mit Python und Keras von Francois Chollet.