Neuronale Netze. Grundlagen und Entwicklung von Anwendungsbeispielen

Inhaltsverzeichnis

1. Einleitung

2. Definitionen
2.1. Artificial Intelligence
2.2. Machine Learning

3. Grundlagen
3.1. Units
3.2. Input und Netzinput
3.3. Arten von künstlichen neuronalen Netzen
3.4. Arten des Lernens

4. Bilderkennung durch Convolutional Neural Networks

5. Fazit

Literaturverzeichnis

Abbildungsverzeichnis

Abbildung 1: Exponentielles Wachstum der Rechenleistung

Abbildung 2:Einordnung des maschinellen Lernens

Abbildung 3: Visualisierung von maschinellem Lernen

Abbildung 4: Teilbereiche des maschinellen Lernens

Abbildung 5: 2.Einordnung des NLP

Abbildung 6: Einordnung des Deep Learning

Abbildung 7: Visualisierung des neuronalen Netzes

Abbildung 8: Visualisierung des neuronalen Netzes 2

Abbildung 9: Symbolbild zum Convolutional Neural Network

Abbildung 10: Clustering

Abbildung 11: Segmentierung von Gesichtern

Abbildung 12: Ausschnitte der MNIST Datenbank

Abbildung 13: Alternative Schreibweisen

Abbildung 14: Ungleiche Schreibweise eines X

Abbildung 15: Übereinstimmung der Teilbereiche

Abbildung 16: Farbwerte

Abbildung 17: Werte des Gesamtbildes

Abbildung 18: Daten nach dem 1. Pooling

Abbildung 19: Daten nach dem 2. Pooling

Abbildung 20: Aussagekraft der Daten

1. Einleitung

Das Thema der neuronalen Netze ist in Technikkreisen sehr beliebt. Dennoch ist uns als Studenten des Wirtschaftsingenieurswesens dieses Forschungsfeld nahezu unbekannt. Zudem sollen in Zukunft im Rahmen der MATLAB Vorlesungen während des Theoriesemesters neuronale Netze kurz angerissen werden. Hierzu ist aber aktuell kein passendes Skript, beziehungsweise kein anschauliches Beispiel verfügbar. Doch um dieses Thema bearbeiten zu können muss zunächst verstanden werden, worum es sich bei neuronalen Netzen handelt und wo sich diese eingliedern. Hierzu soll diese Arbeit dienen.

2. Definitionen

2.1. Artificial Intelligence

Künstliche Intelligenz – dieser Begriff ist in der heutigen Zeit in aller Munde. Doch worum handelt es sich dabei eigentlich? Hierzu muss dieser Ausdruck in seine Bestandteile „Künstlich“ und „Intelligenz“ zerlegt werden. Unter „Künstlich“ kann technisch oder vom Menschen erschaffen verstanden werden. Wir versuchen Intelligenz auf technischen Geräten nachzubilden. Diese können überall gefunden werden. So kann man heutzutage nicht nur sein Laptop und Smartphone, sondern auch die eigene Kaffeemaschine und das Getriebe im Auto als intelligente Technik bezeichnen. Doch sind diese Geräte schon intelligent oder wird erst ein Roboter, der unsere Bundeskanzlerin fragt, wie sie über das WM-Aus denkt von einem Intelligenten System gesprochen?¹

Beginnen wir mal von vorne – nämlich mit unserem Gehirn. Rund 85 Milliarden Nervenzellen (sogenannte Neuronen) feuern ständig elektrische Impulse. Sie bilden jeweils zehntausende Verbindungen zu ihren Nachbarzellen. Dieses unfassbar komplexe Gebilde ist die Grundlage dafür, dass wir lernen, schlussfolgern und abstrakt denken können. Kann man so etwas künstlich nachbilden? Dazu muss erst geklärt werden, was Intelligenz wirklich ist.²

Intelligenz bezeichnet die geistige Leistungsfähigkeit von Menschen. Es gibt in der Psychologie verschiedene theoretische Ansätze, Intelligenz zu erklären. Gemeinsam ist allen, dass es um die Fähigkeit geht, neue Situationen erfolgreich zu meistern, ohne auf gelernte Lösungen zurückgreifen zu können.³ Somit ist etwas intelligent, sobald es ein hohes Maß an Anpassungsfähigkeit besitzt und auf neue Situationen vernünftig reagiert und daraus eine zweckvolle Handlung ableitet. In diesem Punkt können auch KI-Systeme unterschieden werden.

Einteilung in schwache und starke KI

Es gibt die sogenannte „schwache KI“. Das ist Künstliche Intelligenz, die auf ein Gebiet spezialisiert ist. Zum Beispiel die, die 1997 den Schachweltmeister Schachmatt setzte.⁴ Auch unsere Smartphones und Laptops sind voll von schwacher KI – Siri, der E-Mail-Spamfilter. All das sind Künstliche Intelligenzen, die richtig gut in einem Gebiet sind. Aber eben nur in diesem Gebiet. Richtig intelligent wird es erst, wenn die sogenannte „starke KI“ erreicht ist – also KI, die über die gleichen intellektuellen Fähigkeiten verfügt wie ein Mensch. Der entscheidende Unterschied zwischen schwacher und starker Künstlicher Intelligenz ist: Eine schwache KI, die zum Beispiel für die Spracherkennung entwickelt wird, kann ihre Schlüsse nicht auf einen anderen Bereich übertragen. Eine starke KI könnte das, die gibt es jedoch bis heute nicht. Und dann gäbe es da noch die künstliche Superintelligenz – eine KI, die in jeder Hinsicht intelligenter ist als der Mensch. Der Oxford-Philosoph und führende KI-Forscher Nick Bostrom definiert Superintelligenz (Artificial Superintelligence „ASI“) als "einen Intellekt, der in praktisch jedem Bereich viel klüger ist als die besten menschlichen Gehirne, einschließlich wissenschaftlicher Kreativität, allgemeiner Weisheit und sozialer Fähigkeiten."⁵ Künstliche Superintelligenz reicht von einem Computer, der nur ein bisschen schlauer ist als ein Mensch, bis hin zu einem, der Billionen Mal schlauer ist - und das in allen Bereichen. ASI ist der Grund, warum der Bereich KI so ein pikantes Thema ist.

Die spannende Frage ist: Wie könnte aus einer schwachen KI eine starke oder gar Superintelligenz werden? Indem man im ersten Schritt imitiert, wie das Gehirn lernt. Das geschieht zum Beispiel mit künstlichen neuronalen Netzwerken. Die künstlichen Neuronen sind miteinander über Schichten verbunden und müssen lernen. Zum Beispiel lernen diese auf Bildern Menschen zu erkennen. Dafür wird das Netzwerk mit sehr vielen Bildern von Menschen sozusagen gefüttert. In der Lernphase wird dem Netzwerk zurückgemeldet, ob es ein Bild richtig erkannt hat, oder nicht. Je nach Rückmeldung verändert das Netzwerk die Verbindungen zwischen den Neuronen. Die, die zum richtigen Ergebnis geführt haben, werden stärker. Die, die zum falschen Ergebnis geführt haben, schwächer. Nach vielen Versuchen wird das Netzwerk zum intelligenten neuronalen Netzwerk, das sich eigenständig weiter optimiert. Das nennt man „Deep Learning“. Das Deep Learning revolutioniert schon heute viele Gebiete: Watson von IBM hat sich unter anderem selbständig darin perfektioniert, Krebszellen zu erkennen und soll künftig helfen, Krebs besser zu verstehen.⁶ Und Deep Learning ermöglicht zum Beispiel auch Gefühls- und Spracherkennung, automatisiertes Fahren oder Übersetzungen in Sekundenschnelle. Aber das alles ist noch immer schwache KI - schließlich sind die KIs noch immer nur auf einem Gebiet intelligent. Vom echten Gehirn - und damit von einer starken KI - ist das alles noch weit entfernt. Trotzdem sind viele Spezialisten davon überzeugt, dass sogar das Erreichen einer superintelligenten KI nur eine Frage der Zeit ist. Und es steht außer Frage, dass der erste Computer, der intelligenter ist als ein Mensch, alles verändern wird. Wenn schon der Intelligenzsprung vom Gorilla zum Menschen ausreichte, um die Welt zu regieren, wie mächtig wäre dann eine Superintelligenz? Das wird die Zeit zeigen. Doch schon jetzt gibt es Annahmen, dass bis zum Jahre 2060 Künstliche Intelligenzen die gesamte menschliche Intelligenz übertreffen könnte.^{7 8}

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Exponentielles Wachstum der Rechenleistung

2.2. Machine Learning

Welche Werbung einer⁹ Person vorgeschlagen wird, welcher Preis für ein Produkt bezahlt werden soll, sogar welcher Partner zu einem passt wird heutzutage von einer künstlichen Intelligenz berechnet. Hierbei handelt es sich um sogenanntes maschinelles Lernen oder auch Machine Learning. Das maschinelle Lernen ist wie im Schaubild zu erkennen eine Unterform der schwachen Künstlichen Intelligenz.

In diesem Teil der Künstlichen Intelligenz wird einer Maschine das Lernen gelehrt. Das heißt Systeme werden programmiert, um aus Daten Muster und Zusammenhänge zu erkennen. Dies geschieht mit dem Ziel diese Zusammenhänge auf unbekannte Daten anzuwenden und auszuwerten.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2:Einordnung des maschinellen Lernens

Der Aufbau sieht generell wie folgt aus:

Es werden¹⁰ Eingabedaten benötigt, aus denen der Algorithmus lernen kann. Dabei kann es sich um Merkmale, beschreibende Variablen oder sonstige Daten handeln. Ist die Dateneingabe erfolgreich, ist es in der Regel so, dass die Ausgabe ein passendes Modell ist. Das heißt dieser Algorithmus hat ein Regelwerk oder Modell erzeugt, ohne explizit darauf von einem Menschen programmiert zu sein.

Beispielsweiße werden bei der Betrugserkennung historische Betrugsfälle identifiziert und in den Machine Learning Algorithmus eingegeben. Das Modell trainiert dann daraus Muster an und kann daraus Betrugsfälle erkennen. So kann aus der Aktuellen Datenbank eine Wahrscheinlichkeit ermittelt werden, wie wahrscheinlich es ist, dass es sich hierbei auch um Betrug handelt.¹¹

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3: Visualisierung von maschinellem Lernen

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 4: Teilbereiche des maschinellen Lernens

Innerhalb des maschinellen Lernens können verschiedene Anwendungsbereiche unterschieden werden. Diese können auch in Abbildung 4 eingesehen werden. Eine detaillierte Erläuterung der einzelnen Lernarten wird in einem darauffolgenden Abschnitt dieser¹² Ausarbeitung gegeben.¹³

Im Teilbereich des Unüberwachten Lernens kann anhand der Clusteranalyse eine Markt- oder Kundensegmentierung durchgeführt werden.

Ein weiterer Fall ist die Dimensionsreduktion, um Strukturen in deren Daten zu erkennen. Auch im Bereich Big Data wird maschinelles Lernen eingesetzt, da hier konventionelle Rechenprogramme aufgrund der Menge der zu bearbeitenden Daten schnell an ihre Grenzen kommen.

Beim überwachten Lernen unterteilt sich das maschinelle Lernen in die Klassifikation und die Prognose. Zur Klassifikation kann im Speziellen die Objekterkennung, also eine Bilderkennung genannt werden. Ein weiterer Fall wäre das eingangs genannten Beispiels der Betrugserkennung.

Im Bereich der Prognose oder auch Regression genannt setzen Firmen häufig maschinelles Lernen zur Umsatzvorhersage oder als Nachfrageprognose ein.

Zum verstärkten Lernen können die Beispiele autonomes Fahren und Robotics genannt werden. Auch in der Personalisierung und Werbung werden heutzutage schon verstärkende Lerneinheiten eingesetzt, um die digitale Reise des Kunden mit dem Unternehmen optimal auf den Kunden anzupassen.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 5: 2.Einordnung des NLP¹⁴

a. Natural Language Processing

Alles, was wir ausdrücken (sei es mündlich oder schriftlich), trägt große Mengen an Informationen in sich. Das Thema, das wir wählen, unser Tonfall, unsere Wortwahl, alles fügt irgendeine Art von Information hinzu, die interpretiert und daraus ein Wert abgeleitet werden kann. Theoretisch können wir das menschliche Verhalten anhand dieser Informationen verstehen und sogar vorhersagen.

Aber es gibt ein Problem: Eine Person kann hunderte oder tausende von Wörtern in einer Erklärung generieren, jeder Satz mit seiner entsprechenden Komplexität. Wenn man mehrere Hunderte, Tausende oder Millionen von Personen oder Erklärungen in einem bestimmten Gebiet skalieren und analysieren will, dann ist die Situation unüberschaubar.

Als Beispiel für unstrukturierte Daten können Gespräche, Kommentare oder auch Tweets genannt werden. Unstrukturierte Daten passen nicht in die traditionelle Zeilen- und Spaltenstruktur von Datenbanken und stellen die große Mehrheit der in der realen Welt verfügbaren Daten dar. Sie sind unübersichtlich und schwer zu manipulieren. Dank der Fortschritte in Disziplinen wie dem maschinellen Lernen findet jedoch eine große Revolution zu diesem Thema statt. Heutzutage geht es nicht mehr darum, einen Text oder eine Sprache anhand von Schlüsselwörtern zu interpretieren (die altmodische mechanische Art), sondern darum, die Bedeutung hinter diesen Wörtern zu verstehen (die kognitive Art). Auf diese Weise ist es möglich, Redewendungen wie Ironie zu erkennen oder sogar eine Stimmungsanalyse durchzuführen.

Natural Language Processing oder NLP ist ein Bereich der Künstlichen Intelligenz, der Maschinen die Fähigkeit verleiht, menschliche Sprachen zu lesen, zu verstehen und deren Bedeutung abzuleiten.

Es ist eine Disziplin, die sich auf die Interaktion zwischen Datenwissenschaft und menschlicher Sprache konzentriert und sich auf viele Branchen ausdehnt. Heute boomt NLP dank der enormen Verbesserungen beim Zugang zu Daten und der Zunahme der Rechenleistung, die es Praktikern ermöglichen, aussagekräftige Ergebnisse in Bereichen wie Gesundheitswesen, Medien, Finanzen und Personalwesen zu erzielen, um nur einige zu nennen.¹⁵

Anwendungsfälle von NLP

Einfach ausgedrückt steht NLP für den automatischen Umgang mit natürlicher menschlicher Sprache wie Sprache oder Text, und obwohl das Konzept an sich schon faszinierend ist, ergibt sich der wahre Wert dieser Technologie aus den Anwendungsfällen.

NLP kann Ihnen bei vielen Aufgaben helfen und die Anwendungsgebiete scheinen täglich zuzunehmen. Lassen Sie uns einige Beispiele nennen:

NLP ermöglicht die Erkennung und Vorhersage von Krankheiten auf Basis von elektronischen Gesundheitsakten und der eigenen Sprache des Patienten. Diese Fähigkeit wird bei Gesundheitszuständen erforscht, die von Herz-Kreislauf-Erkrankungen über Depressionen bis hin zu Schizophrenie reichen. Amazon Comprehend Medical ist zum Beispiel ein Service, der NLP nutzt, um Krankheitszustände, Medikamente und Behandlungsergebnisse aus Patientennotizen, Berichten über klinische Studien und anderen elektronischen Gesundheitsakten zu extrahieren.¹⁶

Unternehmen können ermitteln, was Kunden über einen Service oder ein Produkt sagen, indem sie Informationen in Quellen wie sozialen Medien identifizieren und extrahieren. Diese Stimmungsanalyse kann eine Menge Informationen über die Entscheidungen der Kunden und deren Entscheidungsfaktoren liefern.

Ein Erfinder bei IBM hat einen kognitiven Assistenten entwickelt, der wie eine personalisierte Suchmaschine funktioniert, indem er alles über Sie lernt und Sie dann im richtigen Moment an einen Namen, ein Lied oder etwas anderes erinnert, an das Sie sich nicht erinnern können.

Unternehmen wie Yahoo und Google filtern und klassifizieren Ihre E-Mails mit NLP, indem sie den Text in den E-Mails, die ihre Server durchlaufen, analysieren und Spam stoppen, bevor er überhaupt in Ihren Posteingang gelangt.

Zur Erkennung von Fake News hat die NLP-Gruppe am MIT ein neues System entwickelt, das feststellt, ob eine Quelle korrekt oder politisch voreingenommen ist und erkennt, ob einer Nachrichtenquelle vertraut werden kann oder nicht.

Amazons Alexa und Apples Siri sind Beispiele für intelligente sprachgesteuerte Schnittstellen, die NLP nutzen, um auf Spracheingaben zu reagieren und alles Mögliche zu tun, wie z. B. ein bestimmtes Geschäft zu finden, uns die Wettervorhersage zu sagen, die beste Route zum Büro vorzuschlagen oder das Licht zu Hause einzuschalten.¹⁷

Einen Einblick in das zu haben, was passiert und worüber die Leute reden, kann für Finanzhändler sehr wertvoll sein. NLP wird eingesetzt, um Nachrichten, Berichte, Kommentare über mögliche Fusionen zwischen Unternehmen zu verfolgen, alles kann dann in einen Handelsalgorithmus eingebaut werden, um massive Gewinne zu generieren. Denken Sie daran: Kaufen Sie das Gerücht, verkaufen Sie die Nachricht.

NLP wird auch in der Such- und Auswahlphase bei der Rekrutierung von Talenten eingesetzt, um die Fähigkeiten potenzieller Mitarbeiter zu identifizieren und potenzielle Kandidaten zu erkennen, bevor sie auf dem Arbeitsmarkt aktiv werden.

Angetrieben von der IBM Watson NLP-Technologie hat LegalMation eine Plattform entwickelt, um Routineaufgaben bei Rechtsstreitigkeiten zu automatisieren und Rechtsteams zu helfen, Zeit zu sparen, Kosten zu senken und den strategischen Fokus zu verlagern.¹⁸

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 6: Einordnung des Deep Learning¹⁹

b. Deep Learning

Eine weitere Unterkategorie des Machine Learning und der schwachen KI ist das sogenannte Deep Learning. Dieses Verfahren ist aktuell sehr beliebt und von großem Interesse sowohl innerhalb der Medien als auch der Fachschaft. Denn dieses Verfahren erlaubt einem Computer, nie vorstellbare Dinge zu tun. Hierbei handelt es sich um Fähigkeiten, welche hauptsächlich dem Menschen vorbehalten waren.

Wie im untenstehenden Schaubild erkennbar, ist das Deep Learning eine Methode der Informationsverarbeitung und ein Spezialfall des Machine Learning (des maschinellen Lernens). Hierbei kann die Arbeit des Algorithmus als Bottom-Up Prozess angesehen werden. Es wird versucht ein Problem in kleine Teilsequenzen herunterzubrechen und diese nach und nach durchzugehen. Dies geschieht mit der Absicht nützliche Informationen herauszuarbeiten.

[...]

---

¹ Vgl. Ein Roboter tröstet Angela Merkel nach dem WM-Aus, 2018

² Vgl. Zahn, 2019

³ Zitat von Prof. em. Dr. Walter Perrig, Institut für Psychologie, Universität Bern

⁴ Vgl. Heßler, 2017

⁵ Vgl. Bostrom, 2014

⁶ Vgl. Beeger, 2017

⁷ Vgl. Künstliche Intelligenz und die Potenziale des Maschinellen Lernens für die Industrie, 2017

⁸ Vgl. Siepermann, 2018

⁹ Vgl. Kurzweil, 2005

¹⁰ Vgl. Weingarten, 2019

¹¹ Vgl. Elstner, et al., 2017

¹² Vgl. Wuttke, O.J.

¹³ Vgl. ARNOLD IT Systems GmbH & Co. KG, O.J.

¹⁴ Vgl. Bostrom, 2014

¹⁵ Vgl. IBM Cloud Education, 2020

¹⁶ Vgl. Amazon Webservices, O.J.

¹⁷ Vgl. Bedford-Strohm, 2017

¹⁸ Vgl. IBM Cloud Education, 2020

¹⁹ Vgl. Bostrom, 2014