Die Defense Advanced Research Projects Agency (DARPA) des Verteidigungsministeriums der Vereinigten Staaten von Amerika rief 2016 das Explainable Artificial Intelligence (XAI)-Programm ins Leben, mit dem Fokus, Techniken maschinellen Lernens zu entwickeln, die erstens erklärbare Modelle bei gleichbleibend hoher Lernfähigkeit erzeugen und zweitens den Menschen befähigen, AI-Systeme zu verstehen, ihnen angemessen zu vertrauen und die nächste Generation intelligenter Systeme kontrollieren zu können. Denn nur, wenn wir Menschen verstehen, wie KI-Systeme zu Entscheidungen gelangen, haben wir die Möglichkeit, sie mehrwertbringend in industriellen Prozessen anzuwenden und positiv in das tägliche Leben unserer Gesellschaft zu integrieren. Zielvorgabe der vorliegenden Arbeit ist die Darstellung und Analyse zweier Methoden, namentlich der Sensitivity Analysis (SA) und der Layerwise Relevance Propagation (LRP), deren eigene Zielsetzung es ist, die Entscheidungen intelligenter Systeme für den menschlichen Betrachter nachvollziehbar zu machen. Bevor jedoch auf die einzelnen Methoden, deren Funktionsweise und auf eine kritischen Betrachtung eingegangen werden kann, bedarf es einer Abgrenzung des Forschungsgebiets der XAI.
Artificial Intelligence (AI) – ein populärer Begriff aktueller Zeit, der mit einer Vielzahl an technologischen Anwendungen in Verbindung gebracht wird. Manchmal prominent und tangibel in Form von menschenähnlichen Robotern, wieder andere Male subtil, weder sichtbar noch greifbar in Form von Algorithmen. Dabei ist die konzeptionelle Idee der Abbildung künstlicher Intelligenz durch Computersysteme keine neue Errungenschaft, sondern geht bis auf die Erkenntnisse von Warren McCulloch und Walter Pitts im Jahr 1943 zurück. McCulloch/Pitts (1943) offerierten ein Modell, das in Anlehnung an das biologische Vorbild künstliche Neuronen an- bzw. ausschaltet, je nach Stimulus durch benachbarte Neuronen. Dabei wird impliziert, dass durch ein Netzwerk künstlicher Neuronen ebenfalls die Möglichkeit der Lernfähigkeit bestünde.
Inhaltsverzeichnis
1 Aritificial Intelligence – ein Black Box System?
2 Explainable Artificial Intelligence
3 Künstliche Intelligenz
3.1 Abgrenzung und Begriffsdefinition
3.2 Deep Learning und künstliche neuronale Netzwerke
4 Methoden von Explainable Artificial Intelligence
4.1 Sensitivity Analysis
4.2 Layerwise Relevance Propagation
4.3 Quantitative Evaluation und Vergleich beider Methoden
5 Kritische Betrachtung und Fazit
Zielsetzung & Themen
Die vorliegende Arbeit zielt darauf ab, die Methoden Sensitivity Analysis (SA) und Layerwise Relevance Propagation (LRP) zu analysieren, um Entscheidungsprozesse komplexer KI-Systeme für menschliche Betrachter nachvollziehbar und erklärbar zu machen. Dabei wird untersucht, wie diese Verfahren zur Auflösung der sogenannten "Black-Box-Problematik" in Deep-Learning-Modellen beitragen können.
- Grundlagen der Künstlichen Intelligenz und Deep Learning
- Herausforderungen der Interpretierbarkeit von Black-Box-Modellen
- Detaillierte Analyse der Sensitivity Analysis (SA)
- Detaillierte Analyse der Layerwise Relevance Propagation (LRP)
- Quantitative Evaluation und vergleichende Gegenüberstellung beider Methoden
Auszug aus dem Buch
4.2 Layerwise Relevance Propagation
Die Layerwise Relevance Propagation-Methode liefert die Erklärung einer Prognose oder einer Klassifikationsentscheidung auf Basis einer vollständigen Dekomposition des Ausgabe- bzw. Funktionswertes f(x) und damit eine tatsächliche Verteilung der Relevance Scores Ri auf die Eingabe, respektive die Neuronen xi. Hilfestellend beantwortet diese Methode die Fragestellung: Wie viel trägt jede Eingabevariable bzw. jedes einzelne Neuron zu einer Prognose bzw. Klassifikationsentscheidung bei?
Mathematisch wird der Funktionswert der Prognose f(x) auf Basis lokaler Redistributionsregeln in einem Backpropagation-Prozess aufgeteilt, bis jedem Neuron xi, die ultimativ die Eingabevariablen repräsentieren, ein eindeutiger Relevance Score Ri zugeteilt werden kann. Während in einer vorwärts gerichteten Berechnung durch das künstliche neuronale Netzwerk eine Klassifikationsentscheidung getroffen wird, geschieht die Dekomposition des Ausgabewertes und damit die Aufteilung der Relevanzwerte auf die einzelnen Neuronen in einem rückwärtsgerichtetem Durchlauf, der in einer Erklärung in Form einer Heatmap-Visualisierung mündet.
Die rückwärtige Berechnung der Relevanzwerte unterliegt dabei einem Regelwerk. Die Bedingung der Relevanzkonservierung (engl. relevance conservation) wird wie folgt mathematisch definiert: Gl. 4: Σ Ri = … = Σ j Rj = Σ k Rk = … = f(x), und besagt, dass zu jedem Schritt des Redistributionsprozesses, d.h. beispielsweise bei jeder Schicht eines künstlichen neuronalen Netzwerks der absolute Funktionswert der Prognose f(x) erhalten bleibt. In anderen Wort: Kein Relevanzwert wird künstlich hinzugefügt respektive abgezogen.
Zusammenfassung der Kapitel
1 Aritificial Intelligence – ein Black Box System?: Das Kapitel führt in die Thematik ein und erläutert die Problematik der mangelnden Transparenz bei modernen KI-Systemen, die als Black-Box-Modelle fungieren.
2 Explainable Artificial Intelligence: Hier wird der Begriff Explainable AI (XAI) definiert und als notwendige Weiterentwicklung für sicherheitskritische Anwendungen motiviert.
3 Künstliche Intelligenz: Dieses Kapitel liefert eine theoretische Grundlage, indem es Künstliche Intelligenz abgrenzt und die Funktionsweise von Deep Learning sowie künstlichen neuronalen Netzwerken erläutert.
4 Methoden von Explainable Artificial Intelligence: Die zentralen Techniken der Arbeit, Sensitivity Analysis und Layerwise Relevance Propagation, werden detailliert mathematisch hergeleitet und anhand von Beispielen illustriert.
5 Kritische Betrachtung und Fazit: Das abschließende Kapitel reflektiert die Qualität und Limitierungen der vorgestellten Methoden und diskutiert die Notwendigkeit eines generalisierten Rahmengerüsts für die Praxis.
Schlüsselwörter
Explainable Artificial Intelligence, XAI, Deep Learning, Black Box, Sensitivity Analysis, Layerwise Relevance Propagation, Heatmap, neuronale Netzwerke, Klassifikation, Interpretierbarkeit, Transparenz, Backpropagation, Relevanzkonservierung, Künstliche Intelligenz, Modellvalidierung
Häufig gestellte Fragen
Was ist das grundsätzliche Problem bei modernen KI-Systemen, das diese Arbeit behandelt?
Die Arbeit thematisiert das "Black-Box-Verhalten" von Deep-Learning-Modellen. Diese sind aufgrund ihrer komplexen, nicht-linearen Architektur für Menschen oft nicht transparent, wodurch Entscheidungsprozesse schwer nachvollziehbar werden.
Welches ist das primäre Ziel der Forschungsarbeit?
Ziel ist die Darstellung und Analyse der Methoden "Sensitivity Analysis" und "Layerwise Relevance Propagation", um Entscheidungen intelligenter Systeme nachvollziehbar und interpretierbar zu machen.
Was unterscheidet Sensitivity Analysis (SA) von Layerwise Relevance Propagation (LRP)?
Während die Sensitivity Analysis lediglich lokale Gradienten betrachtet und oft unruhige Heatmaps erzeugt, ermöglicht LRP eine vollständige Dekomposition des Funktionswertes, was zu intuitiveren und interpretierbareren Erklärungen führt.
Warum ist die Interpretierbarkeit in sicherheitskritischen Anwendungen so wichtig?
In Bereichen wie der medizinischen Diagnostik oder dem autonomen Fahren kann Intransparenz potenziell gefährlich sein. Transparenz ist notwendig, um Fehler zu identifizieren, zu korrigieren und Vertrauen in die Systeme zu etablieren.
Wie werden die untersuchten Methoden quantitativ evaluiert?
Die Evaluation erfolgt über eine Störungsanalyse. Dabei werden wichtige Inputvariablen iterativ verändert oder entfernt, um zu messen, wie stark die Prognosegenauigkeit des Modells abfällt.
Was sind die zentralen Themenfelder der Arbeit?
Die Arbeit befasst sich mit der Definition von Künstlicher Intelligenz, der Funktionsweise neuronaler Netzwerke, Techniken der post-hoc Interpretierbarkeit und der kritischen Bewertung von Erklärungsmodellen.
Welche Rolle spielt die "Relevanzkonservierung" bei der LRP-Methode?
Die Relevanzkonservierung stellt sicher, dass der absolute Funktionswert der Prognose über alle Schichten des Netzwerks hinweg erhalten bleibt, sodass keine Relevanzwerte künstlich hinzugefügt oder entfernt werden.
Warum ist laut Autor die Qualität der Heatmaps nicht universell?
Die Qualität der Erklärungen hängt stark von der Diversität und Komplexität des zugrunde liegenden Datensatzes sowie der spezifischen Architektur des verwendeten neuronalen Netzwerks ab.
- Citar trabajo
- Enzo Muschik (Autor), 2020, Künstliche Intelligenz verstehen. Wie funktionieren die Methoden "Sensitivity Analysis" (SA) und "Layerwise Relevance Propagation" (LRP)?, Múnich, GRIN Verlag, https://www.grin.com/document/888524
