In der vorliegenden Arbeit werden zunächst die nötigen fundamentalen wahrscheinlichkeitstheoretischen Grundlagen bezüglich Bayes’scher Netze erläutert, um diese dann formal einzuführen.
Auf dieser Basis wird dann auf Konstruktionsmethoden für Bayes’sche Netze im Allgemeinen und den Einsatz maschineller Lernverfahren im Besonderen eingegangen. Speziell soll in diesem Kontext der Aspekt des Strukturlernens Bayes’scher Netze studiert werden. Nach einer Strukturierung der in der Literatur vorkommenden Ansätze werden aktuell erforschte Strukturlernalgorithmen diskutiert und gegenübergestellt, aber auch die Entwicklung und anschließende Implementierung eines eigenen Algorithmus wird dargelegt. Eine Laufzeitanalyse und empirische Tests an einer synthetisch erzeugten Datenbank und einer akquirierten Datenbank aus dem Anwendungsbereich Medizin runden dieses zentrale Kapitel ab.
In einem weiteren Kapitel werden Möglichkeiten der Einbringung von Expertenwissen diskutiert, insbesondere die Fusion von verteiltem Wissen ist in diesem Zusammenhang interessant. Hierbei geht es um die Integration von dem – möglicherweise sich widersprechenden – Wissen von mehreren (menschlichen) Experten codiert in Bayes’schen Netzen auf der einen Seite und auf der Basis maschineller Lernverfahren generierter (Teil-)Netze (die auf empirisch gewonnen Daten in Case-Datenbanken beruhen) auf der anderen Seite. Beispielsweise ist dies oft der Fall, wenn mehrere Ärzte mit verteiltem Wissen (teilweise auch dezentral an verschiedenen Orten ansässig) ein Spezialistenteam bilden und Entscheidungen treffen müssen.
Anschließend werden Möglichkeiten diskutiert, wie auf Basis eines (gelernten) Entscheidungsnetzes regelbasierte Systeme wie IF-THEN Regelbasen generiert werden können. Nach einer kurzen Einführung von Entscheidungs-netzen auf der einen Seite und Fuzzy-Regelbasen auf der anderen Seite, schließt sich ein Kapitel an, welches sich mit der Kompilierung von Entscheidungsnetzen in Fuzzy-Regelbasen auseinandersetzt. In diesem Zusammenhang wird ein Framework zur Kompilierung hergeleitet und ein Pseudo-Algorithmus zur Lösung dieses Problems vorgestellt. Eine konkrete Implementierung eines auf diesem Framework basierenden Algorithmus wird zusammen mit ersten Ergebnissen in den letzten beiden Unterkapiteln dargelegt.
Inhaltsverzeichnis
1 Einleitung
1.1 Einordnung
1.2 Ziele und Gliederung
2 Bayes’sche Netze
2.1 Grundlagen
2.2 Definition
2.3 Beispiel eines Bayes’schen Netzes
2.4 Inferenz in Bayes’schen Netzen
3 Konstruktion Bayes’scher Netze
3.1 Der Bayes’sche Ansatz
3.2 Der frequentistische Ansatz
4 Maschinelles Lernen Bayes’scher Netze
4.1 Lernsituationen
4.2 Strukturlernen Bayes’scher Netze
4.2.1 Qualitätsmaße
4.2.2 Suchstrategien
4.2.2.1 Simulated Annealing
4.2.2.2 Greedy Hill Climbing
4.2.2.3 LAGD Hill Climbing
4.2.3 Experimentelle Ergebnisse
4.2.3.1 Datenset ALARM
4.2.3.2 Datenset MEDUSA
5 Integration von verteiltem Wissen
5.1 Konkurrierende Fusion
5.1.1 Konkurrierende Fusion via Sampling
5.1.2 Konkurrierende Fusion via LinOP-Aggregation
5.2 Komplementäre Fusion
5.3 Kooperative Fusion
6 Generierung von Regelbasen anhand von Entscheidungsnetzen
6.1 Definition Entscheidungsnetz
6.2 Beispiel eines Entscheidungsnetzes
6.3 Definition Fuzzy-Regelbasis
6.4 Ein Framework für die Kompilierung von Entscheidungsnetzen in Fuzzy-Regelbasen
6.5 Implementierung eines Algorithmus zur automatischen Generierung einer Regelbasis anhand eines Entscheidungsnetzes
6.5.1 Experimentelle Ergebnisse für das Entscheidungsnetz „Kornproblem“
6.5.2 Experimentelle Ergebnisse für das Entscheidungsnetz „Börsen- und Wirtschaftslage“
6.6 Verallgemeinerung auf Fuzzy-Regelbasen
7 Zusammenfassung und Ausblick
Zielsetzung & Themen
Die Arbeit befasst sich mit dem strukturellen Lernen graphbasierter Modelle, insbesondere Bayes’scher Netze, unter der Bedingung verteilten Wissens und der anschließenden Transformation in regelbasierte Systeme. Die zentrale Forschungsfrage liegt in der effizienten Konstruktion und Optimierung dieser Modelle durch maschinelle Lernverfahren, um Entscheidungsnetze in zeitkritischen Domänen nutzbar zu machen.
- Grundlagen und Konstruktion von Bayes’schen Netzen
- Algorithmen für das Strukturlernen (insbesondere LAGD Hill Climbing)
- Methoden zur Integration und Fusion verteilten Expertenwissens
- Kompilierung von Entscheidungsnetzen in effiziente Fuzzy-Regelbasen
- Empirische Evaluierung an medizinischen und ökonomischen Datensets
Auszug aus dem Buch
4.2.2.3 LAGD Hill Climbing
Look Ahead in Good Directions Hill Climbing, oder kurz LAGD Hill Climbing ist ein im Rahmen der vorliegenden Arbeit vom Autor vorgeschlagenes und implementiertes Verfahren, welches eine Verallgemeinerung des bereits diskutierten Standard Greedy Hill Climbing darstellt.
Hierbei geht die Verallgemeinerung in zwei Richtungen: Zum einen werden im Gegensatz zu Standard Greedy Hill Climbing nicht nur die nächsten Nachbarn bezüglich des definierten Nachbarschaftsbegriffs betrachtet um auf dieser Basis dann greedy den am besten bewerteten Nachbargraphen als Ausgangsbasis für den nächsten Hill Climbing Schritt zu wählen, sondern es wird vorausgeschaut, welche Netzstruktur in k Schritten die höchste Bewertung bezüglich der ausgewählten Scoring-Funktion erzielt. Zum anderen werden in jedem Look Ahead Schritt aufgrund der immensen Anzahl von in k Schritten erreichbaren Nachbargraphen nicht alle dieser Netzstrukturen traversiert, sondern nur die l am besten bewerteten. Insofern handelt es sich bei LAGD Hill Climbing also um eine ganze Klasse von Algorithmen, die parametrisiert wird durch die beiden folgenden Parameter:
• die Anzahl der Look Ahead Schritte k
• die Anzahl der verfolgten „guten Operationen“ pro Look Ahead Schritt l
Für den Spezialfall k = 1 ergibt sich somit Standard Greedy Hill Climbing. Um auch für große Werte von k weiterhin eine akzeptable Rechenzeit garantieren zu können, wurde nach einer Möglichkeit gesucht, die mit der Look Ahead Tiefe stark anwachsende Anzahl von in k Schritten erreichbaren Nachbargraphen zu verringern. Mit dem Parameter l ist man in dieser Hinsicht flexibel, denn es werden pro Look Ahead Schritt lediglich l Operationen mit in die Bewertung einbezogen. Die Tatsache, dass nicht irgendwelche Operationen zufällig ausgewählt werden, sondern die l Operationen, welche greedy gesehen aktuell am vielversprechendsten aussehen, unterstützt das Finden „guter“ Operationssequenzen. Eine untere Schranke für die Qualität einer so berechneten Netzstruktur stellt für beliebige Wahlen von l eine mit Standard Greedy Hill Climbing gefundene Netzstruktur dar, welche auf Basis einer k -Schritt-Operationssequenz greedy bestimmt wurde.
Zusammenfassung der Kapitel
1 Einleitung: Einführung in das Thema rationales Handeln und die Bedeutung von Bayes’schen Netzen für die künstliche Intelligenz.
2 Bayes’sche Netze: Formale Einführung in die Grundlagen, Definitionen und Inferenzmechanismen von Bayes’schen Netzen.
3 Konstruktion Bayes’scher Netze: Diskussion der Frequentistischen und Bayesianischen Ansätze zur Konstruktion solcher Netze.
4 Maschinelles Lernen Bayes’scher Netze: Detaillierte Betrachtung von Lernsituationen, Suchstrategien und dem neuen LAGD Hill Climbing Algorithmus inklusive Testergebnissen.
5 Integration von verteiltem Wissen: Untersuchung von Methoden zur Fusion von Wissen aus verschiedenen Quellen, wie konkurrierende oder komplementäre Fusion.
6 Generierung von Regelbasen anhand von Entscheidungsnetzen: Herleitung eines Frameworks zur Kompilierung von Entscheidungsnetzen in effiziente Fuzzy-Regelbasen.
7 Zusammenfassung und Ausblick: Retrospektive auf die erzielten Ergebnisse der Arbeit und Diskussion potenzieller zukünftiger Forschungsansätze.
Schlüsselwörter
Bayes’sche Netze, Strukturlernen, LAGD Hill Climbing, Entscheidungsnetze, Fuzzy-Regelbasen, Wissenskompilierung, Maschinelles Lernen, Multi-Agenten-Systeme, Wissensfusion, Inferenz, Optimierung, künstliche Intelligenz, ALARM-Netzwerk, MEDUSA-Datenbank, Unsicherheit.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Diplomarbeit befasst sich mit Methoden zum automatisierten Erlernen graphbasierter Modelle, speziell Bayes’scher Netze, aus Daten und deren anschließende Nutzbarmachung durch Wissensfusion und Kompilierung in kompakte, regelbasierte Systeme.
Welches sind die zentralen Themenfelder?
Die zentralen Themen sind das strukturelle Lernen von Bayes’schen Netzen, der Umgang mit unvollständigem oder verteiltem Expertenwissen sowie die Transformation dieser probabilistischen Modelle in effiziente Fuzzy-Regelbasen für echtzeitnahe Entscheidungsfindung.
Was ist das primäre Ziel der Arbeit?
Das Ziel ist die Entwicklung und Implementierung eines neuen Strukturlernalgorithmus namens "LAGD Hill Climbing" sowie eines Frameworks, das es ermöglicht, Entscheidungsnetze in eine Form zu überführen, die eine schnellere, regelbasierte Auswertung erlaubt.
Welche wissenschaftliche Methode wird verwendet?
Die Arbeit kombiniert theoretische Herleitungen aus der Stochastik und Graphentheorie mit empirischen Methoden (Benchmark-Tests an medizinischen Datenbanken) und der algorithmischen Implementierung in der Java-basierten Umgebung WEKA und HUGIN.
Was wird im Hauptteil behandelt?
Der Hauptteil widmet sich dem Vergleich verschiedener Suchstrategien für das Strukturlernen, der detaillierten Analyse von Integrationsmöglichkeiten verteilten Wissens (Fusion) und der technischen Implementierung eines Compilers, der Entscheidungsnetze in eine IF-THEN oder Fuzzy-Regelstruktur übersetzt.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit ist durch Begriffe wie Bayes’sche Netze, Strukturlernen, LAGD Hill Climbing, Wissenskompilierung und Fuzzy-Regelbasen charakterisiert.
Was unterscheidet LAGD Hill Climbing von herkömmlichen Algorithmen wie Standard Greedy Hill Climbing?
LAGD (Look Ahead in Good Directions) Hill Climbing ist eine Verallgemeinerung, die nicht nur den nächsten Schritt bewertet, sondern mehrere Schritte im Voraus plant. Dies ermöglicht es dem Algorithmus, lokale Optima besser zu durchschauen und robuster zu navigieren.
Warum werden Entscheidungsnetze in Regelbasen kompiliert?
Die Inferenz in komplexen Bayes’schen Netzen ist NP-vollständig und damit oft zu rechenintensiv für zeitkritische Umgebungen. Die Kompilierung in Regelbasen ermöglicht eine effizientere, in der Praxis schnellere Ausführung ("Offline"-Berechnung), ohne die mathematische Fundierung des Entscheidungsmodells zu opfern.
- Quote paper
- Manuel Neubach (Author), 2005, Strukturlernen graphbasierter Modelle auf der Basis verteilten Wissens, Munich, GRIN Verlag, https://www.grin.com/document/57554
