In der vorliegenden Arbeit werden zunächst die nötigen fundamentalen wahrscheinlichkeitstheoretischen Grundlagen bezüglich Bayes’scher Netze erläutert, um diese dann formal einzuführen.
Auf dieser Basis wird dann auf Konstruktionsmethoden für Bayes’sche Netze im Allgemeinen und den Einsatz maschineller Lernverfahren im Besonderen eingegangen. Speziell soll in diesem Kontext der Aspekt des Strukturlernens Bayes’scher Netze studiert werden. Nach einer Strukturierung der in der Literatur vorkommenden Ansätze werden aktuell erforschte Strukturlernalgorithmen diskutiert und gegenübergestellt, aber auch die Entwicklung und anschließende Implementierung eines eigenen Algorithmus wird dargelegt. Eine Laufzeitanalyse und empirische Tests an einer synthetisch erzeugten Datenbank und einer akquirierten Datenbank aus dem Anwendungsbereich Medizin runden dieses zentrale Kapitel ab.
In einem weiteren Kapitel werden Möglichkeiten der Einbringung von Expertenwissen diskutiert, insbesondere die Fusion von verteiltem Wissen ist in diesem Zusammenhang interessant. Hierbei geht es um die Integration von dem – möglicherweise sich widersprechenden – Wissen von mehreren (menschlichen) Experten codiert in Bayes’schen Netzen auf der einen Seite und auf der Basis maschineller Lernverfahren generierter (Teil-)Netze (die auf empirisch gewonnen Daten in Case-Datenbanken beruhen) auf der anderen Seite. Beispielsweise ist dies oft der Fall, wenn mehrere Ärzte mit verteiltem Wissen (teilweise auch dezentral an verschiedenen Orten ansässig) ein Spezialistenteam bilden und Entscheidungen treffen müssen.
Anschließend werden Möglichkeiten diskutiert, wie auf Basis eines (gelernten) Entscheidungsnetzes regelbasierte Systeme wie IF-THEN Regelbasen generiert werden können. Nach einer kurzen Einführung von Entscheidungs-netzen auf der einen Seite und Fuzzy-Regelbasen auf der anderen Seite, schließt sich ein Kapitel an, welches sich mit der Kompilierung von Entscheidungsnetzen in Fuzzy-Regelbasen auseinandersetzt. In diesem Zusammenhang wird ein Framework zur Kompilierung hergeleitet und ein Pseudo-Algorithmus zur Lösung dieses Problems vorgestellt. Eine konkrete Implementierung eines auf diesem Framework basierenden Algorithmus wird zusammen mit ersten Ergebnissen in den letzten beiden Unterkapiteln dargelegt.
Inhaltsverzeichnis
1 Einleitung
1.1 Einordnung
1.2 Ziele und Gliederung
2 Bayes’sche Netze
2.1 Grundlagen
2.2 Definition
2.3 Beispiel eines Bayes’schen Netzes
2.4 Inferenz in Bayes’schen Netzen
3 Konstruktion Bayes’scher Netze
3.1 Der Bayes’sche Ansatz
3.2 Der frequentistische Ansatz
4 Maschinelles Lernen Bayes’scher Netze
4.1 Lernsituationen
4.2 Strukturlernen Bayes’scher Netze
4.2.1 Qualitätsmaße
4.2.2 Suchstrategien
4.2.2.1 Simulated Annealing
4.2.2.2 Greedy Hill Climbing
4.2.2.3 LAGD Hill Climbing
4.2.3 Experimentelle Ergebnisse
4.2.3.1 Datenset ALARM
4.2.3.2 Datenset MEDUSA
5 Integration von verteiltem Wissen
5.1 Konkurrierende Fusion
5.1.1 Konkurrierende Fusion via Sampling
5.1.2 Konkurrierende Fusion via LinOP-Aggregation
5.2 Komplementäre Fusion
5.3 Kooperative Fusion
6 Generierung von Regelbasen anhand von Entscheidungsnetzen
6.1 Definition Entscheidungsnetz
6.2 Beispiel eines Entscheidungsnetzes
6.3 Definition Fuzzy-Regelbasis
6.4 Ein Framework für die Kompilierung von Entscheidungsnetzen in Fuzzy-Regelbasen
6.5 Implementierung eines Algorithmus zur automatischen Generierung einer Regelbasis anhand eines Entscheidungsnetzes
6.5.1 Experimentelle Ergebnisse für das Entscheidungsnetz „Kornproblem“
6.5.2 Experimentelle Ergebnisse für das Entscheidungsnetz „Börsen- und Wirtschaftslage“
6.6 Verallgemeinerung auf Fuzzy-Regelbasen
7 Zusammenfassung und Ausblick
Zielsetzung & Themen
Die Arbeit verfolgt das Ziel, Methoden für das effiziente Strukturlernen von Bayes’schen Netzen zu entwickeln und zu implementieren, insbesondere durch den neuartigen LAGD-Hill-Climbing-Algorithmus. Ein weiterer Schwerpunkt liegt auf der Integration von verteiltem Wissen aus unterschiedlichen Quellen sowie der Kompilierung von Entscheidungsnetzen in regelbasierte Systeme (einschließlich Fuzzy-Regelbasen), um eine effiziente Entscheidungsfindung in zeitkritischen Domänen zu ermöglichen.
- Strukturlernen Bayes’scher Netze anhand von Datenbanken
- Entwicklung des LAGD-Hill-Climbing-Verfahrens
- Methoden zur Integration verteilten Expertenwissens
- Kompilierung von Entscheidungsmodellen in effiziente Regelbasen
- Anwendung auf medizinische Diagnosesysteme und wirtschaftliche Szenarien
Auszug aus dem Buch
4.2.2.3 LAGD Hill Climbing
Look Ahead in Good Directions Hill Climbing, oder kurz LAGD Hill Climbing ist ein im Rahmen der vorliegenden Arbeit vom Autor vorgeschlagenes und implementiertes Verfahren, welches eine Verallgemeinerung des bereits diskutierten Standard Greedy Hill Climbing darstellt.
Hierbei geht die Verallgemeinerung in zwei Richtungen: Zum einen werden im Gegensatz zu Standard Greedy Hill Climbing nicht nur die nächsten Nachbarn bezüglich des definierten Nachbarschaftsbegriffs betrachtet um auf dieser Basis dann greedy den am besten bewerteten Nachbargraphen als Ausgangsbasis für den nächsten Hill Climbing Schritt zu wählen, sondern es wird vorausgeschaut, welche Netzstruktur in k Schritten die höchste Bewertung bezüglich der ausgewählten Scoring-Funktion erzielt. Zum anderen werden in jedem Look Ahead Schritt aufgrund der immensen Anzahl von in k Schritten erreichbaren Nachbargraphen nicht alle dieser Netzstrukturen traversiert, sondern nur die l am besten bewerteten. Insofern handelt es sich bei LAGD Hill Climbing also um eine ganze Klasse von Algorithmen, die parametrisiert wird durch die beiden folgenden Parameter:
Zusammenfassung der Kapitel
1 Einleitung: Diese Einleitung führt in das Themengebiet des rationalen Handelns von Agenten in unsicheren Umgebungen ein und stellt die Relevanz von Bayes’schen Netzen für komplexe Problemstellungen dar.
2 Bayes’sche Netze: Das Kapitel definiert Bayes’sche Netze formal als graphische Modelle für probabilistische Beziehungen und erläutert die Grundlagen der Inferenz.
3 Konstruktion Bayes’scher Netze: Hier werden der Bayes’sche und der frequentistische Ansatz zur Konstruktion von Netzstrukturen und Wahrscheinlichkeiten gegenübergestellt.
4 Maschinelles Lernen Bayes’scher Netze: Dieses zentrale Kapitel behandelt die Methoden des Strukturlernens, insbesondere durch Local Score Metriken und Suchstrategien wie Greedy Hill Climbing und das neue LAGD Hill Climbing.
5 Integration von verteiltem Wissen: Es werden Ansätze zur Fusion von Expertenwissen aus verschiedenen Bayes’schen Netzen mittels Sampling oder LinOP-Aggregation diskutiert.
6 Generierung von Regelbasen anhand von Entscheidungsnetzen: Das Kapitel widmet sich der Kompilierung komplexer Entscheidungsnetze in effiziente (Fuzzy-)Regelbasen zur schnellen Entscheidungsunterstützung.
7 Zusammenfassung und Ausblick: Die Ergebnisse der Arbeit werden resümiert und Potenziale für zukünftige Verbesserungen der Algorithmen aufgezeigt.
Schlüsselwörter
Bayes’sche Netze, Strukturlernen, Künstliche Intelligenz, Maschinelles Lernen, LAGD Hill Climbing, Entscheidungsnetze, Wissenskompilierung, Fuzzy-Regelbasen, Unsicherheit, Probabilistische Modelle, Inferenz, Optimierung, Expertenwissen, Klassifikation, Algorithmenentwicklung.
Häufig gestellte Fragen
Worum geht es in dieser Diplomarbeit grundlegend?
Die Arbeit befasst sich mit dem automatisierten Lernen von graphbasierten Modellen, speziell Bayes’schen Netzen, aus Daten sowie deren Anwendung zur Wissensintegration und Entscheidungsunterstützung.
Welche zentralen Themenfelder werden abgedeckt?
Die zentralen Felder sind das Strukturlernen von Bayes’schen Netzen, die Fusion verteilten Wissens und die Kompilierung von Entscheidungsnetzen in regelbasierte Systeme.
Was ist das primäre Ziel der Arbeit?
Das Ziel ist die Entwicklung effizienter Algorithmen (insbesondere LAGD Hill Climbing) zum Strukturlernen und die praktische Demonstration einer kompakten Wissensrepräsentation durch Regelbasen.
Welche wissenschaftlichen Methoden finden Anwendung?
Es werden probabilistische Methoden, Graphentheorie, heuristische Suchstrategien (Greedy Hill Climbing, Simulated Annealing) sowie Techniken der Entscheidungs- und Fuzzy-Logik verwendet.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil gliedert sich in die theoretische Einführung in Bayes’sche Netze, die detaillierte Darstellung von Lernalgorithmen inklusive Laufzeitanalysen und die experimentelle Evaluierung an Datensätzen wie ALARM und MEDUSA.
Wie lässt sich die Arbeit charakterisieren?
Als methodisch fundierte Informatik-Arbeit, die Theorie mit einer praktischen Java-Implementierung innerhalb der WEKA-Umgebung verbindet.
Was zeichnet den LAGD Hill Climbing Algorithmus aus?
Er ist eine vom Autor entwickelte Verallgemeinerung des Standard Greedy Hill Climbing, die durch Parameter für Look-Ahead-Tiefe und die Anzahl der betrachteten "guten" Operationen eine flexible Abwägung zwischen Rechenzeit und Modellqualität ermöglicht.
Warum werden Entscheidungsnetze in Fuzzy-Regelbasen kompiliert?
Da die Inferenz in Bayes’schen Netzen NP-vollständig ist, sind sie für hochgradig zeitkritische Anwendungen oft zu langsam. Die Kompilierung in Regelbasen ermöglicht eine extrem schnelle, regelbasierte Entscheidungsfindung.
- Citation du texte
- Manuel Neubach (Auteur), 2005, Strukturlernen graphbasierter Modelle auf der Basis verteilten Wissens, Munich, GRIN Verlag, https://www.grin.com/document/57547
