Die vorliegende Masterarbeit beschäftigt sich mit dem Entscheidungsprozess zwischen Modalitäten innerhalb des Fissionsprozesses in multimodalen Systemen. Dieser kann bereits in der Theorie aufgrund vielfältiger verschiedener für die Entscheidung relevanter Einflussfaktoren und gleichzeitigen Beschränkungen in der zeitlichen Domäne eine hohe Komplexität aufweisen. Gleichzeitig besteht jedoch im Zuge der tatsächlichen, praktischen Implementierung von multimodalen Systemen ein Bedarf für Möglichkeiten, angemessen mit der Komplexität dieses Prozessschrittes umgehen zu können.
Innerhalb dieser Arbeit wird ein prototypischer Ansatz präsentiert, welcher durch die Verwendung von herkömmlichen regelbasierten Systemen, wie beispielsweise aus dem Bereich der Business Rule Engines, einen Umgang mit diesem Problem erlaubt. Hierfür werden zunächst die Grundlagen der multimodalen Interaktion sowie der regelbasierten Systeme erläutert und vertieft. Anschließend wird auf dieser Basis ein Design für den Prototypen entworfen, welches neben der technischen Architektur auch ein spezifisches Konzept der Multimodalität zugrunde legt. Dieses Design wird im nächsten Schritt als Kriterienbasis für die Evaluation gängiger regelbasierter Systeme aus verschiedenen Einsatzdomänen herangezogen. Nach der Auswahl eines solchen Systems wird auf dessen Basis der Prototyp konstruiert. Abschließend wird basierend auf dem Implementierungsergebnis und den während der Arbeit gesammelten Erfahrungen ein Fazit gezogen und es werden Vorschläge gemacht,
wie sich regelbasierte bzw. allgemeine wissensbasierte Systeme in multimodalen interaktiven Systemen praktisch einsetzen lassen.
Inhaltsverzeichnis
1 Einleitung
1.1 Vision und Problemstellung
1.2 Zielsetzung
1.3 Struktur der Arbeit
2 Multimodale Interaktion
2.1 Ursprung und geschichtliche Entwicklung multimodaler Interaktionsformen
2.2 Multimodale Interaktion und Multimodalität - Begriffsdefinitionen
2.2.1 Definition der Modalität nach menschlicher Wahrnehmung
2.2.2 Definition der Modalität nach technischen Gesichtspunkten
2.2.3 Definition der Modalität – modularer Ansatz
2.2.4 Unimodalität und Multimodalität
2.2.5 Charakteristika und Eigenschaften von Modalitäten
2.3 Entwurf multimodaler Systeme
2.3.1 Zugrundeliegende Prinzipien
2.3.2 Technische Architektur
2.3.3 Fusion und Fission
Fusion
Fission
2.3.4 Kontextfreie Dialogrepräsentation und Dialogmanagement
2.3.5 Design- und Runtime-Sicht auf Multimodalität
2.4 Vorteile von multimodaler Interaktion gegenüber unimodaler Interaktion
2.4.1 Geschwindigkeit und Qualität der Interaktionsabläufe
2.4.2 Natürlichkeit der Interaktion
2.4.3 Fehlertoleranz und Robustheit
2.4.4 Benutzeradaption
3 Wissens- und Regelbasierte Systeme
3.1 Wissensbasierte Systeme
3.1.1 Expertensysteme
3.1.2 Wissensrepräsentationsformen in wissensbasierten Systemen
Prädikatenlogik erster Ordnung und Beschreibungslogiken
Logikprogrammierung
Semantische Netze und Frames
Regelbasierte Repräsentation – Produktionsregelsysteme
3.2 Regelbasierte Systeme und Rule-based Programming
3.2.1 Grundlagen
3.2.2 Vorwärtsverkettung – Forward Chaining
Parameter und Konfliktlösungsstrategien
Vor- und Nachteile der Vorwärtsverkettung
Der Rete-Algorithmus
3.2.3 Rückwärtsverkettung – Backward Chaining
3.2.4 Hybridlösungen
3.3 Typen und Einsatzfelder regelbasierter Systeme
3.3.1 Regelbasierte Ansätze in Anwendungssoftware
3.3.2 Expertensysteme
3.3.3 Business-Rule-Systeme
3.4 Diskussion
3.4.1 Implementierung
3.4.2 Wiederverwendbarkeit
3.4.3 Flexibilität und Erweiterbarkeit
3.4.4 Formulierung von Wissen durch Experten und Lesbarkeit
3.4.5 Erklärbarkeit
3.4.6 Vorwärtsverkettung oder Rückwärtsverkettung?
3.4.7 Grenzen und Problemfelder
3.4.8 Fazit der Diskussion
4 Phase 1 der Umsetzung – Definition
4.1 Verwandte Ansätze in der Literatur
4.2 Funktionalität des Prototypen
4.2.1 Szenario und Use-Cases
4.2.2 Konzept der Multimodalität im Prototypen
Fokus
Modalität und Modalitätseigenschaften
4.2.3 Entscheidungsverfahren
4.2.4 Geplante konzeptionelle Systemstruktur
4.2.5 Verarbeitungsabfolge
4.3 Abgeleitete Evaluationskriterien
5 Phase 2 der Umsetzung – Evaluation
5.1 Drools
5.2 Jess
5.3 NxBre
5.4 OpenRules
5.5 Vergleichstabelle
5.6 Fazit und Bewertung der Evaluation
5.6.1 System der Wahl
5.6.2 Bewertung der Evaluation
6 Phase 3 der Umsetzung – Implementierung
6.1 Wahl der technischen Architektur
6.1.1 Architekturvariante 1 – Enge Kopplung, keine Verteilung
6.1.2 Architekturvariante 2 – Lose Kopplung, Decision-Service-Modell
6.1.3 Verteilungsaspekte der Regelhaltung
6.1.4 Inferenz-Modus des Servers
6.1.5 Client-Anwendung
6.2 Konzept und GUI-Entwurf
6.2.1 GUI – Überblick
6.2.2 Eigenschaften, Faktenobjekte und Modalitäten
Benutzerprofil
Umweltbedingungen
Interaktionseigenschaften und Goal
Repräsentationssprachen
Interaktionsgeräte
6.2.3 Topologie-Übersicht
6.3 Anbindung an den Drools Execution Server
6.4 Konfiguration und Aufbau des Drools Execution Servers
6.5 Implementierung von exemplarischen Regelsätzen
6.5.1 Regelbeispiele
Positivregel
Negativregel
Sonderfall CEP-Regeln
Beispielhafte Bewertungsrechnung
6.5.2 Abstufung der Rankingwerte
6.5.3 Funktionen in Guvnor
6.5.4 Queries in Guvnor
6.6 Aufgetretene Probleme und Schwierigkeiten
6.6.1 Schwächen des Drools Execution Servers
Resource Change Scanner des Execution Servers
Sessionmanagement
6.6.2 Guvnor und Drools Fusion / CEP
6.6.3 Debugging und Erklärkomponente
7 Fazit
7.1 Diskussion und Bewertung des zugrundeliegenden Ansatzes
7.2 Diskussion und Bewertung des Prototypen
7.3 Ausblick
7.3.1 Erweiterung und Präzisierung des Ansatzes
7.3.2 Grundsätzliche technische Erweiterungen des Prototypen
7.3.3 Lernfähigkeit
7.3.4 Andere Methoden aus der künstlichen Intelligenz
Zielsetzung & Themen
Die Arbeit untersucht den komplexen Entscheidungsprozess zwischen verschiedenen Modalitäten innerhalb des Fissionsprozesses in multimodalen Systemen. Ziel ist es, einen prototypischen Ansatz zu entwickeln, der mittels regelbasierter Systeme die kontextabhängige Auswahl von Modalitäten bei der Ausgabe automatisiert und dabei mit der hohen Komplexität der Einflussfaktoren umgeht.
- Grundlagen multimodaler Interaktion und Fissionsprozesse
- Evaluation und Vergleich marküblicher regelbasierter Systeme
- Prototypische Implementierung auf Basis der Drools-Plattform
- Berücksichtigung von Kontextfaktoren wie Benutzerprofil und Umgebung
- Entwurf einer flexiblen, verteilten Systemarchitektur
Auszug aus dem Buch
2.4.3 Fehlertoleranz und Robustheit
Ein großer, durch die Multimodalität entstandener Vorteil ist die erhöhte Fehlertoleranz und Robustheit von derartigen Systemen. Dies liegt nach [55] in verschiedenen Ursachen begründet. Einerseits werden Fehler von vorneherein vermieden, weil Nutzer dazu neigen, sich jeweils für die fehlerunanfälligste Modalität zu entscheiden, wie auch in der Mensch-zu-Mensch-Kommunikation zu beobachten, wenn beispielsweise Dimensionen von Gegenständen unwillkürlich mit Hilfe von Gesten vermittelt werden. Andererseits können jedoch auch vom System durch paralleles Verarbeiten der Gesamtheit der Informationen vom Nutzer Fehler korrigiert werden, wenn Angaben widersprüchlich sind. In [55] werden hierzu Verbesserungen von knapp 20 bzw. 40 Prozent angegeben.
Zusammenfassung der Kapitel
1 Einleitung: Die Einleitung motiviert die Relevanz der Multimodalität in der Mensch-Maschine-Interaktion und definiert die Forschungsfrage sowie die Struktur der Arbeit.
2 Multimodale Interaktion: Dieses Kapitel erläutert die theoretischen Grundlagen der multimodalen Interaktion, inklusive Definitionen von Modalität und den Prozessen der Fusion und Fission.
3 Wissens- und Regelbasierte Systeme: Es werden wissensbasierte und regelbasierte Systeme detailliert eingeführt, wobei der Fokus auf Inferenzmechanismen wie Vorwärts- und Rückwärtsverkettung liegt.
4 Phase 1 der Umsetzung – Definition: In diesem Kapitel werden die Anforderungen und Kriterien für die Evaluation der Regelsysteme im Kontext des multimodalen Prototypen definiert.
5 Phase 2 der Umsetzung – Evaluation: Dieses Kapitel vergleicht verschiedene Regelsysteme (Drools, Jess, NxBre, OpenRules) basierend auf den zuvor definierten Kriterien und begründet die Auswahl von Drools.
6 Phase 3 der Umsetzung – Implementierung: Hier wird der detaillierte Aufbau des Prototypen beschrieben, von der gewählten Architektur bis hin zur Implementierung konkreter Regelsätze.
7 Fazit: Das Fazit fasst die gewonnenen Erkenntnisse zusammen, bewertet den gewählten Ansatz kritisch und skizziert potenzielle zukünftige Entwicklungen.
Schlüsselwörter
Multimodale Interaktion, Fission, Wissensbasierte Systeme, Regelbasierte Systeme, Drools, Modalitätsauswahl, Inferenzmaschine, Vorwärtsverkettung, Kontextmanagement, Prototyping, Mensch-Maschine-Interaktion, Business Rule Engine, Benutzerschnittstellen, Adaptive Systeme, Entscheidungsunterstützung
Häufig gestellte Fragen
Worum geht es in der Arbeit grundlegend?
Die Arbeit beschäftigt sich mit der automatisierten Entscheidung zwischen verschiedenen Ausgabemodalitäten (z. B. Sprache vs. Grafik) in multimodalen Informationssystemen unter Nutzung regelbasierter Systeme.
Was sind die zentralen Themenfelder?
Die zentralen Themen sind die multimodale Interaktion, insbesondere der Fissionsprozess, sowie der Einsatz von wissensbasierten Systemen zur Implementierung intelligenter Auswahlstrategien.
Welches primäre Ziel verfolgt die Arbeit?
Das Ziel ist die Erforschung und prototypische Umsetzung eines regelbasierten Ansatzes, der die Modalitätswahl bei komplexen Kontextbedingungen effizient und wartbar gestaltet.
Welche wissenschaftliche Methode kommt zum Einsatz?
Es wird eine Literaturanalyse zu bestehenden Ansätzen durchgeführt, gefolgt von einer strukturierten Evaluation verschiedener Regelsysteme und der anschließenden Entwicklung eines Software-Prototypen.
Was wird im Hauptteil behandelt?
Der Hauptteil gliedert sich in theoretische Grundlagen, eine vergleichende Evaluation von Software-Engines wie Drools und Jess, sowie die detaillierte Beschreibung der Implementierung eines experimentellen Prototypen.
Welche Schlüsselwörter charakterisieren die Arbeit?
Schlüsselbegriffe sind vor allem Multimodalität, Fission, Drools, Inferenz und wissensbasierte Systeme.
Warum wurde Drools als System gewählt?
Drools wurde gewählt, da es neben einer robusten Regelverarbeitung auch Ansätze für Complex Event Processing (CEP) bietet, was für die Auswertung zeitabhängiger Kontextdaten essenziell ist.
Welches Szenario nutzt der Prototyp?
Der Prototyp simuliert ein Personeninformationssystem in einem Gebäude, bei dem das System basierend auf Kontextfaktoren (Umgebung, Benutzerprofil) die geeignetste Darstellungsform wählt.
- Arbeit zitieren
- Florian Geiselhart (Autor:in), 2010, Evaluation eines prototypischen regelbasierten Ansatzes für Modalitätsentscheidungen in der Mensch-Maschine-Interaktion, München, GRIN Verlag, https://www.grin.com/document/167522
