Die vorliegende Masterarbeit beschäftigt sich mit dem Entscheidungsprozess zwischen Modalitäten innerhalb des Fissionsprozesses in multimodalen Systemen. Dieser kann bereits in der Theorie aufgrund vielfältiger verschiedener für die Entscheidung relevanter Einflussfaktoren und gleichzeitigen Beschränkungen in der zeitlichen Domäne eine hohe Komplexität aufweisen. Gleichzeitig besteht jedoch im Zuge der tatsächlichen, praktischen Implementierung von multimodalen Systemen ein Bedarf für Möglichkeiten, angemessen mit der Komplexität dieses Prozessschrittes umgehen zu können.
Innerhalb dieser Arbeit wird ein prototypischer Ansatz präsentiert, welcher durch die Verwendung von herkömmlichen regelbasierten Systemen, wie beispielsweise aus dem Bereich der Business Rule Engines, einen Umgang mit diesem Problem erlaubt. Hierfür werden zunächst die Grundlagen der multimodalen Interaktion sowie der regelbasierten Systeme erläutert und vertieft. Anschließend wird auf dieser Basis ein Design für den Prototypen entworfen, welches neben der technischen Architektur auch ein spezifisches Konzept der Multimodalität zugrunde legt. Dieses Design wird im nächsten Schritt als Kriterienbasis für die Evaluation gängiger regelbasierter Systeme aus verschiedenen Einsatzdomänen herangezogen. Nach der Auswahl eines solchen Systems wird auf dessen Basis der Prototyp konstruiert. Abschließend wird basierend auf dem Implementierungsergebnis und den während der Arbeit gesammelten Erfahrungen ein Fazit gezogen und es werden Vorschläge gemacht,
wie sich regelbasierte bzw. allgemeine wissensbasierte Systeme in multimodalen interaktiven Systemen praktisch einsetzen lassen.
Inhaltsverzeichnis
- Abkürzungsverzeichnis
- Abstract
- 1 Einleitung
- 1.1 Vision und Problemstellung
- 1.2 Zielsetzung
- 1.3 Struktur der Arbeit
- 2 Multimodale Interaktion
- 2.1 Ursprung und geschichtliche Entwicklung multimodaler Interaktionsformen
- 2.2 Multimodale Interaktion und Multimodalität - Begriffsdefinitionen
- 2.2.1 Definition der Modalität nach menschlicher Wahrnehmung
- 2.2.2 Definition der Modalität nach technischen Gesichtspunkten
- 2.2.3 Definition der Modalität - modularer Ansatz
- 2.2.4 Unimodalität und Multimodalität
- 2.2.5 Charakteristika und Eigenschaften von Modalitäten
- 2.3 Entwurf multimodaler Systeme
- 2.3.1 Zugrundeliegende Prinzipien
- 2.3.2 Technische Architektur
- 2.3.3 Fusion und Fission
- Fusion
- Fission
- 2.3.4 Kontextfreie Dialogrepräsentation und Dialogmanagement
- 2.3.5 Design- und Runtime-Sicht auf Multimodalität
- 2.4 Vorteile von multimodaler Interaktion gegenüber unimodaler Interaktion
- 2.4.1 Geschwindigkeit und Qualität der Interaktionsabläufe
- 2.4.2 Natürlichkeit der Interaktion
- 2.4.3 Fehlertoleranz und Robustheit
- 2.4.4 Benutzeradaption
- 3 Wissens- und Regelbasierte Systeme
- 3.1 Wissensbasierte Systeme
- 3.1.1 Expertensysteme
- 3.1.2 Wissensrepräsentationsformen in wissensbasierten Systemen
- Prädikatenlogik erster Ordnung und Beschreibungslogiken
- Logikprogrammierung
- Semantische Netze und Frames
- Regelbasierte Repräsentation – Produktionsregelsysteme
- 3.2 Regelbasierte Systeme und Rule-based Programming
- 3.2.1 Grundlagen
- 3.2.2 Vorwärtsverkettung - Forward Chaining
- Parameter und Konfliktlösungsstrategien
- Vor- und Nachteile der Vorwärtsverkettung
- Der Rete-Algorithmus
- 3.2.3 Rückwärtsverkettung – Backward Chaining
- 3.2.4 Hybridlösungen
- 3.3 Typen und Einsatzfelder regelbasierter Systeme
- 3.3.1 Regelbasierte Ansätze in Anwendungssoftware
- 3.3.2 Expertensysteme
- 3.3.3 Business-Rule-Systeme
- 3.4 Diskussion
- 3.4.1 Implementierung
- 3.4.2 Wiederverwendbarkeit
- 3.4.3 Flexibilität und Erweiterbarkeit
- 3.4.4 Formulierung von Wissen durch Experten und Lesbarkeit
- 3.4.5 Erklärbarkeit
- 3.4.6 Vorwärtsverkettung oder Rückwärtsverkettung?
- 3.4.7 Grenzen und Problemfelder
- 3.4.8 Fazit der Diskussion
- 3.1 Wissensbasierte Systeme
- 4 Phase 1 der Umsetzung – Definition
- 4.1 Verwandte Ansätze in der Literatur
- 4.2 Funktionalität des Prototypen
- 4.2.1 Szenario und Use-Cases
- 4.2.2 Konzept der Multimodalität im Prototypen
- Fokus
- Modalität und Modalitätseigenschaften
- 4.2.3 Entscheidungsverfahren
- 4.2.4 Geplante konzeptionelle Systemstruktur
- 4.2.5 Verarbeitungsabfolge
- 4.3 Abgeleitete Evaluationskriterien
- 5 Phase 2 der Umsetzung – Evaluation
- 5.1 Drools
- 5.2 Jess
- 5.3 NxBre
- 5.4 OpenRules
- 5.5 Vergleichstabelle
- 5.6 Fazit und Bewertung der Evaluation
- 5.6.1 System der Wahl
- 5.6.2 Bewertung der Evaluation
- 6 Phase 3 der Umsetzung – Implementierung
- 6.1 Wahl der technischen Architektur
- 6.1.1 Architekturvariante 1 – Enge Kopplung, keine Verteilung
- 6.1.2 Architekturvariante 2 – Lose Kopplung, Decision-Service-Modell
- 6.1.3 Verteilungsaspekte der Regelhaltung
- 6.1.4 Inferenz-Modus des Servers
- 6.1.5 Client-Anwendung
- GUI-Überblick
- Benutzerprofil
- 6.2 Konzept und GUI-Entwurf
- 6.2.1 Eigenschaften, Faktenobjekte und Modalitäten
- 6.2.2 Umweltbedingungen
- Interaktionseigenschaften und Goal
- Repräsentationssprachen
- Interaktionsgeräte
- 6.1 Wahl der technischen Architektur
Zielsetzung und Themenschwerpunkte
Diese Master-Thesis befasst sich mit der Evaluation eines regelbasierten Ansatzes für Modalitätsentscheidungen in der Mensch-Maschine-Interaktion. Das Ziel ist es, ein prototypisches System zu entwickeln, das auf Basis von Regeln die optimale Modalität für die Interaktion in einem bestimmten Kontext auswählen kann. Die Arbeit untersucht verschiedene Aspekte der Multimodalität, wie die Definition von Modalitäten, die technischen Architekturen multimodaler Systeme und die Vorteile von multimodaler Interaktion gegenüber unimodaler Interaktion. Darüber hinaus werden Wissens- und regelbasierte Systeme und ihre Einsatzmöglichkeiten in der Mensch-Maschine-Interaktion beleuchtet. Die Thesis evaluiert verschiedene regelbasierte Systeme und wählt ein geeignetes System für die Implementierung des Prototypen.
- Multimodale Interaktion und ihre Vorteile
- Regelbasierte Systeme für Modalitätsentscheidungen
- Evaluation verschiedener regelbasierter Systeme
- Implementierung eines prototypischen Systems
- Konzeptionelle Systemstruktur und Verarbeitungsabfolge
Zusammenfassung der Kapitel
Die Einleitung stellt die Vision und die Problemstellung der Arbeit vor. Sie definiert die Zielsetzung und skizziert die Struktur der Arbeit. Kapitel 2 befasst sich mit dem Konzept der multimodalen Interaktion und den verschiedenen Aspekten, die bei der Entwicklung multimodaler Systeme berücksichtigt werden müssen. Kapitel 3 behandelt Wissens- und regelbasierte Systeme und ihre Einsatzmöglichkeiten in der Mensch-Maschine-Interaktion. Es werden verschiedene Wissensrepräsentationsformen und Regelbasierte Systeme vorgestellt, sowie deren Vor- und Nachteile diskutiert. Kapitel 4 beschreibt die erste Phase der Umsetzung, die die Definition des Prototypen und die Entwicklung von Evaluationskriterien umfasst. Kapitel 5 stellt die Evaluation verschiedener regelbasierter Systeme vor und wählt ein geeignetes System für die Implementierung. Kapitel 6 beschreibt die Implementierung des Prototypen und die Wahl der technischen Architektur. Es werden die GUI-Konzepte und die Design-Elemente des Prototypen vorgestellt.
Schlüsselwörter
Multimodale Interaktion, Modalitätsentscheidung, Regelbasierte Systeme, Wissensrepräsentation, Prototypenentwicklung, Evaluation, Mensch-Maschine-Interaktion, User Interface Design.
- Citar trabajo
- Florian Geiselhart (Autor), 2010, Evaluation eines prototypischen regelbasierten Ansatzes für Modalitätsentscheidungen in der Mensch-Maschine-Interaktion, Múnich, GRIN Verlag, https://www.grin.com/document/167522