[...] Je öfter ein Agent Datensätze dieser Art gesammelt hat, desto häufiger sollte er
dann in zukünftigen Situationen entscheiden können, welche zuvor gelernte Verhaltensfolge
er jeweils anwenden kann, um seine Performance zu verbessern. Ausgehend
von der Erkenntnis, dass erfolgreiche Handlungsfolgen leichter und häufiger kopiert
werden als erfolglose, sollen die Agenten auf diese Weise versuchen, ihr Verhalten
mit der Zeit zu verbessern, ohne auf dedizierte Lernalgorithmen zurückzugreifen.
Der oben erwähnte innere Zustand eines Agenten besteht aus Bedürfnissen und
Emotionen, die der Agent stets in einem angenehmen Bereich zu halten versucht.
Die Performance eines Agenten wird daran gemessen, wie erfolgreich er dabei ist. Im
Laufe der Zeit sollte der Agent durch mehr und mehr gelernte Episoden es verstehen,
seine Bedürfnisse und Emotionen immer besser zu kontrollieren.
Bei erfolgter Imitation einer Handlungsfolge oder Episode, kann der imitierende
Agent auch als ein “Episodenvervielfältiger” aufgefasst werden, die imitierte Episode
demzufolge gemäß Blackmores Definition als “Mem”. Die Software-Agenten werden damit als sog. “Mem-Wirte” benutzt. Es ist zu untersuchen, in welchem Ausmaß
Episoden vervielfältigt werden und ob sich in gewisser Weise Episoden-“Schulen”
herausbilden, ob sich also die Agentengesellschaft in Gruppierungen oder Cluster
aufteilen lässt. Diese Cluster enthalten dann nur solche Agenten, die zu einem bestimmten
Grade die gleichen Episoden in gleichen Situationen anwenden, in ihren
Verhaltensweisen also ähnlich sind. Die Ergebnisse des hier entwickelten Lernverfahrens
und der darauf aufbauenden Architektur sollen mittels einer Simulationsumgebung
ermittelt werden.
Um dieses Ziel — das Lernen von Handlungsfolgen durch Imitation — zu erreichen,
müssen in dieser Arbeit drei Themenblöcke zusammengebracht werden. Zuerst
ist da die Fähigkeit der Imitation von Episoden und der dadurch erreichte Lerneffekt.
Diese erfolgreich gelernten und angewandten Episoden wirken sich dann mittelbar
auf die Bedürfnisse und Emotionen des Agenten aus. Daraufhin kontrolliert der
Agent auf diese Weise beeinflusst seine verhaltensbasierte Architektur, die indirekt
über die Umweltrückgekoppelt seinen emotionalen Zustand verändert.
Die detaillierten Zielsetzungen in diesen drei Themen Lernen durch Imitation,
Bedürfnisse und Emotionen und verhaltensbasierte Architekturen werden im Folgenden
eingehender vorgestellt.
Inhaltsverzeichnis
1 Einleitung
2 Zielsetzung
2.1 Lernen durch Imitation
2.2 Bedurfnisse und Emotionen
2.3 Verhaltensbasierte Architekturen
3 Lösungsansatz
4 Existierende Lösungsansätze
4.1 Handhabung von Wissen in der Imitation
4.1.1 Klassifizierung von Wissen allgemein
4.1.2 Speicherung von Episoden
4.1.3 Identifikation von vorteilhaften Episoden
4.2 Modellierung von Emotionen und Bedurfnissen
4.2.1 Emotionen und Bedurfnisse beim Menschen
4.2.2 MEXI
4.2.2.1 MEXIs Verhaltenssystem
4.2.2.2 MEXIs Emotionssystem
4.2.2.3 Beziehung zwischen Emotions- und Verhaltenssystem
4.2.3 Kismet
4.2.3.1 Kismets Motivationen
4.2.3.2 Kismets Emotionen
4.2.3.3 Von der Stimulation zur Emotion
4.3 Verhaltensbasierte Systeme
4.3.1 Motor Schema Architektur
4.3.2 Subsumption Architektur
4.3.3 Motor Schemes vs. Subsumption Architektur
4.4 Vorhandene Simulationsumgebungen und Toolkits
5 Methodik
5.1 Imitation
5.1.1 Von der Beobachtung zur Anwendung
5.1.1.1 Erkennung erfolgreicher Episoden
5.1.1.2 Verhaltensinferenz und Transformation der Episode
5.1.1.3 Episodenspeicherung
5.1.1.4 Erzeugung der entsprechenden Handlung
5.1.2 Beobachtungsschnittstelle
5.2 Steuerung der Agenten mittels Emotionen und Bedurfnissen
5.2.1 Bedurfnisse und Emotionen
5.2.2 Dynamik in Emotionen und Bedurfnissen
5.2.2.1 Anregungsfunktionen
5.2.2.2 Emotionale Reaktion auf äußere Ereignisse
5.2.2.3 Aktivierungsschwellwerte
5.2.3 Zustandsbewertung und vorteilhafte Episoden
5.3 Agenten und Kulturen
5.3.1 Diversität und Entropie
5.3.2 Verhaltensdifferenzen
5.3.3 Clusterbildung der Agenten
5.3.4 Messung der Diversität einer Gesellschaft
6 Anwendungsbeispiel
6.1 Das Emotionssystem der simulierten Agenten
6.1.1 Bedurfnisse
6.1.2 Emotionen
6.1.3 Auswirkung der Stimuli auf die Emotionen
6.1.4 Schwellwerte der Bedurfnisse und Emotionen
6.1.5 Auswirkung der Verhalten auf die Emotionen
6.2 Das Verhaltenssystem der Agenten
6.2.1 Standardverhalten
6.2.2 Imitationsverhalten
6.2.2.1 OBSERVE
6.2.2.2 APPLY
6.3 Nichtdeterminismus in der Verhaltenssteuerung
6.4 Differenzen unter den Agenten
7 Simulationsergebnisse
7.1 Wellness-Test
7.2 Diversität der Agentengesellschaft
7.2.1 Beispiel 1
7.2.2 Beispiel 2
7.3 Bewertung der Heterogenität
8 Zusammenfassung und Ausblick
A Anleitung zur Simulationsanwendung
B Auswertung der Daten
B.1 Wellness-Auswertung
B.2 Zusammenfassen der Episoden in den letzten Runden aller Läufe
B.3 Clusterbildung
B.4 Histogramm der Heterogenität
C Inhalt der CD
Zielsetzung und thematische Schwerpunkte
Ziel der Arbeit ist die Entwicklung eines Lernverfahrens für Software-Agenten, das es ihnen ermöglicht, durch wechselseitige Beobachtung und Imitation vorteilhafter Handlungssequenzen ihre Leistung kontinuierlich zu steigern, gesteuert durch ihre internen Bedürfnisse und emotionalen Zustände.
- Imitation als Mechanismus zur Verbreitung von Verhaltensmustern (Memen)
- Modellierung emotionaler Zustände und Bedürfnisse zur Verhaltenssteuerung
- Integration von Beobachtung und Imitation in verhaltensbasierte Architekturen
- Methoden zur Analyse von Agentengesellschaften mittels Entropie und Clusterbildung
Auszug aus dem Buch
1 Einleitung
So sehr auch wissenschaftlich versucht wird, den Menschen in der Rolle eines weiter entwickelten Tieres zu sehen, so muss man doch fest stellen, dass er eine Fähigkeit besitzt, die keinem Tier in der Weise zugeschrieben werden kann: die Imitation. Hiermit ist nicht die die klassische Form der Imitation einzelner Bewegungsabläufe gemeint, bei der hauptsächlich das Demonstrator-Imitator-Verhältnis und die Performance zwischen beiden erforscht wird, wie z.B. die Armbewegung eines Tennisspielers. Einen guten Einstieg zu dieser Form der Imitation erhält man unter anderem in [1], [4], [7], [16], [18] und [21]. Um einiges komplexer und damit auch interessanter ist das intelligente Imitieren einer Folge von Handlungen, die erst noch für den Imitator selbst als sinnvolle Handlungssequenz erkannt werden muss.
Auch wenn einige Tierarten bekannt sind, die die Handlungsweisen ihrer Artgenossen scheinbar “nachäffen” — es ist nicht die Art der Imitation, die den Menschen befähigt, für ihn vorteilhafte Handlungsfolgen eines anderen zu erkennen und zu speichern, um sie später in einer ähnlichen Situation abzurufen.
Weiter kann fest gestellt werden, dass in dem Bereich der künstlichen Intelligenz, in dem über Jahrzehnte hinweg Verfahren und Algorithmen entwickelt wurden, die es der Software ermöglichen, sich an verändernde Umgebungen dynamisch anzupassen, der Bereich der Imitation sehr vernachlässigt worden ist. Softwareagenten, die nicht nur künstlich lernen, sondern auch einander beobachten, für den anderen positive Verhaltensweisen erkennen und diese für den eigenen Gebrauch in der Zukunft zwischenspeichern, müssten “normal” lernenden Agenten überlegen sein, da sie sozusagen Lern-Abkürzungen nehmen. Handlungsstränge, auch Episoden genannt, die sich bei einem Nachbarn als vorteilhaft herausgestellt haben, könnten dann übernommen werden und müssten nicht erst selber gelernt werden.
Kapitelübersichten
1 Einleitung: Einführung in die Problematik der Imitation bei Agenten und die theoretische Fundierung durch Mem-Theorien.
2 Zielsetzung: Beschreibung des Ziels, durch gegenseitige Beobachtung ein neues, auf Bedürfnissen und Emotionen basierendes Lernverfahren zu etablieren.
3 Lösungsansatz: Vorstellung der Architektur, die ein Imitationsmodul als Erweiterung in ein bestehendes emotionales Modell integriert.
4 Existierende Lösungsansätze: Überblick über Wissensmanagement, Emotionsmodellierung (MEXI, Kismet) und verhaltensbasierte Architekturen (Motor Schemes, Subsumption).
5 Methodik: Detaillierte Erläuterung des Imitationsmechanismus, der Steuerung durch Emotionen und der statistischen Analyse von Agentenkulturen.
6 Anwendungsbeispiel: Konkrete Implementierung in der TeamBots-Umgebung mit Fokus auf dem Emotions- und Verhaltenssystem.
7 Simulationsergebnisse: Auswertung des Lernerfolgs mittels Wellness-Tests und Analyse der Diversität in Agentengesellschaften.
8 Zusammenfassung und Ausblick: Resümee der entwickelten Architektur und Diskussion möglicher Forschungsfragen für zukünftige Arbeiten.
Schlüsselwörter
Imitation, Softwareagenten, Künstliche Intelligenz, Emotionsmodellierung, Bedürfnisse, Mem-Theorie, Verhaltensbasierte Architekturen, Motor Schemes, MEXI, Kismet, TeamBots, Agentengesellschaften, Diversität, Clusterbildung, Soziale Entropie.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit untersucht, wie Software-Agenten durch gegenseitiges Beobachten und Imitieren von Handlungsfolgen (Episoden) ihre Performance verbessern können, wobei das Lernverhalten durch interne Bedürfnisse und Emotionen gesteuert wird.
Was sind die zentralen Themenfelder der Forschung?
Die Arbeit verknüpft Konzepte aus der künstlichen Intelligenz, insbesondere verhaltensbasierte Robotik und autonomes Lernen, mit theoretischen Modellen zur Emotionspsychologie und Memetik.
Was ist das primäre Ziel der Untersuchung?
Das primäre Ziel ist die Entwicklung eines neuen Lernverfahrens, das Agenten ermöglicht, erfolgreich gelernte Episoden ihrer Artgenossen zu identifizieren, zu speichern und in eigenen Entscheidungsprozessen zur Befriedigung ihrer Bedürfnisse anzuwenden.
Welche wissenschaftliche Methode wird verwendet?
Die Autorin kombiniert theoretische Ansätze der Motivationspsychologie mit dem architektonischen Konzept der „Motor Schemes“ von Arkin und evaluiert den Ansatz durch umfangreiche Simulationen mit mehreren Agenten in der TeamBots-Umgebung.
Was wird im Hauptteil behandelt?
Der Hauptteil gliedert sich in eine fundierte Literaturanalyse bestehender Modelle, die detaillierte Beschreibung des neuen Imitations- und Steuerungsmodells sowie die methodische Umsetzung zur Messung der Diversität und Heterogenität innerhalb der Agentengesellschaft.
Welche Schlüsselwörter charakterisieren die Arbeit am besten?
Imitation, Softwareagenten, Emotionsmodellierung, Bedürfnisse, Verhaltensbasierte Architekturen, Mem-Theorie und Soziale Entropie.
Wie unterscheidet sich dieser Imitationsansatz von klassischer Imitation?
Klassische Imitation fokussiert oft auf die bloße Wiederholung einzelner Bewegungsabläufe. Dieser Ansatz hingegen ermöglicht die intelligente Identifikation und Nutzung ganzer, vorteilhafter Handlungssequenzen, die für den Agenten subjektiv nützlich sind.
Warum spielt das Konzept der „Homöostase“ eine so wichtige Rolle?
Die Homöostase dient als biologisches Prinzip, das den Agenten dazu antreibt, interne Lebensparameter wie Bedürfnisse innerhalb eines angenehmen Bereichs zu halten, was die Motivation für proaktives Lernverhalten erzeugt.
- Quote paper
- Willi Richert (Author), 2004, Lernen von Handlungsfolgen durch Imitation, Munich, GRIN Verlag, https://www.grin.com/document/30455
