In den letzten Jahren haben sich neue Interaktionsmöglichkeiten im Bereich der Computerspiele etabliert wie bspw. die Bewegungssteuerung mittels Microsofts Kinect. Weniger populär ist bislang die Steuerung via sog. Biofeedback, also durch von Sensoren erfassten physiologischen Daten. Beispiel hierfür ist das sog. Neurofeedback mittels sog. Brain-Computer-Interfaces (kurz: BCIs), also per Hirnstromwellen-Messung (Elektroenzephalografie: EEG).
Mit dieser Arbeit soll sich vorbereitend für eine Abschlussarbeit mit der Entwicklung eines Konzepts für die Erstellung eines Computerspiels beschäftigt werden, bei welchem Neuroskys Mindwave und das Oculus Rift zum Einsatz kommen sollen. Das Mindwave ist ein EEG-Messgerät der Firma Neurosky, welches optisch an ein Headset erinnert. Das Oculus Rift ist ein Head-Mounted Display der Firma Oculus VR, welches in der Version Development Kit 2 verfügbar ist. Als Entwicklungsumgebung soll dienen die Spiel-Engine Unity der Firma Unity Technologies, da diese die Integration von Neurosky Mindwave und Oculus Rift gemäß Recherche-Ergebnissen im Vorfeld relativ komfortabel zu ermöglichen schien. Unity stand in der Version 4.6.0b17 (Pro-Lizenz/Vollversion) zur Verfügung.
Im Folgenden soll die Arbeit mit der Software im Rahmen des Projekts zur vorliegenden Arbeit näher beleuchtet werden. Zunächst sollen gestalterische Aspekte betrachtet werden, danach auf Quelltext-Programmierung eingegangen werden.
Inhaltsverzeichnis
Einleitung
Gestaltung
Quelltext
Neurosky Mindwave
Oculus Rift
Sonstiges
Schluss
Quellen
Anhang
Zielsetzung & Themen
Das Hauptziel dieser Arbeit besteht darin, ein Konzept für ein BCI-gesteuertes Computerspiel zu entwickeln und praktisch umzusetzen, wobei das EEG-Messgerät Neurosky Mindwave und das Head-Mounted Display Oculus Rift in der Spiele-Engine Unity kombiniert werden, um die Machbarkeit und die bei der Integration auftretenden Herausforderungen zu evaluieren.
- Konzeptentwicklung für BCI-gestützte Computerspiele
- Integration von Neurosky Mindwave Hardware in Unity
- Anbindung und Herausforderungen mit Oculus Rift (DK2)
- Gestaltung virtueller 3D-Umgebungen mittels Unity
- Programmierung von Spielsteuerungen über physiologische Daten
Auszug aus dem Buch
Neurosky Mindwave
Die Firma Neurosky bietet für seine EEG-Headsets (darunter auch Mindwave) ein Software Development Kit (SDK) an namens „ThinkGear SDK“ inklusive der sog. „ThinkGear“-Programmierschnittstelle (API / application programming interface) plus Dokumentation der Schnittstellen-Funktionen mit ihren Parametern und inklusive Programmbibliothek. Ein SDK stellt Werkzeuge bereit, um ein Programmiergerüst bzw. Framework zu benutzen. Eine API bezeichnet die Deskription der aufrufbaren Unterprogramme und deren Parameter. Unter einer Programmbibliothek versteht man eine Zusammenstellung von Unterprogrammen. Neurosky offeriert die Programmbibliothek ThinkGear.dll, welche als Plug-in (Software-Erweiterung) in Unity eingebunden werden kann, um relativ bequem die entsprechende Funktionalität des Headsets in Unity zu integrieren. Konkret lassen sich neben der Datei ThinkGear.dll auch die Dateien ThinkGear.cs und ThinkGearController.cs einfügen in einen Plugins-Ordner des jeweiligen Unity Projekts (siehe Abbildung 9).
Bei ThinkGear.cs handelt es sich um ein in der Programmiersprache C# geschriebenes Skript, welches Unterprogramme aus der Programmbibliothek als Unterprogramme (sog. Methoden) von sog. Klassen in Unity importiert. ThinkGear.cs fungiert somit als sog. Wrapper, also einem sog. Adapter Entwurfsmuster aus der objektorientierte Programmierung zum ‚Verhüllen‘ von inkompatiblen Klassenschnittstellen. Wenn sich die Datei im Plugins-Ordner befindet steht die Klasse „ThinkGear“ zur Laufzeit zur Verfügung und entsprechende Methoden können aufgerufen werden. Zum besseren Verständnis der einzelnen Methoden bzw. Unterprogramme sind umfangreiche Kommentare im Quelltext der Datei enthalten. Aus Gründen der Übersichtlichkeit wurden diese Kommentare im konkreten Projekt der vorliegenden Arbeit entfernt. Die generelle Abfolge der Aufrufe der einzelnen Unterprogramme stellt sich schematisch wie in Abbildung 10 dar (vgl. Neurosky Webseite: Unity, 2015, online; vgl. Wikipedia Webseite: Wrapper (Software), 2015, online).
Zusammenfassung der Kapitel
Einleitung: Vorstellung der Motivation, Interaktionsmöglichkeiten mittels Biofeedback in Computerspielen zu untersuchen und die Zielsetzung der Arbeit zu definieren.
Gestaltung: Beschreibung der Erstellung einer virtuellen 3D-Umgebung in Unity inklusive Lichtsetzung, Landschaftsmodellierung, der Einbindung von Assets und der physikalischen Konfiguration.
Quelltext: Detaillierte Erläuterung der Software-Integration des Neurosky Mindwave Headsets, der Oculus Rift Problematiken sowie der Programmierung von Pause-Menüs, Sound-Effekten und der BCI-Steuerungslogik.
Schluss: Zusammenfassende Bilanzierung, dass die Kombination der verwendeten Technologien ein innovatives Potenzial für BCI-Spiele bietet, trotz bestehender technischer Herausforderungen bei der Implementierung.
Quellen: Auflistung der verwendeten Literatur und Online-Ressourcen.
Anhang: Zusammenstellung des Abbildungsverzeichnisses sowie der vollständigen Quelltext-Implementierung.
Schlüsselwörter
Brain-Computer-Interface, BCI, Neurosky Mindwave, Oculus Rift, Unity, EEG, Biofeedback, Computerspiel-Entwicklung, Spiel-Engine, Software Development Kit, Programmierung, C#, Virtuelle Realität, Game Design, Mensch-Maschine-Interaktion.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit behandelt die konzeptionelle und technische Entwicklung eines BCI-Computerspiels unter Nutzung der Spiel-Engine Unity, kombiniert mit dem EEG-Headset Neurosky Mindwave und dem Oculus Rift Head-Mounted Display.
Was sind die zentralen Themenfelder?
Die Schwerpunkte liegen auf der Gestaltung virtueller Umgebungen, der Integration externer Hardware-Schnittstellen (SDKs) in eine Spielumgebung und der Umsetzung einer Steuerung mittels Gehirnaktivität.
Was ist das primäre Ziel der Untersuchung?
Ziel ist es, vorbereitend für eine Abschlussarbeit zu prüfen, wie komfortabel und praktikabel die Entwicklungsarbeit mit der Kombination aus Mindwave, Oculus Rift und Unity ist und welche technischen Hürden dabei auftreten.
Welche wissenschaftliche Methode wird verwendet?
Die Arbeit basiert auf einem explorativen praktischen Ansatz, bei dem eine Prototyp-Anwendung entwickelt, die Implementierung dokumentiert und auftretende technische Probleme analysiert werden.
Was wird im Hauptteil behandelt?
Der Hauptteil umfasst die visuelle und physikalische Gestaltung der Spielwelt sowie die tiefergehende Programmierung der Schnittstellen zu Mindwave (Datenverarbeitung der Hirnwellen) und Oculus Rift.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit lässt sich durch Begriffe wie Brain-Computer-Interface (BCI), Unity, Neurosky Mindwave, Oculus Rift, Biofeedback und 3D-Spiele-Entwicklung beschreiben.
Warum funktionierte die Verwendung des Oculus Rift im Projekt nicht?
Die eingesetzte Version der Oculus-Integration sowie Inkompatibilitäten mit der Grafik-Konfiguration (Direct3D 11) und Einschränkungen der verwendeten Unity-Lizenz führten dazu, dass eine funktionierende Implementierung im Rahmen des Projekts nicht erreicht werden konnte.
Wie werden die eSense-Werte des Mindwave zur Steuerung genutzt?
Die Meditations- und Aufmerksamkeitswerte werden kontinuierlich ausgelesen und zur Steuerung der Flughöhe des virtuellen Heißluftballons sowie zur Auslösung von Effekten (Zündflamme) in der Spielumgebung verwendet.
- Citation du texte
- Matthias Weber (Auteur), 2015, Entwicklungskonzept für ein BCI-Computerspiel unter Verwendung von Unity, Neurosky Mindwave und Oculus Rift, Munich, GRIN Verlag, https://www.grin.com/document/299486
