Haptik in VR Anwendungen. Aktueller Stand der Technologie

ABSTRACT

10 Mai 2022 – In einer Epoche des digitalen Zeitalters, in welcher die optischen und akustischen Möglichkeiten der interaktiven Medien nach und nach ausgeschöpft scheinen, widmet sich die Forschung der Erweiterung des Erlebnisses auf andere Formen der Wahrnehmung. Diese Arbeit befasst sich mit der haptischen Komponente dieser Entwicklungen. So etablieren sich derzeit fern ab vom Consumer-Markt verschiedenste Technologien, die es nun kennenzulernen und zu verstehen gilt. Die Implementierung dieser neuen Wahrnehmungs-Komponente in digitale Anwendungen wird vielmals als der nächste Schritt in Bezug auf die Immersivität dieser Anwendungen betrachtet.

Author Keywords

Virtual Reality; VR; Haptik; Wahrnehmung; Interaktion; haptisches Feedback

CSS Concepts

- Human-centred computing ~ Human computer interaction (HCI) ~ Interaction devices ~ Haptic devices

INTRODUCTION

In dieser Arbeit werden dem Leser zunächst die Formen der Haptik verdeutlicht. Auf einer so geschaffenen Grundlage werden eine Aufteilung und sowie eine Einschätzung verschiedener einschlägiger Technologien ermöglicht. Als nächstes wird die Frage nach dem „Wieso“ geklärt. In diesem Kontext werden etablierte, wie potenzielle Anwendungsgebiete beleuchtet. Daraufhin folgt eine Marktanalyse, die zu einem Überblick über die Ansätze zur technischen Implementierung überleitet. Diese werden auf Gebrauchstauglichkeit in Bezug auf verschiedene Anwendungszwecke geprüft. Weiterhin werden der Entwicklungsstand und die Verfügbarkeit der Produkte hinterfragt. Im Anschluss wird die Implementierung dieser neuen Funktionen in digitalen Anwendungen betrachtet. Abschließend folgen ein Blick in die Zukunft entsprechender Technologien, sowie ein Exkurs zum Thema anderer, verwandter Forschungsbereiche.

haptik in digitalen anwendungen

Wieso Haptik?

Das Ziel von Haptik in digitalen Anwendungen ist es, die Immersivität digitaler Anwendungen zu erhöhen. Dies gilt ebenfalls im weiteren Sinne für weitere, verwandte technische Entwicklungen. Zu diesen zählen unter anderem die stetige Erhöhung von zeitlicher und räumlicher Auflösung digitaler Produkte. Weiterhin soll durch haptisches Feedback eine intuitivere Bedienung digitaler Anwendungen ermöglicht werden. In Zukunft könnten sich diese Entwicklungen erwartungsgemäß auf weitere Sinne ausweiten, wie den Geruchs- und den Geschmackssinn. Erste Ansätze hierzu werden bereits kommerziell vertrieben, diese sind jedoch noch weit entfernt davon, tatsächlich auf dem Consumer-Markt etabliert zu sein.

Haptik ≠ Haptik

Im Allgemeinen bezeichnet der Begriff „Haptik“ den Tastsinn. Um zwischen verschiedenen Ansätzen zu unterscheiden, die haptisches Feedback in digitalen Anwendungen ermöglichen, wird dieser Begriff im Folgenden aufgeteilt in haptisches und taktiles Feedback.

Unter den Begriff des haptischen Feedbacks fallen all die Sinneseindrücke, die auf ein „aktives spüren“ zurückgehen. Dies umfasst beispielsweise das Ertasten von Formen, Oberflächen oder Texturen. Im weiteren Sinne kann auch das aktive Ertasten von Temperaturen dem haptischen Feedback zugeordnet werden.1

Als taktiles Feedback bezeichnet die passive Komponente des Tastsinns. Wird ein Spieler beispielsweise von der digitalen Repräsentation eines Projektils getroffen, würde dieser Treffer ein taktiles Feedback auslösen. Auch die Druckwelle einer Explosion ist diesem Anteil des Tastsinns zugehörig.

Diese Aufteilung ist auf eine­ Studie zurückzuführen, in deren Rahmen die Gehirnaktivität von Menschenaffen überwacht wurde. Auf alle medizinischen Aspekte dieser Studie einzugehen würde den Rahmen dieser Arbeit sprengen, es sei jedoch gesagt, dass eine aktive Berührung (bzw. Ertastung) im Gehirn eine vollkommen andere Empfindung auslöst als eine physisch gesehen identische Berührung passiver Natur.¹

Erste kommerzielle Geräte für haptisches Feedback

Die ersten Geräte, die Benutzern taktilem Feedback in Spielen ermöglichten, waren Controller für Spielekonsolen. Heute aus keinem modernen Controller mehr wegzudenken, war Vibrationsfeedback zu Beginn revolutionär. Das erste kommerziell verbreitete Produkt mit dieser Sonderfunktion war der „Rumble Pak“ Controller für die Nintendo-64 Konsole. (Abb.1) Mit diesem wurde es erstmalig möglich, eine fühlbare Rückmeldung an den Nutzer auszugeben. So kann ein Controller dieser Art die Immersivität durch Vibrationen erhöhen, beispielsweise um einen vibrierenden Motor zu simulieren oder um das Abfeuern einer Waffe realistischer zu gestalten.

Abbildung in dieser Leseprobe nicht enthalten

Abb.1 – Nintendo-64 Rumble Pak Controller

Die ersten Produkte, welche Nutzern taktiles Feedback bieten konnten, kamen in Form aktiv gebremster Joysticks auf den Markt. (Abb.2) Beim Steuern von Flugzeugen konnten Nutzer so beispielsweise den Luftwiderstand fühlen, den es im Kontext der Bedienung des Höhenruders zu überwinden gilt. Aus dieser Entwicklung ergab sich in den folgenden Jahren eine Vielzahl an Anwendungen. Diese waren jedoch weiterhin vorwiegend Spielerischer Natur.

Abbildung in dieser Leseprobe nicht enthalten

Abb.2 - Microsoft Sidewinder Joystick

Heutzutage ermöglichen haptisches und taktiles Feedback in digitalen Anwendungen das spürbare Greifen von Objekten, das Wahrnehmen der Konsistenz dieser und das Unterscheiden von Texturen aufgrund von Faktoren wie Glätte (bzw. Rauheit) oder der Temperatur. So kann ein Nutzer auch ohne visuelles Feedback unterscheiden, ob er einen Granitblock greift, oder eine Gummiente und bei einem Griff an den virtuellen Waffengurt erkennen, welches Schwert er zieht.

Als Sonderformen des spürbaren Feedbacks zählt das bereits erwähnte Temperaturfeedback, sowie durch Elektro-Stimulation erzeugter Schmerz.

Ansätze zur technischen Implementierung

Neben den am weitesten verbreiteten Vibrationsmotoren existiert heute eine Vielzahl an mehr oder weniger experimentellen Ansätzen, den Tastsinn in digitale Anwendungen zu implementieren.

Es folgt eine Aufzählung der verschiedenen Ansätze. An einer späteren Stelle dieser Arbeit werden diese jeweils erneut aufgeführt und vertieft betrachtet.

Abbildung in dieser Leseprobe nicht enthalten

Abb.3 - HaptX Haptikhandschuhe

Die folgenden Technologien sind entweder bereits a­­­m Markt vertreten oder befinden sich in der Entwicklung:

- Force Feedback mittels künstlicher Muskeln oder Motoren
- Druckwellensimulation via Körperschall
- Haptisches und Taktiles Feedback durch Hydraulik und Pneumatik
- Simulation von spürbaren Bedienelementen in der Luft, umgesetzt mit Hilfe von Ultraschall
- Induktion von Schmerz mittels Elektro-Stimulation
- Erzeugung immersiven Erlebens durch Anpassung der Temperatur am ganzen Körper oder einzelnen Regionen des Körpers

Abbildung in dieser Leseprobe nicht enthalten

Diese Aufzählung ist nicht als vollständige Liste zu verstehen, sondern dient als Überblick über die Vielzahl an technischen Ansätzen, die derzeit im Kontext haptischen Feedbacks zu finden sind.

Im Gegensatz zu weithin etablierten Interaktionsgeräten, wie beispielsweise der Tastatur, befindet sich die Entwicklung hier in einem unausgereifteren Zustand. Wo sich bei Tastaturen kaum mehr als eine Hand voll Technologien etabliert hat, stehen derzeit noch weit mehr Implementierungsversuche für haptisches Feedback, die sich zu etablieren versuchen. Bis sich ein finales Bild abzeichnet, welche Technologien hier als zukunftssicher angesehen werden dürfen, wird wohl noch einige Zeit vergehen.

Anwendungsgebiete

Wenngleich Spiele meist das erste Thema sind, welches im Kontext VR in den Sinn kommt, sind die tatsächlichen Anwendungsgebiete weit vielfältiger. So bietet die hohe Immersivität von VR Anwendungen eine wertvolle Basis für Trainings- und Lernumgebungen und weist ein weites Potential auf, die Prozesse diverser Branchen zu bereichern.

Spiele

Im Kontext von spielerischen Anwendungen lassen sich Geräte für haptisches Feedback in zwei Kategorien einteilen. Zum einen in intuitive und erschwingliche Endbenutzerlösungen wie beispielsweise Handschuhe mit Vibrationsmotoren, einfachere Anzüge mit Haptik-Features und zum anderen in Speziallösungen für Spielehallen und Freizeitparks. Zu der letzteren Kategorie zählen Roboterarme, die den Besucher in der Luft bewegen können, sowie Spezialprodukte wie die, einzig für Disney-Freizeitparks entwickelte „Disney Force-Jacket“.

Weiterhin entwickelt sich mancherorts ein Trend zu VR-Spielehallen. Vorwiegend zu finden im Asiatischen Raum, bieten diese ihren Kunden Spezialangebote in Form von großformatigen Attraktionen. Diese Attraktionen sind meist Einzelanfertigungen und nutzen vielmals haptisches Feedback in unterschiedlicher Form.

Sonstige Unterhaltung

Abbildung in dieser Leseprobe nicht enthalten

VR Kinos sind als der direkte Nachfolger der sogenannten „4D-Kinos“ zu sehen. Diese arbeiteten, im Gegensatz zu den meisten bisher erwähnten Technologien, schon vor dem Einsatz von VR, mit haptischem Feedback. Dieses wurde meist in Form von sich bewegenden Sesseln, Vibrationsmotoren oder Körperschallwandlern in den Sitzen oder mit Windmaschinen umgesetzt. Wenn VR Kinos sich auch bisher nicht für die breite Masse etablieren konnte, profitieren diese von den haptischen Entwicklungen ihrer Vorgänger.

Ein weiterer Sonderfall von haptischem Feedback ist das sogenannte „Teledildonics“ System. Dieses wurde bereits in den 1980ern entwickelt und verspricht, sexuelle Interaktion in Fernbeziehungen zu ermöglichen. Wenngleich es sich hier nicht nativ um eine für VR entwickelte Technologie handelt, wird das System heute im Kontext VR gesehen und vertrieben.

Digitale Werbung

Im Jahr 2020 mussten nahezu alle Produktpräsentationen und Messen von einer physischen, realen Umgebung, in eine rein Digitale Form übersetzt werden.² Haptisches Feedback in VR Anwendungen würde es ermöglichen, Produkte als virtuelle Repräsentation auf dem Sofa auszuprobieren. Durch die haptische Komponente ist der potenzielle Käufer nicht mehr darauf angewiesen, das Produkt im Laden oder auf einer Messe zu suchen, um dieses in den Händen halten zu können.

Training/Ausbildung

Fern von der Nutzung dieser Technologie zur Unterhaltung, bietet haptisches Feedback in VR Anwendungen eine Basis für unterschiedlich geartete Trainings- und Ausbildungs-umgebungen.

Ein Beispiel für eine solche Anwendung sind Ernstfallübungen für medizinisches Fachpersonal oder Einsatzkräfte wie Feuerwehr, Polizei oder Militär.6 Bereits in den letzten Jahren wurde in Schulungen diverser Institutionen auf die Nutzung von VR umgestellt. Durch die nun zusätzlich verfügbare Komponente des haptischen Feedbacks können Szenarien nun deutlich realitätsnäher gestaltet werden. Hier gilt es beispielsweise, bei einer simulierten Notfall-Operation den Patienten spüren zu können, bei einem digitalen Hausbrand die Hitze der Flammen zu erleben oder bei einem polizeilichen Zugriff in VR einen verfolgten Täter tatsächlich spürbar zu ergreifen.

Abbildung in dieser Leseprobe nicht enthalten

Abb. 4 - Einsatztraining in VR

Speziell im medizinischen Umfeld, wie auch in anderen Bereichen die hohe Präzision erfordern, kann Haptik in VR eine wertvolle Komponente für Telepräsenzsysteme sein. So kann ein Roboter, in Echtzeit von einem Menschen gesteuert, Bomben entschärfen, beschädigte Atom-Reaktoren reparieren oder hoch komplexe medizinische Operationen durchführen („Da Vinci Roboter“). Durch das haptische Feedback kann hier die Präzision der durchgeführten Arbeiten stark erhöht werden.

Auch in weniger problematischen Bereichen als Gesundheit und Sicherheit kann in Schulungen von Haptik in VR profitiert werden. So können Fabrikarbeiter digital auf den Einsatz an schweren Maschinen vorbereitet werden, um Gefahren zu vermeiden und Installateure sind in der Lage den Aufbau komplexer Systeme vor dem eigentlichen Einsatz zu proben und so ihre Effizienz zu steigern und die Fehleranfälligkeit zu verringern.

Marktsituation

Kosten

Bei Haptik in VR handelt es sich, abgesehen vom klassischen vibrierenden Controller, um eine neuartige Technologie. Dies spiegeln, neben dem oft prototypischen Aufbau der Produkte, auch die Preise wider. Die bisherige Hauptkomponente der VR Experience, das Headset oder „HMD“³, bewegt sich im Allgemeinen preislich zwischen 250€ und 2000€. Nicht beachtet werden in dieser Preisspanne Lösungen wie „Google Cardboard“ und „Samsung Galaxy Gear VR“, die keine eigenständigen VR Lösungen darstellen. Geräte für Haptik-Feedback sind bereits ab 100€ zu finden, die meisten Produkte am Markt werden jedoch für weit höhere Preise angeboten. Hier finden sich Produkte wie der „Teslasuit“, welcher für knappe 5.000$ angeboten wird.7 Im niedrigen Preissegment finden sich Produkte wie die „PlexusVR“ Handschuhe, welche, mithilfe von Aktoren an den Fingerspitzen, haptisches Feedback bieten. Diese sind mit 249$ pro Paar angekündigt.8 Force Feedback bieten die „VRGluv“ Handschuhe mittels Exoskelett. Diese sollen für 399$ erhältlich sein.

Derzeit ist der Haptik-Markt vorwiegend von Start-ups dominiert. Dies führt zu erheblichen Preisschwankungen und meist unklarer Produktverfügbarkeit. Auskünfte sind oft nur auf Anfrage verfügbar. Neben diesen jungen Unternehmen sind nur wenige „Global Player“ am Markt vertreten. Zu den großen Unternehmen, die Geräte für haptisches Feedback entwickeln, zählen Microsoft, HTC, Facebook und Valve.

Neben diesen wird das Thema auch an Hochschulen und Universitäten vermehrt thematisiert. Dies ist darauf zurückzuführen, dass der Markt noch sehr jung, und daher noch offen für experimentelle Techniken ist. Beispiele für an Hochschulen und Forschungszentren entwickelte Haptik-Technologien sind

- Die Drucklufthaut,der Eidgenössischen Technischen Hochschule Lausanne, die Oberflächen mittels Mikropneumatik simuliert
- Der am Deutschen Forschungszentrum für Künstliche Intelligenz entwickelte Drag:on Controller, der Force-Feedback mittels Luftwiderstand erzeugt
- Professor Haptic, ein an der Hochschule der Medien Stuttgart entwickelter Spezialcontroller, bei dem der Nutzer mit einer realen Kugel interagiert.

Technische umsetzung

Wie anfangs erwähnt, sind die Methoden zur Umsetzung von haptischem Feedback in VR vielfältig. Im Folgenden werden die am weitesten verbreiteten Ansätze kurz erklärt, sowie einige Sonderfälle aufgegriffen.

Vibration

Vibrationsmotoren sind Motoren, die durch das Rotieren einer Unwucht mechanische Schwingungen erzeugen. 13 Elektromotoren dieser Art finden sich heutzutage in vielen technischen Bereichen und sind aus dem täglichen Leben nicht mehr weg zu denken. In Smartphones dienen sie vorwiegend zur Benachrichtigung über eingehende Anrufe oder Nachrichten. In Konsolen-Controllern wird mithilfe von Vibration ebenfalls eine einfache Form des haptischen Feedbacks erzeugt. Auch VR-Controller sind meist mit Vibrationsmotoren ausgestattet und können so haptisch auf Aktionen reagieren wie das Greifen eines Objekts.

Abbildung in dieser Leseprobe nicht enthalten

Die nächste Stufe von Vibrationsfeedback in VR ist das Anbringen von Vibrationsmotoren an den Fingerspitzen. Durch eine variable Vibrationsintensität (gesteuert mittels Drehzahl) kann so eine komplexere Berührung dargestellt werden. Dies reicht vom Erkennen der Form eines Objekts, bis zum präzisen Ertasten von Oberflächenstrukturen.

Handschuhe, die diese Art des Vibrationsfeedbacks bieten sind unter anderem die bereits erwähnten „PlexusVR“ Handschuhe und die technisch komplexere Variante „ManusVR“. Wenngleich VR Handschuhe im Allgemeinen auch das Tracking der Hände übernehmen, bieten auch hier verschiedene Anbieter unterschiedliche Präzision und Funktionalität. Wo sich bei PlexusVR lediglich eine Schnittstelle findet, an welcher man ein Hand-Tracking Gerät anbringen kann, bietet ManusVR ein präzises Verfolgungssystem für Hand und Finger. Dieses geht qualitativ über die Anforderungen von einfachen spielerischen Anwendungen weit hinaus. Daher ist ManusVR vorwiegend an Nutzer von Motion-Capturing Systemen gerichtet. 14 Diese erweiterte Funktionalität spiegelt sich auch im Preis wider. ManusVR Handschuhe mit Haptic-Kit kosten derzeit etwa das zehnfache der PlexusVR Handschuhe.

Abbildung in dieser Leseprobe nicht enthalten

Auch Westen und mit Vibrationsmotoren ausgestattete Anzüge sind am Markt verfügbar. Diese Kategorie bietet eine weitere Stufe der Immersion, da sie es ermöglicht, Berührungen am ganzen Körper zu simulieren. Da es hier weniger um präzise Ertastung geht, sondern vielmehr um taktiles Feedback, sind die Umsetzungen hier oft weniger Komplex. So können Produkte wie die „KOR FX“ Weste für unter 150$ angeboten werden. Andere Vertreter des Bereichs sind „HardlightVR“, „Exoskin“ und der „HoloSuit“.

Motoren und Bremsen

Abbildung in dieser Leseprobe nicht enthalten

Ein weiterer Ansatz, um haptisches Feedback zu implementieren ist es, die Bewegungsfreiheit der entsprechenden Körperteile (meist der Finger) mittels Motoren und Bremsen zu limitieren. Am häufigsten ist diese Technologie in Exoskelett Handschuhen zu finden, welche es ermöglichen Objekte im digitalen Raum zu greifen und deren Konsistenz wahrzunehmen.

Schließt der Träger eines entsprechenden Handschuhs beispielsweise seine Hand, so ist er in der Bewegung gewöhnlich nicht eingeschränkt. Befindet sich jedoch ein digitales Objekt im weg, so wird der entsprechende Widerstand auf die Bewegung angewendet. Somit kann der Benutzer auf intuitive Weise mit der digitalen Welt interagieren.

Ein Beispiel für auf Motoren und Bremsen basierende Exoskelett-Handschuhe sind die „Dexmo Gloves“. Diese bieten als erstes Kabelloses Produkt Force-Feedback und sind sowohl für den Heimgebrauch als auch in Trainingsumgebungen denkbar.

Hydraulik und Pneumatik

Seltener anzutreffen sind Implementierungsansätze auf Basis von Hydraulik und Pneumatik. Aufgrund der komplexeren Implementierung im Vergleich zu den vorangegangenen Technologien werden hydraulische und pneumatische Konzepte meist nur im Professionellen Umfeld eingesetzt.

In die Kategorie der pneumatischen, speziell der mikropneumatischen Ansätze, fällt die bereits erwähnte Drucklufthaut, welche derzeit an der Eidgenössischen Technischen Hochschule Lausanne entwickelt wird. Diese besteht aus einer Schicht aus kleinsten, flexiblen Kammern, welche bei Bedarf individuell mit Luft gefüllt werden können. Pneumatik ermöglicht hier eine schnelle Änderung der Druckverhältnisse, was das Ertasten von feinen Strukturen möglich macht. Ein Ziel des Projektes ist es, das Konzept auf ganze Anzüge zu übertragen und so präzise Berührungen am ganzen Körper darstellen zu können.

Ein weiteres, bereits kommerziell etabliertes Konzept wird von den HaptX Handschuhen verfolgt. Hier werden mehrere Techniken kombiniert, um ein möglichst präzises und realitätsnahes Erlebnis bieten zu können. Zum einen, bieten diese ein, mithilfe von aktiv gebremsten Stoffbändern, induziertes Force-Feedback (In Abb. 8: Petrolfarbene Bänder). Dieser Ansatz ist, verglichen mit anderen Force-Feedback Konzepten einfach zu implementieren. Ein Nachteil ist, dass der Widerstand nur das Schließen der Hand beschränken kann, nicht aber das Öffnen. Diese Einschränkung ist jedoch selten in Anwendungen spürbar, weshalb das System trotzdem sinnvoll nutzbar ist. Diese Technologie ist in den HaptX Handschuhen mit einer Haptik-Feedback Implementierung für feine Strukturen kombiniert, die mit dem Ansatz der Drucklufthaut vergleichbar ist.

[...]

¹ Ein Beispiel hierfür ist die aktive Ertastung eines Stiftes, und im Vergleich zu dieser, das unerwartete berührt werden mit demselben Objekt in derselben Art und Weise.

² 2020 war geprägt durch den Weltweiten Ausbruch des Coronavirus. Dies führte zu Einschränkungen im öffentlichen Leben. Jegliche Großveranstaltungen wurden in den digitalen Raum, verschoben.

³ HMD = H ead M ounted D isplay