Virtuelle Anatomie mit der Unity Engine. Entwicklung und Evaluationsentwurf eines VR-Simulators zur Implantation einer Endoprothese des Hüftgelenks

Inhaltsverzeichnis

Beschreibung der Bachelorarbeit

Kurzreferat

Abkürzungsverzeichnis

Abbildungsverzeichnis

Tabellenverzeichnis

Anlagenverzeichnis

1 Einleitung
1.1 Motivation
1.2 Forschungsfragen
1.3 Struktur der Arbeit

2 Stand der Technik
2.1 Virtual Continuum
2.2 Technische Aspekte der Virtuellen Realität
2.2.1 Interaktion in der Virtual Reality
2.2.2 Stereoskopie in der VR-Technik
2.2.3 VR-Visualisierungssysteme
2.2.4 Tracking-Methoden
2.3 VR-Simulatoren im chirurgischen Training
2.3.1 Voraussetzungen für einen chirurgischen VR-Trainingssimulator
2.3.2 Prinzipielle Schritte einer Hüftoperation
2.4 Die Game-Engine Unity
2.4.1 Funktionsweise
2.4.2 Unity Render
2.4.3 3D-Modelle in Unity
2.5 Variablen zur Evaluierung von VR-Anwendungen
2.5.1 Immersion und Presence
2.5.2 Nutzererfahrung

3 Simulationen in Unity
3.1 Methoden
3.1.1 Technische Plattform
3.1.2 Implementierung eines 3D-Modells in Unity
3.1.3 Materialabtrag
3.1.4 Blutsimulation
3.1.5 Gewebedeformationen
3.2 Versuchsdurchführung und Ergebnisse
3.2.1 Ergebnisse 3D-Modell
3.2.2 Ergebnisse Materialabtrag
3.2.3 Ergebnisse Blutsimulation
3.2.4 Ergebnisse Gewebedeformationen
3.3 Diskussion
3.3.1 3D-Modell
3.3.2 Materialabtrag
3.3.3 Blutsimulation
3.3.4 Gewebedeformationen
3.3.5 Gesamteinschätzung von Unity

4 Planung einer Evaluationsstudie für einen VR-Hüftoperationssimulator
4.1 Methode
4.1.1 Hypothesen und Anforderungen
4.1.2 Versuchsplan
4.1.3 Methodische Anwendung
4.2 Auswertung
4.2.1 Auswertung der Studie
4.2.2 Auswertung der Studie
4.3 Diskussion

5 Ausblick

6 Literaturverzeichnis

Anlagen

Hypothesen

Beschreibung der Bachelorarbeit

Wiechert, Patrick:

Umsetzung eines virtuellen anatomischen Menschenmodelles in einer virtuellen Umgebung mit anschließender Vorbereitung einer Evaluierung

Bachelorarbeit an der Fakultät Maschinenbau der Technischen Universität Chemnitz, Professur Werkezeugmaschinen und Umformtechnik, Chemnitz, 2016

97 Seiten, 42 Abbildungen, 7 Tabellen, 6 Anlagen, 64 Quellen

Kurzreferat

Für die Entwicklung eines Virtual Reality Simulators (VR-Simulator) zur Implantation einer Endoprothese des Hüftgelenks wird die Game-Engine Unity getestet. Dazu werden im ersten Teil der Arbeit die Implementierung eines 3D-Modells und die Simulationen des Blutes, Gewebes und Materialabtrages der Knochen in Unity untersucht. In den Versuchen wurde ein 3D-Modell der Hüfte modelliert und verschiedene Plugins zur Ausführung der Simulationen getestet. Während die Implementierung des 3D-Modells und die Simulation des Blutes lediglich geringe Mängel aufwiesen, wurden die Simulationen des Gewebes und des Materialabtrags den Anforderungen nicht gerecht. Dennoch ist eine Entwicklung des VR-Simulators in Unity vorstellbar. Im zweiten Teil der Arbeit wird eine Evaluierungsstudie zur Feststellung des Lernerfolges und der Qualität eines VR- Trainingssimulators für Hüftoperationen geplant. Diese sollen mittels Fragebögen durch die Prädiktoren Immersion, Presence und Nutzererfahrung erfasst werden und durch die Analyse von Interaktionen mit Nutzervariablen unterschiedliche Nutzergruppen identifizieren.

In order to develop a virtual reality simulator (VR simulator) for implantation of an endoprosthesis of the hip joint, the game engine Unity is tested. Therefore, the implementation of a 3D model and the simulations of the blood, tissue and material removal of bone in Unity are examined. In the experiments, a 3D model of the hip was modeled as well as tested and different plugins for the performance of the simulation were tested, too. Concerning the implementation of the 3D model and the simulation of the blood merely minor defects were detected. On the other hand, the simulation of the tissue and the material removal of the bones did not meet requirements. Nevertheless, a development of the VR simulator in Unity is conceivable. In the second part, an evaluation study to determine the learning success and the quality of a VR training simulator for the insertion of endoprosthesis of the hip is planned. These are to be detected by means of questionnaires by the use of the predictors immersion, presence and user experience and different user groups are to be identified by analyzing interactions with user variables.

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

Abbildungsverzeichnis

Abbildung 2.1.1: Reality-Virtuality Continuum nach Milgram et al.[9]

Abbildung 2.1.2: Erweiterung des RV-Continuums nach Mann[12]

Abbildung 2.2.1: Der monokulare Tiefenreiz Verdeckung (l.)[51] und der binokulare

Tiefenreiz Querdisparität (r.)[52]

Abbildung 2.2.2: Side-by-Side Stereo Technik bei einem HMD[64]

Abbildung 2.2.3: HP Zvr Virtual Reality Display[53]

Abbildung 2.2.4: Two-User Responsive Workbench[54]

Abbildung 2.2.5: Eine CAVE (l.)[13] und das Oculus Rift VR Headset (r.)[55]

Abbildung 2.2.6: Eine SparkFun 9 DOF-IMU (l.)[17] und eine True Player Gear (r.)[63]

Abbildung 2.2.7: Kontaktfreies optisches (l.)[13], magnetisches (m.)[56] und akustisches Tracking-System (r.)[57]

Abbildung 2.3.1: Reversible (l.) und irreversible Deformation der menschlichen Haut [58]

Abbildung 2.3.2: Ausstoß von arteriellen (l.)[59] und venösen Blut (r.)[58]

Abbildung 2.3.3: Schematische Darstellung eines Zugangs zum Hüftgelenk[60]

Abbildung 2.3.4: Operative Entfernung des Hüftkopfes[58]

Abbildung 2.3.5: Schematische Darstellung des Fräsens in der Hüftpfanne[61]

Abbildung 2.3.6: Schematische Darstellung der Implantation der Hüftpfannen- (l.) und Hüftkopfprothese (r.)[61]

Abbildung 2.4.1: Unitys Benutzeroberfläche

Abbildung 3.1.1: 3D-Modell des Gewebes an der Hüfte (l.) und der Hüftpfanne (r.)

Abbildung 3.1.2: Versuchsaufbau für den Versuch 1 des 3D-Modells

Abbildung 3.1.3: Versuchsobjekt für die Versuchsreihe des Materialabtrags

Abbildung 3.1.4: Versuchsaufbau für die Versuche 1a (l.), 1b (m.) und 1c (r.) des Materialabtrags

Abbildung 3.1.5: Versuchsaufbau für die Versuche 1 und 2 der Blutsimulation

Abbildung 3.1.6: Versuchsaufbau von Versuch 1 der Gewebesimulation

Abbildung 3.1.7: Versuchsaufbau von Versuch 2 der Gewebesimulationen

Abbildung 3.1.8: Versuchsaufbau von Versuch 3 der Gewebesimulationen

Abbildung 3.2.1: Ergebnisse 3D-Modell von Versuch

Abbildung 3.2.2: Ergebnisse Materialabtrag von Versuch 1 mit dem Meshinator Plugin (l.) und dem Fracture Pro Plugin (r.)

Abbildung 3.2.3: Ergebnisse Materialabtrag von Versuch

Abbildung 3.2.4: Ergebnisse Materialabtrag von Versuch

Abbildung 3.2.5: Ergebnisse Blutsimulation von Versuch 1a

Abbildung 3.2.6: Ergebnisse Blutsimulation von Versuch 1b

Abbildung 3.2.7: Ergebnisse Gewebedeformationen von Versuch

Abbildung 3.2.8: Ergebnisse Gewebedeformationen von Versuch 2a

Abbildung 3.2.9: Ergebnisse Gewebedeformation von Versuch 2b

Abbildung 3.2.10: Versuchsaufbau (l.) und Ergebnisse (r.) des Versuch 2b Zusatz

Abbildung 3.2.11: Ergebnisse Gewebedeformation von Versuch 3a

Abbildung 3.2.12: Ergebnisse Gewebedeformation von Versuch 3b

Abbildung 3.2.13: Ergebnisse Gewebedeformation von Versuch 3c

Abbildung 3.2.14: Versuchsaufbau (l.) und Ergebnisse (r.) des Versuchs 3c Zusatz

Abbildung 3.3.1: Ergebnisse 3D-Modell von Versuch 1 mit dem SA Collider Plugin

Abbildung 3.3.2: Ergebnisse Materialabtrag von den Versuchen 1 und

Abbildung 4.2.1: Beispiel einer Auswertung für die RN Items der Knochen

Abbildung 4.2.2: Beispiel für die Überprüfung einer Interaktion zwischen der RN des Blutes und der Ecological Validity

Tabellenverzeichnis

Tabelle 3.3.1: Zusammenfassung der Resultate für die Materialabtragssimulationen

Tabelle 3.3.2: Zusammenfassung der Resultate für die Blutsimulation

Tabelle 3.3.3: Zusammenfassung der Resultate der Gewebesimulationen

Tabelle 3.3.4: Übersicht der Hypothesen 2-4

Tabelle 4.1.1: Items für die RN der virtuellen Umgebung.

Tabelle 4.1.2: Items für die RN der Interaktion

Tabelle 4.1.3: Reliabilität des meCUE-Fragebogens[62]

Anlagenverzeichnis

Anlage 1: Fragestellungen zur Ermittlung der Realitätsnähe

Anlage 2: ITC-SOPI Fragebogen

Anlage 3: meCUE-Fragebogen

Anlage 4: Demografische Fragestellungen

Anlage 5: Fragestellungen zur Ermittlung der Operationserfahrung

Anlage 6: TA-EG Fragebogen

1 Einleitung

1.1 Motivation

In der medizinischen Ausbildung zum Chirurgen wird traditionell an Tier- und Menschpräparaten gelehrt und später in echten Operationen assistiert. Besonders letzteres ist kosten- und personalaufwendig und mit einem Risiko für den Patienten verbunden. Deswegen wurde in der Vergangenheit im Bereich der minimalinvasiven Operationen versucht, die Kosten und das Risiko für den Patienten durch den ergänzenden Einsatz von Virtual Reality Simulatoren (VR-Simulatoren) zu senken. Es konnte bewiesen werden, dass Virtual Reality Training Lerneffekte in verschiedenen Operationsprozessen steigert[1] [2]. Der derzeitige Entwicklungsstand von orthopädischen chirurgischen Simulatoren liegt im Vergleich zu anderen Operationsgebieten zurück[3]. Dazu zählt auch das Simulieren von dem operativen Einsetzen eines Hüftimplantats[4]. Dabei wurde die Implantation einer Endoprothese am Hüftgelenk im Jahr 2014 rund 220.000-mal in Deutschland durchgeführt und zählt damit zu den ersten zehn der häufigsten Operationen in deutschen Krankenhäusern[5]. Somit gibt es eine reale Nachfrage an Chirurgen, die diese Operation beherrschen, aber gleichzeitig ein mangelndes Angebot an Ausbildungsmöglichkeiten durch Simulatoren.

Mit dem übergeordneten Ziel einen VR-Operationssimulator für Hüftoperationen zu entwickeln, soll in dieser Arbeit die Eignung einer Game-Engine als Basis zur Entwicklung eines solchen VR-Simulators evaluiert werden. Stellvertretend für die Game-Engines wird die Unity Game-Engine genutzt, welche eine etablierte Game-Engine und kostengünstig in der Anwendung ist.

Nach der Entwicklung eines Trainingssimulators sind die Qualität und der Lerneffekt noch unbekannt. Im konkreten Fall eines VR-Operationssimulators für Hüftoperationen sollten diese jedoch festgestellt werden, um in den regulären Ausbildungsbetrieb aufgenommen zu werden und eine allgemeine Akzeptanz bei den Nutzern sicherzustellen. Zur Untersuchung dieser Parameter bedarf es einer Evaluierungsstudie. Eine kostengünstige Alternative zu einer Vergleichsstudie im Feld stellt eine prädiktive Studie da. Dabei wird der Lerneffekt des Simulators nicht direkt gemessen, sondern durch bekannte Zusammenhänge vorhergesagt. Ein bereits bekannter Zusammenhang während des Trainings in der virtuellen Realität ist die Leistungssteigerung für komplexe Aufgaben bei hohen Niveaus von Immersion und Presence[6]. Vereinfacht ausgedrückt beschreibt die Presence das Gefühl, in eine virtuelle Welt einzutauchen und die Immersion umfasst das Maß der erfüllten technischen Voraussetzungen für dieses Gefühl[7]. Eine Evaluierung mit diesen Parametern kann den Lerneffekt voraussagen, jedoch noch nicht die Qualität der Interaktion mit dem Nutzer. Diese kann durch die Nutzererfahrung bestimmt werden[8]. Sie gibt Aufschluss über die Interaktion des Simulators mit dem Nutzer und dem Urteil des Nutzers über verschiedene Aspekte des Trainingssimulators.

Als zweites Kernziel der Arbeit soll eine prädiktive Studie geplant werden, welche Immersion, Presence und Nutzererfahrung an einem VR-Trainingssimulator für Hüftoperationen evaluieren soll.

1.2 Forschungsfragen

Um eine Aussage über die Eignung der Game-Engine Unity als VR-Operationssimulator für Hüftoperationen treffen zu können, untersucht diese Arbeit die Simulierung eines anatomischen Menschenmodells und dessen physikalische und grafisch korrekte Darstellung in der virtuellen Umgebung. In den dafür vorgesehenen Versuchen soll die Beantwortung der nachstehenden Fragen erzielt werden:

1. Funktioniert die Implementierung eines anatomischen Modells in die Unity Game- Engine?

2. Können die Simulationen des
a. Materialabtrags des Knochens,
b. Blutes und
c. Gewebes
physikalisch korrekt in Unity umgesetzt werden?

3. Können die Simulationen des
a. Materialabtrags des Knochens,
b. Blutes und
c. Gewebes
grafisch realistisch in Unity umgesetzt werden?

4. Können die Simulationen des
a. Materialabtrags des Knochens, 2
b. Blutes und
c. Gewebes
in Unity vom Nutzer interaktiv beeinflusst werden?

Die Evaluierungsstudie soll den Entwicklern des VR-Trainingssimulators Anhaltspunkte zur Einschätzung des Lerneffekts und der Qualität geben. Dazu ist die Studie in zwei Versuche geteilt, in denen die prädiktiven Variablen erhoben und die Interaktionen zwischen Parametern untersucht werden. Beide Versuche haben das Ziel die folgenden Fragestellungen zu beantworten:

5. Wie kann die
a. Presence,
b. Immersion und
c. Nutzererfahrung
am VR-Trainingssimulator für Hüftoperationen evaluiert werden?

6. Wie kann der voraussichtliche Lernerfolg und die Qualitätseinschätzung des Simulators für verschiedene Personengruppen evaluiert werden?

Diese Forschungsfragen werden in Kapitel 3.1 und 4.1 nochmals aufgegriffen und zu Hypothesen abgeleitet.

1.3 Struktur der Arbeit

Die Bachelorarbeit ist in sechs Kapitel unterteilt. Zu Beginn der Arbeit wird die Motivation, die daraus resultierenden Fragestellungen und ein Überblick der gesamten Arbeit vorgestellt. Im zweiten Kapitel werden technisch, medizinisch sowie psychologisch relevante Themen erklärt. Im Mittelpunkt stehen hierbei Virtual Reality, das chirurgische Einsetzen einer Endoprothese, die Game-Engine Unity und die psychologischen Aspekte bei der Interaktion mit der VR-Technologie. Im nachfolgenden Kapitel werden die Methoden zur Beantwortung der Forschungsfragen 1 bis 4 vorgestellt und anschließend die Resultate präsentiert und diskutiert. Das vierte Kapitel widmet sich der Evaluierungsstudie des VR-Simulators. An dieser Stelle wird ein Studienplan vorgestellt, in dem die Forschungsfragen 5 und 6 beantwortet werden sollen. Am Ende der Arbeit wird in Kapitel fünf ein aus den Ergebnissen resultierender Ausblick gegeben. Die Literatur, welche in dieser Arbeit benutzt wurde, ist in Kapitel sechs gelistet.

2 Stand der Technik

In diesem Kapitel werden sowohl technische, medizinische als auch psychologische Aspekte erklärt, die zur Überprüfung der Forschungsfragen nötig sind. Dabei wird genauer auf die VR-Technologie, VR-Simulationen im medizinischen Kontext, die Game-Engine Unity und Variablen zur Evaluierung von VR-Anwendungen eingegangen.

2.1 Virtual Continuum

Um eine Klassifizierung von verschiedenen Geräten in der VR-Technologie vorzunehmen, konzipierten Milgram et al. das Reality-Virtuality Continuum (RV-Continuum)[9]. Das RV- Continuum ist eine Skala, welche von real bis virtuell reicht (Abb. 2.1.1). Dabei steht der Skalenpunkt real für die Wahrnehmung der Realität. Im Gegensatz dazu zeichnet sich eine maximal virtuelle Erfahrung auf der RV-Continuum Skala durch eine komplette Identifikation des Nutzers in der virtuellen Umgebung aus. Die künstliche Umgebung kann verschiedenste Formen annehmen und muss keine naturwissenschaftlichen Gesetzmäßigkeiten einhalten. Der Nutzer erfährt hierbei ausschließlich sensorische Eindrücke von der virtuellen Umgebung und nimmt nichts mehr in der Realität wahr.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.1.1: Reality-Virtuality Continuum nach Milgram et al.[9]

Die Mixed Reality bezeichnet alles auf dem RV-Continuum zwischen den beiden Endpunkten real und virtuell. In der Mitte der Skala ordnet sich das Abbild einer virtuellen Umgebung auf einem Monitor ein. Dieser Punkt, auch genannt „Fenster zur virtuellen Welt“, umfasst alle möglichen Bildschirme, die den Blick auf virtuelle Welten eröffnen. Umso größer nun die sensorische Erfahrung wird, umso mehr verschiebt sich der Punkt auf der Skala in Richtung virtuell. Diesen Bereich bezeichnete Milgram als erweiterte Virtualität (AV: Augmented Virtuality), da hier die Eindrücke der virtuellen Umgebung gegenüber der realen Umgebung überwiegen. Beispielhaft für einen Punkt in der AV wäre eine VR-Anwendung, welche den Nutzer visuell komplett umgibt und eine Interaktion mit den Händen in der virtuellen Umgebung möglich macht.

Hingegen befindet sich im ersten Abschnitt der Skala die erweiterte Realität (AR: Augmented Reality). In diesen Bereich fallen sensorische Einflüsse, die die Realität mit zusätzlichen Informationen bereichern. Ein Beispiel für eine AR-Anwendung wäre eine minimale visuelle virtuelle Umgebung im Blickfeld des Nutzers, welche Daten, Wetter oder Uhrzeit anzeigt.

Eine Erweiterung zu Milgrams theoretischen Konzept veröffentlichte Steve Mann im Jahr 2002[12]. Er gab zu bedenken, dass sich die Sensorik nicht nur auf einer RV-Skala lokalisieren lässt, sondern auch anhand verschiedenster Arten wie beispielsweise Linsen und Prismen beeinflusst werden kann. Diese Art der Veränderung der Realität wurde Mediated Reality (MR) genannt. Danach ergibt sich in der Theorie ein Klassifizierungsparadigma aus drei Variablen und zwei Achsen (Abb.2.1.2).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.1.2: Erweiterung des RV-Continuums nach Mann[12]

In diesem Koordinatensystem lassen sich vier Hauptbereiche abstecken. Die bereits bekannten Bereiche der erweiterten Realität und der erweiterten Virtualität werden nun durch die vermittelte Realität und die vermittelte Virtualität ergänzt. Ein Beispiel für die vermittelte Realität ist das Tragen einer Brille, welche die natürliche visuelle Wahrnehmung des jeweiligen Menschen verändert. Die vermittelte Virtualität setzt sich aus der Mediated Reality und erweiterte Virtualität zusammen. Bei vermittelter Virtualität wird die Wahrnehmung der virtuellen Welt verändert.

2.2 Technische Aspekte der Virtuellen Realität

In Hinblick auf das übergeordnete Ziel, einen VR-Trainingssimulator für die Einsetzung der Endoprothese am Hüftgelenk zu entwickeln, wird in diesem Kapitel der Fokus auf den aktuellen Stand der VR-Technologie gelegt.

2.2.1 Interaktion in der Virtual Reality

Die virtuelle Realität beschreibt die Interaktion einer Person mit einer computergestützten, künstlichen und dreidimensionalen Umgebung[13]. Diese Umgebung simuliert die Realität und ist dem Nutzer durch mindestens einen Interaktionskanal, auch Modalität genannt, zugänglich. Die Gesamtheit der Interaktionsmöglichkeiten nennt man Interface. Dieses verbindet die reale Umgebung mit der virtuellen. Kommt es jedoch zu mehreren Arten bei einer VR-Simulation, handelt es sich um eine multimodale Interaktion. Generell kann die Interaktion der virtuellen Welt durch jede menschliche Sensorik erfolgen. Am häufigsten werden jedoch visuelle, auditive und haptische Reize und Antworten zur Interaktion in VR-Anwendungen genutzt. Weitere Modalitäten zur Interaktion oder genauere sensorische Eindrücke erhöhen für den Nutzer das Gefühl, Teil dieser virtuellen Welt zu sein. Dieser Eindruck wird Presence genannt und steigert Lerneffekte in VR- Simulationen. In Abschnitt 2.5.1 wird auf das Presence-Gefühl genauer eingegangen.

2.2.2 Stereoskopie in der VR-Technik

Damit eine zweidimensionale Szenerie dreidimensional auf den Betrachter wirkt, muss eine Stereoskopie hergestellt werden. Stereoskopie kommt aus dem Griechischen und wird als das räumliche Betrachten ins Deutsche übersetzt. Das räumliche Betrachten ist beim Menschen durch monokulare und binokulare Tiefenreize möglich[14]. Monokulare Tiefenreize wie Verdeckung, Texturgradienten, Bewegungsparallaxen, etc. können durch das Sehen mit einem Auge wahrgenommen werden. Sie können zweidimensional präsentiert werden und lösen trotzdem den Eindruck von Tiefe aus. Anders ist es bei dem binokularen Tiefenreiz, der Querdisparität. Sie entsteht beim Menschen durch die kognitive Verarbeitung beider Netzhautabbilder. Dabei werden jeweils korrespondierende Punkte der Netzhaut in Relation zueinander gestellt, wodurch ein Tiefeneindruck entsteht. Um die Querdisparität in einer VR-Simulation herzustellen, bedarf es stereoskopischer Display Hardware[13].

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2.1: Der monokulare Tiefenreiz Verdeckung (l.)[51] und der binokulare Tiefenreiz Querdisparität (r.)[52]

Eine Möglichkeit zur Erstellung von binokularen Tiefenreizen in einer VR-Umgebung ist das simultane Darstellen zweier sich überlagernden Perspektiven auf einem zweidimensionalen Bildschirm. Dies wird durch die Verschiebung eines Bildes vom originalen Bild visualisiert. Durch eine spezielle Brille, die der Anwender trägt, wird ein Bild jeweils nur von einem Auge gesehen. Anhand der anschließenden kognitiven Zusammensetzung beider Bilder entsteht die Illusion, die Szenerie wäre dreidimensional. Zur Umsetzung dieser Technik gibt es drei wesentliche Ansätze in der VR-Technologie. Einer davon ist das passive Stereo-Setup. Hierbei wird dem jeweiligen Auge das dazugehörige Bild mittels Polarisation zugetragen. Die Gläser der Brillen fungieren als Filter, welche nur bestimmte polarisierte Bilder zum Auge passieren lassen (Abb. 2.2.2). In der Simulation der VR-Umgebung macht man sich diesen Umstand zu Nutze und polarisiert die zwei dargestellten Bilder unterschiedlich[13].

Polarisation beschreibt die Ausbreitungsrichtung von Transversalwellen, zu denen auch die Schwingungen der elektromagnetischen Strahlung bzw. des Lichtes gehören[15].

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2.2: Passives Stero-Setup[13]

Der zweite Ansatz ist als aktives Stereo-Setup bekannt. Bei dieser Technik trägt der Nutzer eine Brille, deren Gläser zum Teil aus flüssigen Kristallen bestehen. Diese Gläser sind mit dem Display synchronisiert und können aktiv den Polarisationsfilter verändern (Abb 2.2.3).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2.3: Aktives Stereo-Setup[13]

Eine weitere Möglichkeit um Stereoskopie herzustellen ist die Side-by-Side Stereo Methode. Dazu werden statt einer großen, zwei kleine Bildschirmflächen nebeneinander dicht an das menschliche Augenpaar platziert. Beide Flächen geben das gleiche Bild mit jeweils leicht versetzter Perspektive wieder, um den Querdisparitätseffekt zu imitieren [16].

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2.4: Side-by-Side Stereo Technik bei einem HMD[64]

2.2.3 VR-Visualisierungssysteme

Die VR-Visualisierungssysteme lassen sich nach Rieder und Harder in drei Bereiche einordnen: Desktop VR, Projektive VR und Immersive VR[13].

Das Desktop VR-System ist die Zusammensetzung eines Monitors, wie zum Beispiel ein Computerbildschirm, und zusätzlicher Komponenten, die den dreidimensionalen Eindruck verstärken. Um stereoskopisches Sehen bei dieser Art der VR-Technik zu ermöglichen, bedarf es meistens aktiver oder passiver Stereo-Setups. Beispiele für die Anwendung von Desktop VR-Systemen sind Depth VR-Anwendungen oder der HP-Zvr VR-Display. Die Depth VR ist eine Anwendung, die mittels Tracking (Positionsbestimmung) des Kopfes auf Bewegungen des Nutzers reagiert. Der dreidimensionale Effekt kommt hauptsächlich durch Bewegungsparallaxen und Verdeckungen zustande. Bei dem HP-Zvr VR-Display hingegen muss eine spezielle Brille getragen werden, um dreidimensionale Darstellungen durch das passive Stereo-Setup wahrnehmen zu können (Abb. 2.2.5).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2.5: HP Zvr Virtual Reality Display[53]

Projektive VR-Systeme stellen im Vergleich zum Desktop VR-System eine Vergrößerung des Projektionsbereichs dar. Zusätzlich bieten diese Systeme immer eine Veränderung des Blickwinkels durch das Einwirken des Betrachters. Um diese großen Flächen abzudecken, werden meist Projektoren genutzt, welche flache oder gekrümmte Projektionsflächen beleuchten. Beispielhaft für diese Art der VR-Systeme sind die verschiedenen Generationen der Responsive Workbench (Reagierender Arbeitstisch). Grundidee der Responsive Workbench ist, dass der Nutzer eine virtuelle Umgebung auf einem Tisch dreidimensional und aus verschiedenen Blickwinkeln betrachten kann. Dies wird von einem Projektor ermöglicht, der eine Fläche auf dem Tisch beleuchtet und die Darstellung den Nutzerbewegungen anpasst. Eine Weiterentwicklung des Systems ist die Two-User Responsive Workbench, die das stereoskopische Betrachten für zwei Personen aus unterschiedlichen Perspektiven möglich macht (Abb. 2.2.6).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2.6: Two-User Responsive Workbench[54]

Das immersive VR-System zeichnet sich durch eine komplette Ausfüllung des Sichtbereichs des Nutzers aus. Der Nutzer nimmt bei dieser Art von System nur noch die virtuelle Umgebung visuell wahr. Typische immersive VR-Systeme sind die CAVE (Cave Automatic Virtual Environment) und Head-Mounted Displays (HMDs). Bei der CAVE handelt es sich um einen Raum aus mindestens drei Projektionsflächen, der einen oder mehrere Nutzer umgeben. Jede dieser Flächen ist entweder ein Display oder wird von mindestens einem Projektor beleuchtet. Mithilfe des passiven Stereo-Setup und Trackings des Nutzers können Inhalte der virtuellen Umgebung aus verschiedenen Perspektiven gesehen werden.

HMDs hingegen können den stereoskopischen Eindruck durch die Side-by-Side Methode simulieren. Durch zwei am Kopf montierte Displays wird dem Auge jeweils eine Simulation dargeboten. Die virtuelle Umgebung bei HMDs kann durch Tracking-Verfahren auf Bewegungen des Nutzers reagieren. Aktuelle Beispiele für HMDs sind die Oculus Rift, Avegant Glyph und die Samsung GearVR.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2.7: Eine CAVE (l.)[13] und das Oculus Rift VR Headset (r.)[55]

2.2.4 Tracking-Methoden

Tracking-Verfahren bezeichnen die Feststellung der genauen Position und Orientierung von markierten Bereichen im Raum. Veränderungen der Positionen dieser Bereiche führt das System auf Bewegungen des Nutzers zurück. Auf diese Bewegungsinformationen können virtuelle Umgebungen reagieren und beispielsweise die Perspektive des Gezeigten oder Aktionen des gesteuerten Charakters ausführen. Dabei gibt es hauptsächlich zwei verschiedene Ansätze: Tracking durch körpergebundene oder kontaktfreie Messsysteme[13].

Bei dem Tracking-Verfahren durch körpergebundene Messsysteme handelt es sich um Messungen, die am bewegten Objekt erfasst und berechnet werden. Dafür gibt es verschiedene Messungsarten. Zwei von diesen Messungsarten sind das Tracking durch inertiale Messeinheiten (IMU) und die Umgebungsmessung mittels optische Verfahren. Bei den IMUs (Abb. 2.2.8) werden Messungen mittels Beschleunigungssensoren, Drehratensensoren und, optional zur Verbesserung der Genauigkeit, zusätzliche Sensoren wie Magnetfeldsensoren (Kompasssensoren) oder GNSS-Sensoren (Global Navigation Satellite System) durchgeführt. Diese Sensoren können verschiedene Freiheitsgrade (DOF) messen. Freiheitsgrade sind unterschiedliche Bewegungsmöglichkeiten eines Systems. Bei einer 6 DOF-IMU werden die drei Translationsfreiheitsgrade (Positionsänderungen vor/zurück, rechts/links und oben/unten) durch Beschleunigungssensoren und die drei Rotationsfreiheitsgrade (Orientierungsänderung durch Kippen nach vorne/hinten und rechts/links und durch Drehung um die eigene Achse) durch Drehratensensoren gemessen[15]. Bei einer 9 DOF-IMU kommen genau genommen keine weiteren drei Freiheitsgrade hinzu, da die Messungen der Translationsfreiheitsgrade zusätzlich von Magnetsensoren erfasst werden [17].

Bei der Messung mittels optischer Verfahren wird die Umgebung durch Kameras aufgenommen. Das System identifiziert mittels Tiefenerkennungsalgorithmen oder vorgegebene Infrarotpositionen die Referenzpunkte im Raum. Bei Bewegungen verschieben sich die Referenzpunkte im Blickfeld der Kamera. So werden ebenfalls sechs Freiheitsgrade abgedeckt.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2.8: Eine SparkFun 9 DOF-IMU (l.)[17] und eine True Player Gear (r.) [63]

Das Tracking durch kontaktfreie Messsysteme zeichnet sich durch eine externe Messung des bewegten Körpers aus. Die meisten kontaktfreien Systeme werden mithilfe von optischen, akustischen oder magnetischen Sensoren durchgeführt. Das optische kontaktfreie Messsystem verfolgt mithilfe von Kameras Markierungen am bewegten Objekt. Bei den Markierungen handelt es sich entweder um aktive (LEDs) oder passive Indikatoren (Selbstreflektion, Farbpunkte). Anders als beim optischen körpergebundenen Messsystem befinden sich die Kameras extern. Die Messung erfolgt durch mindestens zwei Kameras, um eine dreidimensionale Bewegung der Markierungen feststellen zu können.

Für das magnetische kontaktfreie System werden Markierungen in Form von elektrischen Spulen am bewegten Objekt befestigt. Ein Transmitter in der Umgebung sendet ein Magnetfeld aus, welches zu induktiven Effekten in den Spulen führt. Diese induktiven Effekte werden gemessen, wodurch die relative Position zum Transmitter berechnet werden kann.

Bei dem akustischen kontaktfreien Messsystem werden Mikrofone für die Positions- und Bewegungsbestimmung von akustischen Reizen genutzt. Diese werden von akustischen Impulsgebern ausgestoßen, welche am Objekt befestigt sind. Die Reize werden von mindestens drei Mikrofonen empfangen, die die Zeitdifferenz des Signaleingangs berechnen und dadurch die Position des Objekts bestimmen können. Diese Technik wird auch für die Überwachung von bemannten Expeditionsunterwasserbooten verwendet, um die Tiefe und den Versatz zum Mutterschiff zu messen (Abb. 2.2.9).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2.9: Kontaktfreies optisches (l.)[13], magnetisches (m.)[56] und akustisches Tracking-System (r.)[57]

2.3 VR-Simulatoren im chirurgischen Training

Die Simulationen von chirurgischen VR-Trainingssimulatoren werden verstärkt im minimalinvasiven Bereich genutzt. Hier werden, an sogenannten tool-based Trainingssystemen, Operationstechniken wie die Laproskopie oder der Thorakoskopie geübt[4] [13]. Bei dem tool-based System kann der Nutzer über Operationsbesteck mit der virtuellen Welt interagieren. Dies gibt dem Nutzer die Möglichkeit, haptisches Feedback während der virtuellen Durchführung einer Operation wahrzunehmen.

Weniger verbreitet sind VR-Übungssimulatoren in anderen Operationsgebieten, wie beispielsweise der Orthopädie, worunter auch das Einsetzen einer Endoprothese im Hüftgelenk zählt. Für die mögliche Entwicklung eines VR-Simulators in diesem Bereich werden im nachstehenden Abschnitt Voraussetzungen für einen solchen Simulator aufgelistet. Für die Entwicklung des chirurgischen VR-Trainingssimulators werden anschließend im Abschnitt 2.3.2 die prinzipiellen Schritte einer Hüftoperation aufgezeigt.

2.3.1 Voraussetzungen für einen chirurgischen VR-Trainingssimulator

Um einen chirurgischen VR-Simulator zu entwickeln, bedarf es nach Riener und Harder unter anderem folgender Komponenten[13]:

- Die Modellgeometrie ist die Repräsentation der menschlichen Anatomie in der virtuellen Umgebung. An diesem Modell wird der virtuelle chirurgische Eingriff durchgeführt.
- Gewebedeformationen sind kennzeichnend für realistische Simulationen des Gewebes. Dabei werden zwei Arten von Gewebedeformationen unterschieden: Die irreversible und die reversible Deformation. Bei der irreversiblen Deformation handelt es sich um nicht umkehrbare Deformationen, wie sie zum Beispiel bei einem Schnitt in die Haut auftreten. Reversible Deformationen hingegen sind umkehrbar. Sie treten bei dem Verschieben von Muskelgewebe oder bei dem Ausüben von Druck auf die Haut auf (Abb.2.3.2).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3.1: Reversible (l.) und irreversible Deformation der menschlichen Haut [58]

- Blutsimulationen sind bei nahezu jeder chirurgischen Simulation notwendig. Das Blutmodell muss dem Nutzer den Eindruck einer Flüssigkeit vermitteln und, je nach beschädigtem Gefäß, über verschiedene Ausstoßarten verfügen.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3.2: Ausstoß von arteriellen (l.)[59] und venösen Blut (r.)[58]

- Eine Kollisionsdetektion ermöglicht die Interaktion zwischen einzelnen Objekten innerhalb einer Szenerie.
- Eine realitätsnahe Umgebung steigert die Presence und damit auch den Lerneffekt eines Trainingssimulators.

Von Riener und Harder nicht aufgezählt, für viele chirugische Simulationen jedoch ebenfalls von Belang, ist die Simulation von Knochendeformationen. Je nachdem ob Knochen gebrochen, verschoben oder Teile des Knochens abgetragen werden sollen, bedarf es verschiedener Deformationssimulationen für die Knochen, um unterschiedliche chirurgische Eingriffe simulieren zu können.

2.3.2 Prinzipielle Schritte einer Hüftoperation

Bei dem Einsatz einer Hüftprothese wird das Hüftgelenk durch eine Total Endoprothese (kurz: TEP) ersetzt. Dazu gibt es verschiedene Methoden, um ein künstliches Hüftimplantat einzusetzen. Jede dieser Methoden hat das Ziel, diese fünf Teilschritte zu bewältigen[18]:

1. Zugang legen Der Eingriff unter Vollnarkose beginnt mit dem Legen eines Zugangs. Ziel des Zugangs ist es, die Hüftpfanne von dem darüber gelagerten Gewebe freizulegen.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3.3: Schematische Darstellung eines Zugangs zum Hüftgelenk[60]

2. Hüftkopf abtrennen In der Hüftpfanne wird der Hüftkopf von dem Oberschenkelhalsknochen getrennt und aus der Wunde entnommen. Die Hüftpfanne liegt nun in der Wunde frei.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3.4: Operative Entfernung des Hüftkopfes[58]

3. Fräsen Um das Einsetzen des Implantats vorzubereiten, wird der Hüftpfannenknochen durch das Fräsen modifiziert. Dadurch wird Material des Knochens abgetragen und der künstlichen Hüftpfanne angepasst.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3.5: Schematische Darstellung des Fräsens in der Hüftpfanne[61]

4. Implantate einsetzen Anschließend wird die künstliche Hüftpfanne eingesetzt und das Hüftkopfimplantat im Oberschenkelknochen manifestiert.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3.6: Schematische Darstellung der Implantation der Hüftpfannen- (l.) und Hüftkopfprothese (r.)[61]

5. Implantate zusammenfügen Zum Schluss der Operation wird der Hüftkopf in die Hüftpfanne eingesetzt und die Wunde geschlossen.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3.5: Schematische Darstellung der Zusammensetzung beider Implantate[61]

2.4 Die Game-Engine Unity

Die Game-Engine Unity der Firma Unity Technologies wurde zur Vereinfachung und Beschleunigung von Programmierprozessen erstellt. Game-Engines im Allgemeinen verfolgen dieses Ziel, indem den Entwicklern ein Grundprogramm zur Verfügung gestellt wird, die sogenannte Engine. Auf dieser Engine basierend können verschiedene Programme im virtuellen Raum entworfen werden.

2.4.1 Funktionsweise

Die Entwicklungsumgebung von Unity stellt sich als zwei- oder dreidimensionaler Raum dar, in dem Objekte und Körper platziert werden können (Abb. 2.4.1). Das Verhalten dieser Körper kann über Skripte definiert werden. Unity nutzt dafür die objektbasierten Programmiersprachen Java und C#. Dabei steht dem Nutzer bereits von Unity eine Vielzahl von Skripten zur Verfügung, welche beispielsweise einen Körper bewegen lassen oder diesem physikalische Eigenschaften verleihen. Weitere vorgefertigte Skripte, sogenannte Plugins, können online im Unity Assetstore erworben werden[19].

Auf diese Weise kann mittels verschiedener Körper mit unterschiedlichen Verhaltensweisen eine Szenerie erstellt werden. In der Entwicklungsphase der Szenerie befindet sich alles in kompletter Starre. Erst bei Laufzeit des Programmes werden die Interaktionen der Körper berechnet. So kann ein Entwickler seinen Programmaufbau regelmäßig auf Fehler überprüfen.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.4.1: Unitys Benutzeroberfläche

[...]