Fachhochschule Vorarlberg
Studiengang InterMedia 2003

MOTION CAPTURE IM SEMI-PROFESSIONELLEN UMFELD
»Untersuchungen zur Einsatzmöglichkeit eines Motion Capture-Systems
im semi-professionellen Umfeld«

DIPLOMARBEIT

von

Michael Gabriel und Andreas Künz

Vorwort

Projekte im Fachbereich Medientechnologie des InterMedia-Studiums an der Fachhochschule Vorarlberg weckten unser Interesse am Thema »Motion Capture«. Ein Basiswissen im Bereich der 3D-Computeranimation und ein permanentes Erweitern der Kenntnisse waren bei der Erstellung dieser Diplomarbeit sehr hilfreich. Ebenso ist für den Leser ein gewisses Maß an Vorwissen für das volle Verständnis der Thematik nützlich. Die vorliegende Arbeit ermöglicht ein tieferes Eindringen in die Materie und bietet schrittweise Anleitungen zur Aufzeichnung menschlicher Bewegungen mittels Motion Capture.

[...]

INHALTSVERZEICHNIS

Einleitung ... 11

Kurzfassung / Summary ... 13

Teil 1 – Motion Capture in der Theorie (Einleitung) ... 15

1. Was ist Motion Capture ... 17

2. Warum Motion Capture ... 18

3. Geschichte des Motion Capture ... 19
3.1 The Catherine Wheel (1978 - 1979) ... 19
3.2 Goniometer (1980 - 1982) ... 19
3.3 Graphische Marionette (1983) ... 19
3.4 Mike the Talking Head und Waldo (1988) ... 20
3.5 Dozo (1989) ... 21
3.6 Mat the Ghost (1991) ... 21
3.7 Face Waldo und Mario (1992) ... 22
3.8 Alive! und Moxy (1992) ... 22
3.9 Acclaim (1993) ... 22
3.10 Kommerzielle Systeme (Heute) ... 23

4. Zukunft ... 24
4.1 Probleme, die es zu lösen gilt ... 24
4.2 Ziele ... 25

5. Die verschiedenen Systeme ... 26
5.1 Einteilung nach Funktionsweise ... 26
5.1.1 Outside-In ... 26
5.1.2 Inside-Out ... 26
5.1.3 Inside-In ... 26
5.2 Einteilung nach Technik ... 26
5.2.1 (Elektro-)Magnetisches System ... 26
5.2.2 Optisches System ... 28
5.2.3 Mechanisches System ... 30
5.2.4 Weitere Systeme ... 31

6. Einsatzgebiete von Motion Capture ... 32
6.1 Computerspiele ... 32
6.2 Fernsehen ... 33
6.2.1 Live Motion Capture-Performance ... 33
6.2.2 Werbung ... 33
6.2.3 Musikvideos ... 34
6.3 Film ... 34
6.3.1 Einbindung in Realfilm ... 34
6.3.2 3D-Feature Filme ... 36
6.4 Web ... 37
6.5 Live Elements ... 37
6.6 Wahrnehmungsforschung ... 37
6.7 Biomechanische Analyse ... 37
6.8 Konstruktion/Maschinenbau/Technik ... 37
6.9 Virtual Reality ... 37

Teil 2 - Motion Capture an der FH Vorarlberg ... 39

7. Situation an der FH ... 41
7.1 Das Motion Capture-System ... 41
7.1.1 MotionStar ... 41
7.1.2 Maya-Rechner ... 42
7.2 Die Räumlichkeiten ... 43

8. Der Avatar ... 44
8.1 Modellierung ... 44
8.2 Skelett ... 44
8.3 Skin Binding ... 45

9. Maya ... 46

10. Vorbereiten der Aufnahmen ... 50
10.1 Systeminitialisierung ... 50
10.1.1 Einmalige Grundeinstellung des Systems ... 50
10.1.2 Hochfahren des Systems ... 50
10.2 Einbinden in Maya ... 52
10.3 Montieren der Sensoren ... 54

11. Die Aufnahmen ... 56
11.1 Versuch 1 ... 56
11.1.1 Bemerkungen ... 56
11.1.2 Aufbau der Szene ... 56
11.1.3 Erstellen des Skeletts ... 57
11.1.4 Montieren der Sensoren ... 57
11.1.5 Übertragen der Bewegungen ... 58
11.1.6 Probleme bei diesem Versuch ... 58
11.2 Versuch 2 ... 60
11.2.1 Bemerkungen ... 60
11.2.2 Aufbau der Szene ... 60
11.2.3 Erstellen des Skeletts ... 60
11.2.4 Montieren der Sensoren ... 61
11.2.5 Übertragung der Bewegungen ... 61
11.2.6 Probleme bei Versuch 2 ... 62
11.3 Versuch 3 ... 64
11.3.1 Bemerkungen ... 64
11.3.2 Aufbau der Szene ... 64
11.3.3 Erstellen des Skeletts ... 64
11.3.4 Montieren der Sensoren ... 66
11.3.5 Übertragen der Bewegungen ... 66
11.3.6 Probleme bei Versuch 3 ... 68
11.4 Versuch 4 ... 68
11.4.1 Bemerkungen ... 68
11.4.2 Aufbau der Szene ... 68
11.4.3 Erstellen des Skeletts ... 68
11.4.4 Montieren der Sensoren ... 69
11.4.5 Übertragen der Bewegungen ... 70
11.4.6 Probleme bei Versuch 4 ... 70

12. Die Handhabung von Aufnahmen ... 71
12.1 Takes ... 71
12.1.1 Speichern von Takes ... 71
12.1.2 Laden von Takes ... 71
12.2 Clips ... 72
12.2.1 Umwandeln in Rotationsdaten ... 72
12.2.2 Erstellen von Character Sets ... 74
12.2.3 Umwandeln der Bewegungsdaten in Keyframes ... 75
12.2.4 Umwandeln der Keyframes in Clips ... 75
12.2.5 Export und Import von Clips ... 76

13. Bearbeiten von Motion Capture-Daten ... 77
13.1 Automatisches Bearbeiten der Animationskurven ... 77
13.2 Manuelles Bearbeiten der Animationskurven ... 78

14. Kombination von Motion Capture mit Keyframing ... 79
14.1 Motion Capture als Referenz ... 79
14.2 Offset-Skelett ... 79
14.3 Trax Editor ... 84
14.3.1 Ändern eines einzelnen Clips ... 84
14.3.2 Überlagern von Clips ... 85
14.3.3 Überblenden von Clips ... 86
14.4 Kombination beider Methoden ... 86

15. Optimierung des Arbeitsablaufs ... 87
15.1 Verbinden des Motion Capture-Systems mit Maya ... 87
15.2 Erstellen von Takes ... 87
15.3 Erstellen von Clips ... 88

Teil 3 - Bewegungsuntersuchungen ... 91

Einleitung ... 93
Arm ... 94
Bein ... 97
Hand ... 100
Fuß ... 102
Kopf ... 104
Rücken ... 106
Sport ... 108

Schlussfolgerung 111

Anhang ... 113
Glossar ... 114
Abbildungsverzeichnis ... 117
Tabellenverzeichnis ... 121
Literaturverzeichnis ... 122
Abkürzungsverzeichnis ... 124
Impressum ... 127

EINLEITUNG
Diese Diplomarbeit befasst sich mit der Frage, inwieweit es sinnvoll und möglich ist, Motion Capture in einem semi-professionellen Umfeld einzusetzen. Die Fachhochschule Vorarlberg bietet die Voraussetzungen, entsprechende Untersuchungen ansetzen zu können. Das zur Verfügung stehende System MotionStar der Firma Ascension ist im mittleren Preissegment angesiedelt, die benutzbaren Räumlichkeiten beschränken sich auf gewöhnliche Büroräume und sind nicht speziell für Motion Capture-Aufnahmen prädestiniert. Insbesondere das fehlende Know-How bezüglich des praktischen Einsatzes des vorhandenen Systems dient als Anstoß dazu, sich eingehend mit der Materie auseinander zu setzen. Die vorgenommenen Versuchsreihen basieren auf den innerhalb eines knappen Jahres in den lokalen Gegebenheiten erworbenen Erfahrungen.

Die vorliegende Arbeit dokumentiert die Erkenntnisse, welche zum einen durch das Befassen mit dem von der Fachhochschule Vorarlberg erworbenen magnetischen Motion Capture-System gewonnen werden konnten, zum anderen aus den Nachbearbeitungen der erfassten Bewegungen in Alias Wavefront Maya 4.5 resultieren. Die folgenden Ausführungen sollen als Leitfaden für den Einsatz von Motion Capture an der Fachhochschule Vorarlberg dienen, können jedoch auch für ein anderes Umfeld herangezogen werden.

KURZFASSUNG
Die vorliegende Arbeit ist in drei Schwerpunkte gegliedert. Teil 1 informiert über das Thema »Motion Capture«, indem sowohl die historische Entwicklung näher gebracht, als auch ein Überblick über die unterschiedlichen Systeme und deren Einsatzgebiete gegeben wird. Teil 2 dokumentiert die praktische Auseinandersetzung mit dem magnetischen Motion Capture-System MotionStar von Ascension und beschreibt iterative Experimente, die sich mit dem Übertragen menschlicher Bewegungen auf virtuelle Charaktere auseinander setzen. Teil 3 visualisiert die Ergebnisse dieser Versuche und gibt Einblick in die bei den Aufnahmen entstandenen Probleme.

SUMMARY
The following diploma thesis is subdivided into three sections. Part 1 informs about the subject »Motion Capture« by specifying its history and giving a description about the various systems and their range of application. Part 2 documents the practical work with Ascension‘s magnetic Motion Capture-System MotionStar and details repeating experiments concerning the transition of human motion to a virtual character. Part 3 visualises the results of those attempts and shows the problems during the process of recording.

TEIL 1 – MOTION CAPTURE IN DER THEORIE
Motion Capture ermöglicht die Aufnahme realer Bewegungen und deren Umsetzung in virtuelle Welten. Die relativ junge Technik findet immer größer werdenden Anklang und gewinnt sukzessive in den unterschiedlichsten Bereichen an Relevanz.
Der folgende Abschnitt definiert den Begriff »Motion Capture«, beschäftigt sich mit dessen Historie und beleuchtet sowohl die wesentlichen System-Varianten als auch die Einsatzgebiete, in denen Motion Capture Anwendung findet.

1. Was ist Motion Capture

Alberto Menache definiert im Buch »Understanding Motion Capture for Computer Animation and Video Games« [¹] Motion Capture als »die Erzeugung einer dreidimensionalen Darstellung einer live performance«. Somit steht Motion Capture, oft als »MoCap« abgekürzt, im Kontrast zur Animation, die »von Hand« geschaffen wird (»Keyframe Animation «). Das Ergebnis von Motion Capture ist nicht die Animation selbst, sondern eine Ansammlung von Daten, welche die aufgezeichneten Bewegungen repräsentieren.

Motion Capture wurde als umstrittenes Werkzeug betrachtet, da in den Anfangszeiten der Aufwand, Motion Capture-Daten aufzuarbeiten, oftmals mehr Zeit in Anspruch nahm als die bisher angewandte Technik. Doch im Laufe der Jahre wurden Motion Capture-Systeme und Software dermaßen verbessert, dass es mittlerweile zu einem brauchbaren Werkzeug für Animatoren geworden ist.

Die Animationssoftware, welche mit den Daten, die von einem Motion Capture-System stammen, arbeitet, entwickelte sich in den vergangenen Jahren so weit, dass Animatoren die Aufnahmen von verschiedenen Capture-Versuchen mit der Technik der Keyframe Animation mischen können. Somit kann die Qualität des Ergebnisses für jede Art von Bewegung – vom Zeichentrick bis hin zur realistischen Bewegung – entsprechend gesteuert werden.

Keyframe Animation: Animationen werden mit Hilfe von Schlüsselbildern (»Keyframes«) definiert. Zu bestimmten Zeitpunkten wird der Wert für ein bestimmtes Attribut, beispielsweise die Position eines Objekts, festgelegt. Die Zwischenwerte werden automatisch vom Programm berechnet und als Animationskurven (siehe Abbildung 1) dargestellt, wobei deren Verlauf durch Tangenten manipuliert werden kann.³

!! Im PDF-Dokument befindet sich an dieser Stelle ein Abbildung !!

Abb. 1, »Keyframe Animation«
Animationskurven verschiedener Attribute eines Objekts

2. Warum Motion Capture

Motion Capture kann eine äußerst zeitsparende Technik bei Animationsprojekten sein. Der Animationsprozess kann insbesondere vereinfacht werden, wenn eine realistische Charakteranimation mit komplexen Bewegungen erstellt werden soll. In diesem Zusammenhang fällt auch oft der Ausdruck »Performance Animation«. Dieser Begriff kann als Aufzeichnung von charakteristischen Bewegungen einer bestimmten Person beschrieben werden. So kann eine virtuelle Figur den Bewegungs-Stil der beim Motion Capture als Darsteller eingesetzten Person, oft einer Berühmtheit, unverkennbar nachahmen.

Motion Capture-Hardware findet hauptsächlich in zwei Bereichen Anwendung. Das häufigste Einsatzgebiet ist die Aufnahme von Daten für die weitere Verarbeitung in einer 3D-Animationssoftware oder in einer Bewegungsanalyse. Da der Prozess von der Aufnahme bis zur Vorschau oft innerhalb weniger Minuten erledigt werden kann, ermöglicht diese Technik einem kleinen Produktionsteam mit einem einzelnen Schauspieler, mehrere komplexe Animationen an einem Nachmittag zu produzieren. Sind die Daten einmal aufgenommen, kann eine Bewegung theoretisch auf jede Art von Figuren übertragen werden. Besonders bei der Herstellung eines Computerspiels bietet Motion Capture daher eine ökonomische Alternative zur rein manuellen Animation.

Weiters kann Motion Capture für so genannte Echtzeit-Anwendungen eingesetzt werden, in welchen Bewegungen eines Schauspielers ohne Verzögerung auf den animierten Charakter übertragen werden. Dies kommt besonders bei Live-Fernsehauftritten und Aufführungen bei Messen, Kongressen und anderen Ereignissen zum Tragen. Auch für die unterschiedlichen Einsatzgebiete im »Virtual Reality«-Bereich ist ein Echtzeit-System eine unentbehrliche Hilfe. Sensoren dienen als Instrumente für Interaktivität und ermöglichen eine Steuerung und Manipulation von unterschiedlichen 3D-Objekten, Kamerafahrten, Änderung von Lichtverhältnissen etc.

[...]

1 Vgl. Internet http://www.metamotion.com/motion-capture/motion-capture.htm, Stand: 15.05.03 [2]

2 Vgl. Michael Gleicher: Motion Capture and Motion Editing (ISBN 1568810865), noch nicht erschienen, Stand: 28.04.03 [3]

3 Vgl. Vorlesungsreihe DI. DWI Miglena Dontschewa, Medientechnologie 2000 Fachhochschule Vorarlberg [4]