FH Jena in Kooperation mit TU Ilmenau

Diplomarbeit

„Entwicklung und Teilimplementierung eines Szenarios für interaktive audiovisuelle Anwendungen auf Basis des Objekt- und Szenenkonzeptes“

vorgelegt von

Henrik Hofmeister

Beginn der Arbeit: 28.02.2004
Abgabe der Arbeit: 27.08.2004

Inhaltsverzeichnis

1 Einleitung ... 1
1.1 Motivation ... 2
1.2 Zielsetzung ... 3

2 Konzepte und Technische Grundlagen ... 4
2.1 VRML – Virtual Reality Modeling Language ... 5
2.1.1 Geschichte, Definition und Zukunft ... 5
2.1.2 Dateistruktur ... 7
2.1.3 Knotentypen ... 8
2.1.4 Interaktion ... 9
2.1.5 Audio-Elemente ... 10
2.1.6 Visuelle Eigenschaften ... 11
2.1.7 Instanzierung von Knoten ... 14
2.1.8 Prototypen und Inlines ... 15
2.1.9 Scripte und Programme ... 15
2.1.10 Darstellung von VRML-Szenen ... 17
2.1.11 Erstellung von VRML-Welten ... 18
2.2 MPEG-4 – Moving Picture Experts Group Part 4 ... 20
2.2.1 Geschichte, Definition und Zukunft ... 20
2.2.2 Einführung in den Standard MPEG-4 ... 23
2.2.3 Architektur des MPEG-4-Standards ... 25
2.2.4 Objekte, Objektdeskriptoren, Elementardatenströme ... 27
2.2.5 Übertragungsweg einer MPEG-4-Szene ... 30
2.2.6 Integrierte Multimedia-Formate ... 32
2.2.7 Binary Format for Scenes (BIFS) ... 33
2.2.8 Erstellung von MPEG-4-Szenen ... 34
2.2.9 Darstellung von MPEG-4-Szenen ... 35
2.2.10 Anwendung ... 37

3 Realisierung und technische Umsetzung ... 43
3.1 Modellierung der Szene mit einem 3D-Programm ... 44
3.1.1 Konzeption der Szene ... 44
3.1.2 Wahl eines 3D-Programms und Umsetzung der Szene ... 45
3.2 VRML – Informationen im Raum ... 48
3.2.1 Dateistruktur und generelle Einstellungen für eine Szene ... 48
3.2.2 Gruppenknoten ... 52
3.2.3 Shape-Gestaltungsknoten ... 56
3.2.4 Geometrische Knoten ... 57
3.2.5 Aussehen von geometrischen Objekten ... 61
3.2.6 Lichtquellen - Licht ins Dunkel bringen ... 64
3.2.7 Tonquellen ... 67
3.2.8 Interaktion durch Sensoren ... 68
3.2.9 Übertragung von Ereignissen ... 72
3.2.10 Interpolatoren ... 72
3.2.11 Scripts und Prototypen ... 75
3.3 MPEG-4 – Finaler Schritt ... 78
3.3.1 Wandlung der erstellten VRML-Datei in das BIFSText-Format ... 79
3.3.2 Konvertierung der ES in ein MPEG-4-konformes Format ... 83
3.3.3 Von BIFSText zum finalen mp4-Format ... 88

4 Problematik und Zukunft ... 91
4.1 Derzeitige Problemfelder ... 92
4.1.1 Authoring-Tools ... 92
4.1.2 MPEG-4-Player ... 94
4.2 Zukunft und momentane Entwicklung ... 95

Anhang ... 97
Anhang A: Navigation mit dem VRML-Browser „blaxxun Contact 5.1“ ... 98
Anhang B: Video-Erstellung anhand des ENST mp4tool ... 102

Literaturverzeichnis ... 105

Abkürzungsverzeichnis ... 107
Abbildungsverzeichnis ... 108
Tabellenverzeichnis ... 109

1 EINLEITUNG
1.1 Motivation
Unsere Generation lebt in einer technisierten Umwelt. Mittlerweile findet man an jedem erdenklichen Platz Monitore oder Videotafeln. Neben Qualitätssteigerungen in der Auflösung, das beim aktuell eingeführten High Definition Television der Fall ist, werden zukünftige Entwicklungen der Fernseh- und Videotechnik in eine andere Richtung gelenkt. Der Benutzer soll im Mittelpunkt stehen…

Während sich die standardisierten Formate MPEG-1 und MPEG-2 seit geraumer Zeit großer Beliebtheit im Bereich der Video-CD sowie der SuperVideo-CD, DVD und des DigitalVideoBroadcasting¹ bei den Nutzern erfreuen, steuert die Industrie neue Ziele an. Neben noch effizienterer Kodierung soll eine Lösung für das interaktive Eingreifen in eine Szene, das Wiederverwenden von erstellten Inhalten sowie die Nutzung dieser Inhalte zwischen plattformübergreifenden Systemen gefunden werden. Alle gewünschten Eigenschaften werden in dem 1999 festgelegten Standard MPEG-4 vereint. Bei der Erstellung einer MPEG-4-Szene werden die Vorteile der Objektorientiertheit genutzt, indem die einzelnen enthaltenen Elemente je nach Inhalt getrennt komprimiert und beim Empfänger in einen großen Datenstrom integriert werden. Während der Wiedergabe existiert die Möglichkeit, diese Elementardatenströme zu starten, zu wechseln und zu ändern. Diese Änderungen können vom Benutzer, vom Verteiler oder automatisch vorgenommen werden. Über die Integration von diversen Programmiersprachen sowie Sensoren entstehen auf einem Standard basierende interaktive Szenarien. Dieser Eingriff erstellt völlig neue Anwendungsbereiche, die in dieser Form noch nie möglich waren.

Gleichzeitig kann diese interaktive Szene ohne Neukomposition auf verschiedene Plattformen übertragen werden, so dass multimediale Präsentationen auf dem Handy sowie auf der Projektionsfläche mit anderer Sprache dargestellt werden können.

Die Anwendungsgebiete sind wegen der Profile, die im Standard spezifiziert sind, überaus vielfältig. Damit es zu einem geregelten Ablauf in der Produktion einer interaktiven audiovisuellen Szene kommt, ist noch viel Forschungsarbeit im Bereich der benutzerfreundlichen Tools nötig. Einen Schritt in diese Richtung soll der Produktionsweg im Rahmen dieser Diplomarbeit von der Konzepterstellung bis zur fertigen interaktiven MPEG-4-Szene mit den heute verfügbaren Tools aufzeigen. Die TU Ilmenau leistet mit ihrem IAVAS-Projekt große Unterstützung im Bereich der MPEG-4-Produktion. Es entstehen neue Tools, die für zukünftige Softwarelösungen sehr interessant sind. Die Entwicklung neuer MPEG-4-Implementationen wie Schatten in 3D-Umgebungen ermöglichen immer realistischere Umgebungen in neuen Einsatzgebieten.

Mit diesem Wissen und der Nutzung der verfügbaren Tools wird darauf geachtet, einen möglichst großen Interaktionsumfang in der Szene abzudecken, der die verschiedenen Arten der Wechselwirkungen dokumentiert. Dabei wird eine Vielzahl der zur Integration verfügbaren Formate, wie Bilder, Videos und Töne, eingesetzt und beschrieben. Da sich ein Großteil dieser Diplomarbeit mit dem internet-basierten Standard VRML auseinandersetzt, der Teilstandard von MPEG-4 ist, werden auch diesbezüglich ausführliche Definitionen und Anwendungsgebiete aufgezeigt.

Die Aufteilung dieser Diplomarbeit ist bewusst in einen Theorie- und einen Praxisabschnitt strukturiert. In Kapitel 2 werden die gesamten Konzepte und theoretischen Hintergründe der verwendeten Standards erläutert. Der Umfang dieses Kapitels beschränkt sich vollständig auf die allgemeinen Grundlagen der Themen VRML und MPEG-4. Intensivere und mit Beispielen aus der erstellten Szene beschriebenen Definitionen und Umsetzungen werden im darauf folgenden Kapitel 3 geboten. Der vollständige Produktionsweg wird unter Erklärung der verwendeten Tools dargestellt und auftretende Probleme beschrieben. In Kapitel 4 soll kurz die allgemein existierende Problematik und zukünftige Neuerungen und Erweiterungen präsentiert werden.

1.2 Zielsetzung
Innerhalb dieser Diplomarbeit wird ein produktiver Weg von der Konzepterstellung über die Modellierung einer 3D-Szene bis zur fertigen interaktiven audiovisuellen MPEG-4-basierten Szene erläutert. Besonderer Wert wird auf die Vielfalt der interaktiven Möglichkeiten und auf den großen Umfang der verwendbaren Formate als integrierte Objekte gelegt. Ergebnis ist folglich der komplette Abriss einer MPEG-4-Produktion, der mit einem interaktiven Planetarium in einer Naturszene veranschaulicht wird.

2 KONZEPTE UND TECHNISCHE GRUNDLAGEN

In diesem Kapitel sollen alle notwendigen Begriffe und Erläuterungen zu den in dieser Diplomarbeit verwendeten Standards VRML und MPEG-4 und deren Beziehung zueinander beschrieben werden. Ein Bezug zwischen dem theoretischen Hintergrund und der praktischen Anwendung findet im folgenden Kapitel statt.

[...]

1 DigitalVideoBroadcasting (kurz: DVB) = Digitale Videobereitstellung