Augmented and Mixed Reality

Die Welt als Hyperlink


Magisterarbeit, 2010

84 Seiten, Note: 1,3


Leseprobe


Inhaltsverzeichnis

1. Einleitung

2. Augmented und Mixed Reality - eine Bestandsaufnahme
2.1 Mixed Reality
2.1.1 Augmented Virtuality
2.1.2 Augmented Reality
2.2 Exkurs: Spekulation über den Realitätsgrad und die Möglichkeit der Täuschung durch Mixed Realities
2.3 Basis - Komponenten und -Verfahren der Augmented Reality
2.3.1 Darstellungstechniken und Display-Technologien
2.3.2 Optische Augmentierung
2.3.3 Videobasierte Augmentierung
2.3.4 Spatial Augmented Reality oder projektionsbasierte Augmentierungen
2.3.5 Handheld Displays und die „Point and Click“ - Metapher
2.4 Technische Voraussetzungen für AR -Systeme
2.4.1 Tracking
2.4.1.1 Marker und die Verlinkung der Welt
2.4.1.2 Markerless Tracking und die Verlinkung der Welt
2.4.2 Real-Time-Rendering
2.4.3 Weitere technische Forschungsfelder
2.4.3.1 Interaction Devices and Techniques
2.4.3.2 Authoring
2.4.3.3 Presentation und Applications
2.5 Anwendungsfelder der AR

3. Remediation
3.1 Immediacy
3.2 Hypermediacy
3.3 Remediation und Mediation/Mediatisierung
3.3.1 Remediation as the mediation of mediation
3.3.2 Remediation as the Inseperability of reality and mediation
3.3.3 Remediation as Reform
3.4 AR und Remediation

4. Raumkonzepte früherer Medien
4.1 Raum der AR
4.2 Der performative Raum

5. Performativität der AR
5.1 Grundlagen der Performativität
5.2 Live-Performances, medialisierte Performances und Performativität der AR

6. Fazit und Ausblick
6.1 Fazit
6.2 Ausblick

7. Literaturverzeichnis

8. Abbildungen

1. Einleitung

In den letzten 20 Jahren haben der Computer und das Internet das Fernsehen als Leitmedium der Gesellschaft abgelöst und bemerkenswerte Veränderungen der medienbenutzenden Kultur bewirkt. Der Computer als „avancierte Kommunikationstechnologie“ prägt heute die „leib- und kontextgebundenen Modi des Alltagswissens, die Menschen dazu befähigen, sich eine Welt des Handelns zu erschließen“1, auf bislang noch nicht dagewesene Weise. Seine „ausgiebige Nutzung ist Teil des gewöhnlichen Lebens mit all seinen unbefragten Selbstverständlichkeiten und Routinehandlungen geworden.“2

So bedingte die Entwicklung und globale Vernetzung der Computersysteme, dass durch das Internet und die Virtual Reality „räumliche Nähe als Bedingung für personelle Kommunikation aufgehoben“ und „weltweite Kommunikationen die ebenso interaktiv sind wie Gespräche“3, ermöglicht wurden. „Das Internet vereinigt Einkaufszentrum, Radio, Film, Fernsehen, Fax und andere Medien.“4 Es gibt kaum noch Informationen und Medieninhalte, die man nicht auch im verzweigten Netzwerk des Internet finden könnte. Die Gemeinschaft der Internetnutzer erstreckt sich über die ganze Welt und hat ihr Medien- Konsumverhalten an die Strukturen des Netzes angeglichen. Durch Hyperlinks geleitet, die jegliche Seiten und Inhalte im Netz mit thematisch ähnlichen Inhalten verbinden können, navigiert der User durch den Cyberspace und gestaltet sein eigenes Programm, seinen Vorlieben folgend.5

Seit einigen Jahren deutet sich durch die Vermehrung mobiler, internetfähiger Computersysteme eine Weiterentwicklung dieser Leitmedien an. Die Mobilisierung der Computer ermöglicht neue Medienkanäle, Phänomene und Anwendungen, sowie die, in der Medienwahrnehmung bislang recht unbeachteten Augmented und Mixed Reality.

Durch dieses Phänomen können, wie durch die Leitmedien Computer und Internet, nahezu alle älteren Medienformen vereinigt werden, dies jedoch in neuer Umgebung. Durch die Augmented Reality werden die Funktionsweisen des Desktops der Computer und der Hyperlinks des Internets, aus dem herkömmlichen Rezeptionskontext der stationären Benutzung in den eigenen vier Wänden in die Außen- bzw. Umwelt verlagert. Die Entwicklung des mobilen Computings und die dadurch ermöglichte Augmented Reality könnten möglicherweise den Computer und das Internet als Leitmedien ablösen.

Diese Arbeit soll das Phänomen der Augmented Reality in die Medienwissenschaft einführen und einen Überblick über die durch ihr Auftreten zu erwartenden Veränderungen in der Mediennutzung geben.

Hierfür soll im ersten Teil dieser Arbeit der Begriff der Augmented Reality definiert und die technischen Vorausetzungen und Bedingungen für AugmentedReality-Systeme dargestellt werden. Anhand einiger Anwendungsbeispiele sollen dann die Funktionsweisen solcher Systeme noch einmal verdeutlicht werden, die die uns umgebende Welt, so wie es der Untertitel dieser Arbeit postuliert, zu einem „verlinkten“ Raum umgestalten.

Im Anschluss soll das Phänomen der Augmented Reality in den Kontext von Jay D. Bolters Theorie der Remediation eingegliedert werden. Die Remediations- Theorie stellt eine Medientheorie dar, die die Wechselwirkung zwischen Medienformen thematisiert. Da das Phänomen der Augmented Reality sich, wie schon angedeutet, durch die Vermengung älterer Medien in einer neuen Konstellation auszeichnet, scheint dies eine vielversprechende Herangehensweise zu sein.

Die angesprochene neue Konstellation, in der ältere Medien vermengt werden, und damit die genuine Besonderheit der Augmented Reality, stellt die Anreicherung der Umwelt durch digitale, virtuelle Repräsentationen dar. Die Benutzung der physischen Welt als Projektionsfläche bzw. -raum durch Augmented Reality -Systeme scheint eine Analyse der Bedeutung des Raumes der Augmented Reality zu fordern. Diese Analyse soll im dritten Teil dieser Arbeit vorgenommen werden.

Im letzten Teil der Arbeit sollen dann die gewonnenen Erkenntnisse über die Räumlichkeit augmentierter Realitäten, auf die These angewandt werden, dass der physische Raum durch Anreicherung und Verlinkung mit virtuellen Inhalten zum performativen Raum gewandelt wird.

Mit Erika Fischer-Lichtes Ä sthetik des Performativen sollen dann die Bedingungen für Performativität erläutert und die Frage nach der Performativität der Augmented Reality beantwortet werden.

2. Augmented und Mixed Reality - eine Bestandsaufnahme

Welche Anwendungen und Medienphänomene können überhaupt mit dem Siegel Augmented Reality (kurz AR) und welche mit dem Siegel Mixed Reality (kurz MR) bezeichnet werden?

In diesem Teil der Arbeit wird ein Überblick über schon realisierte und noch in der Entwicklung befindliche Anwendungen gegeben, um so die, durchaus miteinander verbundenen, Begrifflichkeiten systematisch voneinander abzugrenzen. Man könnte jegliche Anreicherung und Modifikation der Realität durch Medien als Mixed Reality betrachten. So ist die im Kaufhaus abgespielte Musik eine Vermengung der Realität mit künstlichen Tonquellen und, von noch weiterer Warte betrachtet, sind sowohl unsere Bildung als auch unsere Phantasie Vermengungen der Realität mit fiktiven oder supplementären Informationen. Diese Betrachtungsweise allerdings würde den Rahmen dieser Arbeit durch eine zu starke Erweiterung des Arbeitsfeldes sprengen, weshalb von nun an mit Mixed Reality, dem wissenschaftlichen Diskurs folgend und damit eine beschränkte Definition bevorzugend, die Wechselwirkung zwischen virtuellen und realen (oder zumindest photorealistisch repräsentierten) Objekten zu beschreiben versucht wird.

Es wird zweckdienlich sein in diesem Kontext einen Blick auf das von Milgram und Kishino entworfene Virtuality Continuum zu werfen, um anhand dessen die Zusammenhänge der verschiedenen Ansätze zu erklären:

Wie man diesem Schaubild entnehmen kann, steht der Begriff Mixed Reality übergreifend für eine Vermengung von virtuellen und realen Inhalten in virtuellen oder realen Umgebungen. Die Extreme des Kontinuums von Milgram sind die reale Umgebung auf der einen Seite sowie die vollkommen synthetische bzw. simulierte Umgebung der Virtualität, die den Cyberspace erzeugt, auf der anderen. Während wir unsere Existenz in der realen, physischen Umgebung durch die physische Verortung unseres Körpers in derselben wahrnehmen, soll die computergestützte Errichtung eines Cyberspace durch möglichst ganzheitliches Ansprechen der menschlichen Wahrnehmung zu einem Immersionseffekt führen. Als Immersion ist hier das Eintauchen eines Rezipienten in einen künstlichen Raum zu verstehen, bei dem der technisch vermittelte Rahmen vergessen werden und eine Annahme des künstlichen Raumes als realem Raum einsetzen soll. Eine solche Immersion ist, trotz großer Fortschritte in der Erzeugungstechnik von Virtual Environments, immer noch abhängig von der Kooperation des Rezipienten und scheitert derzeit meist noch an der ausbleibenden Affektion der Nahsinne. Ungeachtet dessen haben sich die Immersionstechniken seit der Zeit des Eintauchens in die erzählte Welt eines Romans, über das Filmerlebniss im Kino hin zu einem interaktiven Aufenthalt in virtuellen Welten der First-Person-Shooter oder auch MUD´s7 wie Second Life8 ständig weiterentwickelt und ausdifferenziert, sodass wir bei virtuellen Umgebungen den Begriff Virtual Reality (kurz VR) gebrauchen bzw. gebrauchen können. In diesem Begriff steckt augenscheinlich ein semantischer Widerspruch, welcher bei genauerer Betrachtung jedoch keiner ist: virtuel, was im Französischen so viel heißt wie möglich oder des Wirkens fähig und sich in diesem Kontext aus dem Lateinischen am besten als Tat- oder Wirkkraft übersetzen lässt, ist nicht, wie volkstümlich angenommen, das Gegenteil von real, sondern von physisch. Virtualität bezeichnet etwas faktisch und physisch nicht Gegebenes, aber der Möglichkeit nach Vorhandenes. In diesem Sinne wäre VR eine wirklichkeitswirksame Modalität der physischen Realität, indem sie fähig ist, Illusionen zu erzeugen und Kognitionen in Gang zu setzen. In diesem Zusammenhang ist dann auch Immersion zu verstehen als geistiges Eintauchen und für wahr nehmen.

Stefan Münker beschreibt in seinem Artikel zur Medienphilosophie der Virtual Reality9 eine voll entwickelte VR als nicht mehr unterscheidbar von der Realität. In ihr würde der User zum Beispiel einen berührten Gegenstand fühlen und den Geruch einer vorbeigehenden Person riechen können.

Obwohl die heutigen Technologien noch weit entfernt sind eine solche VR herstellen zu können, ist es interessant, sich mit der Frage auseinanderzusetzen, inwiefern die VR die Wahrnehmung des eintauchenden Menschen täuschen kann. Die voll entwickelte VR, die der Film MATRIX10 vorstellt, gibt dem Benutzer nicht mehr die Möglichkeit, zwischen Realität und Virtualität zu unterscheiden, da er von Geburt an in ihr und nicht in der Realität handelt und so die VR für die Realität hält.

Dieser Zustand der Täuschung stellt sich nur dadurch ein, dass der Benutzer sich nicht bewusst ist, dass er eine VR benutzt. Die heutigen Technologien können eine solche Täuschung jedoch nicht erzeugen, da der User stets den Rahmen der technischen Vermittlung vor Augen hat. Die Fähigkeit einer VR ein immersives Erlebniss hervorzurufen, hängt also auch immer von der Kooperation und der Akzeptanz ihres Betrachters ab.

So erhält eine VR ihre Wirklichkeit und Existenz erst durch die Rezeption und die dadurch einsetzenden kognitiven Prozesse eines menschlichen Bewusstseins.

2.1 Mixed Reality

2.1.1 Augmented Virtuality

Da für viele computergestützte Anwendungen eine totale Immersion gar nicht erwünscht ist, wird seit Anfang der Neunziger Jahre auch an teil-immersiven Umgebungen geforscht. Diese befinden sich in den Bereichen des Kontinuums von Milgram zwischen den Extremen und stellen die eigentlichen Phänomene der MR dar. Milgram und Kishino schlagen vor, zwei weitere Positionen in das Kontinuum einzufügen, wobei die eine auf reale Umgebungen ausgerichtet ist und die andere auf virtuelle. Die Besonderheit der MR -Anwendungen ist es, dass sie reale und virtuelle Strukturen in einer Darstellung verbinden können.

Die dem Kontinuum zur Veranschaulichung beigefügten Abbildungen zeigen die Funktionsweisen der MR -Anwendungen. Zum einen besteht die Möglichkeit, über Kameras und Sensoren eine photorealistische Repräsentation von real-weltlichen Gegenständen, Personen oder Örtlichkeiten in eine virtuelle Umgebung zu implementieren. Dieser Vorgang kreiert eine Augmented Virtuality (kurz AV). Das Beispiel zeigt eine Anwendung der Firma SONY, welche zu dem üblichen Interface11 der Playstation 2 - dem Joypad - noch die Steuerung des Spielgeschehens durch Gesten ermöglicht. Die Anwendung mit dem Namen EyeToy:Play12 basiert auf der Nutzung einer Webcam, welche den vor dem Bildschirm stehenden Spieler aufzeichnet, ins Spielgeschehen einfügt und seine Bewegungen mit den virtuellen Objekten verrechnet, sodass eine Interaktion zwischen realer und virtueller Welt möglich ist und repräsentiert wird. Die, in der TV-Praxis nicht mehr wegzudenkende, Technik des chroma-keying oder auch blue-screen, man denke hier zum Beispiel an den realen Nachrichtensprecher vor der virtuellen Wetterkarte, ist ein weiteres Beispiel für die Erzeugung einer AV. Die Besonderheit der AV besteht darin, dass sie erlaubt, vorhandene, reale Strukturen in jegliche simulierte Umgebung einzubetten. Auch in vielen Kinofilmen wird diese Technik angewandt und ist als Teil der Special Effects mit der Bezeichnung CGI13 weitläufig bekannt.14

2.1.2 Augmented Reality

Die Augmented Reality / AR hingegen funktioniert komplementär zur AV. Sie ermöglicht es, virtuelle Objekte, Räumlichkeiten oder Effekte in die reale Umgebung einzufügen. Der Begriff Augmented leitet sich ab von dem lateinischen Verb augere, was so viel bedeutet wie vermehren oder vergr öß ern. Aus dem Englischen wird es meist, in Verbindung mit dem Nomen Reality, in der Bedeutung erweitert übersetzt. Während wir es also bei der VR und ihrer Unterart der AV mit der Darstellung einer möglichen Realität zu tun haben, welche die physische Realität vor allem substituieren soll, stellt die AR im Gegenzug eine Ergänzung der Realität dar, deren Funktion es ist, diese vor allem zu supplementieren.

Eines der bekanntesten Beispiele für AR in der TV-Praxis stellt die Einblendung von Grafiken in Live-Sport-Übertragungen dar. So z.B. die eingeblendete Abseitslinie beim Fußball oder die Einblendung von Platzierungen bei Live-Übertragungen von Formel 1-Rennen15. Hierbei ist es wichtig hervorzuheben, dass diese Einblendungen in Echtzeit vorgenommen werden und in den gezeigten Raum integriert werden müssen. Einer der Pioniere der MR -Forschung, Ronald Azuma, schlägt nämlich in seiner 1997 erschienenen Schrift A Survey of Augmented Reality16 drei Kriterien für die Bestimmung der AR vor:

1. Kombination von Realem und Virtuellem
2. Interaktion in Echtzeit
3. Registrierung17 in drei Dimensionen

Demnach wäre eine AR erst eine solche, wenn die Vermengung von virtuellen Objekten und Informationen mit der Realität eine Interaktion der Realität mit der virtuellen Augmentierung darstellt, welche im dreidimensionalen Raum (oder zumindest seiner zweidimensionalen Repräsentation) stattfindet. In Abbildung 4 sehen wir ein Idealbeispiel für eine solche Augmentierung. Die, in das Bild eingefügten, virtuellen Rekonstruktionen von Tempelanlagen und Gebäuden, fügen sich für den User des ARCHEOGUIDE-Systems18, nahtlos in die Umgebung ein. Die Veränderung des Blickwinkels auf die Umgebung führt gleichzeitig auch zu einer Veränderung der Ansicht der Augmentierung. Unter dieser Angleichung der Perspektiven kann unter anderem die Interaktivität der AR verstanden werden.

Dieser ersten Definition folgend würde die Bauchbinde bei einem Fernseh-Interview oder der Spielstand bei einer Fußball-Übertragung nicht zur Kategorie AR zählen, da sie sich weder in die Umgebung einfügen noch mit der Perspektive verändert werden. Diese Beschränkung der AR führt allerdings bei einigen neueren MR -Anwendungen zu Schwierigkeiten bei der Einordnung, weshalb Azuma in seinem 2001 erschienenen Artikel Recent Advances in Augmented Reality19, der als Aktualisierung seiner 1997 veröffentlichten Schrift gesehen werden soll, die Definition noch einmal ausdifferenzierte:

„we define an AR system to have the following properties:

- combines real and virtual objects in a real environment;
- runs interactively, and in real time; and
- registers (aligns) real and virtual objects with each other.”20

Nach dieser Definition bestünde nur noch die Notwendigkeit, dass das virtuelle Element in einer räumlichen Beziehung zum realen Raum steht und sich nicht unbedingt in diesen einfügen muss. Eine dreidimensionale Einbettung virtueller Objekte wäre demnach ein Variante der AR und entspricht der Idealvorstellung einer Augmentierung, ist aber nicht notwendige Bedingung für das Siegel AR. So können auch zweidimensionale virtuelle Informationen (oft sind dies schriftbildliche Informationen) als AR -Anwendung mit dem realen Raum verbunden werden und sich wie eine Desktop-Ebene über die reale Umgebung legen. Moderne Anwendungen wie z.B. Wikitude21 ermöglichen nämlich genau dies. Sie legen eine Suplementär-Ebene auf die indirekte Repräsentation des Raumes oder den direkten Blick22 auf die Realität und verweisen mit ihren Informationsflächen auf bzw. in diese. Durch eine solche Technik wird die Realität mit Etiketten versehen, die der User bei Informationsbedarf betrachten kann.

Desweiteren besteht durch die Technologien der AR die Möglichkeit, Erscheinungen der Realität auszublenden oder zu überlagern. Diese Funktionsweise wird auch als Mediated oder Diminished Reality bezeichnet.

2.2 Exkurs: Spekulation über den Realitätsgrad und die Möglichkeit der Täuschung durch Mixed Realities

Der Begriff der AR verbindet sich nicht ausschließlich mit der visuellen Augmentierung der Umgebung, sondern durchaus auch mit der Anreicherung der Realität durch künstlich erzeugte auditive, haptische, olfaktorische oder sogar gustatorische Reize. Eine AR, die all diese Reize ansprechen könnte, entspräche - in Analogie zu einer voll entwickelten VR - einer voll entwickelten AR.

Wie bei der Immersion in eine voll entwickelte VR besteht auch bei der AR eine technisch vermittelte Rahmung, sodass die Wirklichkeit der AR abhängig ist von der Benutzung und Akzeptanz eines Betrachters. Selbst eine voll entwickelte AR kann nicht über die technisch unvermittelte Realität hinwegtäuschen oder diese ersetzen, solange sich der Benutzer ihrer technischen Vermittlung bewusst bleibt. Dies schließt natürlich nicht aus, dass die Effekte einer voll entwickelten AR nicht auch in der Realität spürbar werden könnten. Ivan E. Sutherland, ein amerikanischer Internet-Pionier und Informatik-Professor beschreibt in seinem Essay The ultimate Display23 von 1965 die Vision einer voll entwickelten VR mit diesen Worten:

The ultimate display would, of course, be a room within which the computer can control the existence of matter. A chair displayed in such a room would be good enough to sit in. Handcuffs displayed in such a room would be confining, and a bullet displayed in such a room would be fatal. With appropriate programming such a display could literally be the Wonderland into which Alice walked.

Ein User, der wissend einen solchen Raum betreten würde und in diesem durch eine dargestellte Kugel umkäme, würde nicht der Täuschung unterliegen, dass er durch die dem Display zu Grunde liegende Realität getötet wurde, sondern wüsste um die Künstlichkeit der Kugel. Lediglich das Resultat in der Realität wäre das gleiche, sodass für eine Unterscheidung zwischen Realität und Virtualität die Frage nach einer Täuschung nicht mehr bestünde.

Eine solche Virtualität würde nun nämlich nicht mehr von der Realität getrennt sein, sondern als ihre Modalität Teil der Realität werden, auch wenn man um ihre Künstlichkeit wüsste. Eine voll entwickelte und unbeschränkte AR oder VR, die die Fähigkeit besitzt, Materialität zu erschaffen und diese zu kontrollieren, täuscht keine Realität mehr vor, sie ist ein künstlicher Teil der Realität, indem die Möglichkeit des Virtuellen in die Existenz des Physischen überführt wird.

In einem solchen Szenario würde dann natürlich die Dichotomie physisch/virtuell aufgehoben und durch die neue Dichotomie natürlich/künstlich ersetzt.

2.3 Basis - Komponenten und -Verfahren der Augmented Reality

Da die Wissenschaft von der Realisierung solcher ultimativen Displays noch weit entfernt ist, liegt der Schwerpunkt der Forschung und Entwicklung, dem oft postulierten Primat des visuellen Leitsinns Rechnung tragend, auf der Weiterentwicklung der visuellen Augmentierungen. Zur Vermengung und Einbettung von visuellen, virtuellen Informationen mit der und in die reale Umgebung, bedarf es natürlich immer einer technischen Vermittlung in Form eines Anzeigegerätes oder Displays.

Milgram und Kishino beschreiben für die Mixed Reality im Allgemeinen:

„As indicated in the figure, the most straightforward way to view a Mixed Reality environment, therefore, is one in which real world and virtual world objects are presented together within a single display, that is, anywhere between the extrema of the virtuality continuum.”24

Im Folgenden soll nun ein Blick auf solche Displays und die technischen Voraussetzungen geworfen werden, die eine Augmented RealityAnwendung erst ermöglichen.

2.3.1 Darstellungstechniken und Display-Technologien

Ein Blick auf die Geschichte der Bildmedien zeigt schon in frühen Epochen die Verwendung von optischen Erweiterungen oder Veränderungen des realen Raums. Im 18. Jahrhundert wurden zum Beispiel erste Panoramen gezeichnet, welche dann im 19. Jahrhundert weiterentwickelt und als architektonische Einrichtungen zu bekannten Attraktionen und den ersten optischen Massenmedien im strengen Sinne wurden. Durch sie wurde der reale Raum mittels künstlicher, anfangs noch gezeichneter, später auch fotografierter, Darstellungen umrahmt und dem Zuschauer eröffnete sich eine neue Erfahrung der räumlichen Verortung.25 Die Erfahrungen in einem solch angereicherten Raum können mit der Immersion in eine VR verglichen werden. Im Zusammenhang mit dem Panorama nennt man auch oft den Begriff panoramatische Apperzeption, der ähnlich wie der Begriff Immersion den Eintritt des Beobachters in den Bildraum thematisiert.

Ein Panorama stellt eines der ersten immersiven Mixed Reality-Displays dar. Doch auch teil-immersive Techniken sind in der Geschichte der Malerei und der bildenden Kunst in verschiedensten Formen zu finden.26 Die illusionistischen trompel ’œ il Gemälde der Renaissance, die Deckenmalerei des Barock sowie die FreskenMalerei von der Antike bis in die Neuzeit öffneten bestehende Örtlichkeiten durch die meist perspektivische Bemalung von Flächen hin zu künstlichen, fiktiven Räumen. So kann zum Bespiel die Anreicherung einer Gartenmauer durch eine Landschaftsmalerei die Grenzen des Gartens unsichtbar machen.

Während das Panorama also als immersive Technik versucht, die gesamte Umgebung als Display zu nutzen und die reale Umgebung zu ersetzen, beruhen die letztgenannten Techniken auf Anreicherung der realen Umgebung durch künstlichen Inhalt auf begrenzten Flächen. Die analogen, vor-digitalen Beispiele benutzen materielle Flächen wie Leinwände oder Mauern, gestalten diese mit Farben oder plastischen Mitteln und sind frühe Formen von Displays.

Diese analogen Beispiele lassen sich in ihrer darstellenden Funktion mit den digitalen Techniken der Mixed Realities vergleichen.

Der Funktionsweise des Panoramas folgend ersetzen VR -Systeme die reale Umgebung durch künstliche Darstellungen von alternativen Räumlichkeiten.

Dies kann mit Hilfe modernerer sogenannter CAVE27 - Systeme, die dem Aufbau des Panoramas sehr ähnlich sind, geschehen oder mit den schon seit 1966 verwendeten Head-Mounted Displays28 (kurz HMD´s). Beiden Displayformen ist gemein, dass sie das Außen der realen Umgebung ausblenden, weshalb erst durch diese Techniken die Immersivität der VR wirklich ausgenutzt werden kann. Die Benutzung einer VR - Umgebung an einem gewöhnlichen Monitor bleibt diesen Techniken gegenüber defizitär, da der Rahmen des Monitors stets auch die technische Rahmung vor Augen führt.

Die teil-immersive Augmented Reality hingegen folgt eher den Funktionsweisen der zweitgenannten Kategorien. Sie vermengt die gegebenen Räumlichkeiten mit virtuellen Objekten und Räumlichkeiten, anstatt sie zu ersetzen. Um dies zu ermöglichen, müssen andere Displays verwendet werden, als diese für die VR üblich sind. Die Anfänge der AR wurden durch Modifikation der HMD`s ermöglicht. Anstatt auf den Bildschirmen dieser Displays nur eine virtuelle Realität anzuzeigen, wurde versucht, die reale Umgebung in die Darstellung aufzunehmen und diese mit virtuellen Objekten anzureichern. Dies wird durch zwei verschiedene Mechanismen ermöglicht:

2.3.2 Optische Augmentierung

2.3.3 Videobasierte Augmentierung

2.3.4 Spatial Augmented Reality oder projektionsbasierte Augmentierungen

Eine dritte Form der Augmentierung verbindet die Vorteile der beiden vorher genannten Methoden, indem sie die HMD´s durch Projektionen ersetzt. Diese auch Spatial Augmented Reality (kurz SAR) genannte Vorgehensweise reichert den Raum durch gezielte Projektion auf Projektionsflächen an. Die virtuellen Objekte oder Räumlichkeiten werden hierbei in die reale Welt projiziert. Ein Vorteil dieser Technik ist die besser planbare Registrierung und die Sichtbarkeit der Augmentierungen für alle umstehenden Betrachter. Durch solche SAR ´ s werden kollektive Erfahrungen mit Augmentierungen ermöglicht. Bisher begrenzen sich diese Anwendungen allerdings auf zweidimensionale Projektionen auf dreidimensionalen Flächen, deren Registrierung im Raum ausbleibt, weshalb sie streng gesehen nicht in die Kategorie AR fallen. Eine echte Projektions- AR wäre eine dreidimensionale Holographie wie sie in der Science-Fiction schon seit den 70er Jahren vorgestellt wird. So zum Beispiel im Film STAR WARS:

ist ein weites Forschungsfeld. Denn alleine eine Darstellung, die auf den Blickwinkel des Betrachters reagiert, reicht noch nicht aus, um ein aktives Handeln mit den virtuellen Objekten zu ermöglichen. Bei der Arbeit mit dem Graphical User Interface (kurz GUI) eines Desktop PCs bedarf es immer auch eines Eingabegerätes wie der Tastatur oder der Maus, um mit dem Dargestellten zu kommunizieren oder zu interagieren. So gestaltet es sich auch mit modernen AR -Anwendungen, die neben der reinen Darstellung von virtuellen Objekten auch die Interaktion mit diesen gewährleisten sollen.

2.3.5 Handheld Displays und die „Point and Click“ - Metapher

Durch die Entwicklung von mobilen Computersystemen wie Tablet-PCs, PDAs32 und besonders der heute immer leistungsstärkeren Mobiltelefone, bzw. Smartphones, deren Absatz sich in den letzten Jahren dem der PC - Systeme angenähert hat (hier ist besonders die Entwicklung des Iphones zu nennen)33, eröffnete sich in den letzten Jahren für die Programmierer von AR -Anwendungen ein neues Möglichkeitsfeld.

Handlichkeit, Mobilität und Anwenderfreundlichkeit überholt35, weshalb die AR nun auch einer breiteren Öffentlichkeit zugängig wird. Während früher nur die Entwickler von Anwendungen selbst oder einige wenige Probanden ihrer Studien den Zugang zu augmentierten Umgebungen erleben konnten, da die Versuchsaufbauten kompliziert und teuer waren, wird nunmehr durch die Reduzierung der Komplexität der Systeme auf ein einfaches Gerät für Endbenutzer eine Hemmschwelle überschritten, die die AR aus dem Nischendasein des Spezialistenkultes hin zu einem Trend in den Massenmedien überführen kann. Handheld-Displays ermöglichen somit der Unterhaltungs- und Werbeindustrie sowie den, auch im Internet an Bedeutung gewinnenden, Social-Communities die weitreichende Einbindung von AR - Anwendungen in Marketing-, Gaming- oder Socalising-Konzepte.

Mit den Handheld-Displays wird die, für bisherige GUI -Systeme übliche, „Point and Click“ - Metapher36 auch für AR -Anwendungen effektiv nutzbar. Wie bei einem Desktop auf dem man Icons oder Hyperlinks durch Anwählen mit dem Cursor anklicken kann, gestaltet sich auch die reale Umgebung in der Nutzung eines Handheld-Device wie ein Desktop. Platziert man ein Handheld-Display vor seinen Augen und ermöglicht dadurch den Blick auf die AR wie durch ein Fenster, so stellt sich dadurch ein natürliches Zeigeverhalten ein. Jürgen Bohn und Michael Rohs schlagen in ihrem Essay Klicken in der realen Welt37 den Begriff der symbolischen Lupe vor:

Die symbolische Lupe ist ein mobiles Gerät, das einen kleinen Bildschirm und einen wie auch immer gearteten Objektsensor besitzt. Mit diesem Gerät können physische Objekte gewissermaßen “angeklickt“ werden. Daraufhin wird das virtuelle Gegenstück des angeklickten Objektes auf dem Bildschirm sichtbar gemacht.38

Eine solche symbolische Lupe ermöglicht die Interaktion mit der realen Umwelt wie mit einer Benutzeroberfläche eines Desktops und funktioniert die Objekte der physischen Welt zu Hyperlinks in einen Daten und Informationsraum um.

[...]


1 Vgl. Ellrich, Lutz: Medienphilosophie des Computers. In: Systematische Medienphilosophie, hrsg. von Mike Sandbothe und Ludwig Nagl, Berlin: Akademie Verlag 2005. S.354

2 ebd.

3 Vgl. Poster, Mark: Medienphilosophie des Internets. In: Systematische Medienphilosophie, hrsg. von Mike Sandbothe und Ludwig Nagl, Berlin: Akademie Verlag 2005. S.362

4 ebd. S.363

5 vgl. ebd. S.362

6

6 „Virtuality Continuum“ nach Milgram und Kishino entnommen aus: Oppermann, Leif:

Interaktionsflächen in Augmented Reality. Diplomarbeit Hochschule Harz, Wernigerode, Germany, Aug. 29, 2003 http://projekt.medieninformatik.de/argui/Diplom_Leif_Oppermann_ARGUI.pdf (04.03.2010) in der Folge Oppermann2003

7 MUD - Multi User Domain

8 siehe Abb. 1 unter Virtual Environment

9 vgl. Münker, Stefan: Medienphilosophie der Virtual Reality. In: Systematische Medienphilosophie, hrsg. von Mike Sandbothe und Ludwig Nagl, Berlin: Akademie Verlag 2005.

10 MATRIX, USA 1999, R: Andy und Larry Wachowski

11 Der Begriff Interface bezeichnet im Zusammenhang der Datenverarbeitung eine Schnittstelle

zwischen Benutzer und elektronischem Datenverarbeitungssystem. Die wohl bekanntesten Beispiele hierfür sind in zeiten des PC die Maus und das Keyboard. Aber auch der Bildschirm oder das Display als Anzeigemittel der Computerinformation werden als Graphical User Interface, kurz GUI bezeichnet

12 EYE TOY: PLAY, Logitech, Playstation 2, 2003

13 Computer-generated imagery oder auch CG für computer-graphics

14 vgl. z.B. Abbildung 2: hier Einbettung der Darsteller in eine phantastische, virtuell erzeugte Szenerie

10

15 vgl. Abbildung 3

16 Azuma, Ronald: "A Survey of Augmented Reality," in: Presence: Teleoperators and Virtual

Environments. vol. 6, no. 4, Aug. 1997, pp. 355-385. http://www.cs.unc.edu/~azuma/ARpresence.pdf (04.03.2010)

17 „Link to the real environment is called registration. It is a spatial relation between the environment and the augmentation.“ Vgl. Bimber, Oliver und Raskar, Ramesh: Spatial Augmented Reality: Merging Real and Virtual Worlds. A K Peters, Juli 2005. In der Folge Bimber2005

18 ARCHEOGUIDE ist ein von der EU gefördertes Multi-User-Augmented-Reality-System für die Besucher von Stätten des kulturellen Erbes. Der User wird mit einem Interface ausgestattet, welches ihm erlaubt, bei der Besichtigung der Stätten nicht mehr vorhandene Architekturen in die Umgebung zu projizieren. Vgl. Abbildung 4

11

19 Azuma, Ronald. Baillot, Yohan. Behringer, Reinhold. Feiner, Steven. Julier, Simon und MacIntyre, Blair: "Recent Advances in Augmented Reality,"IEEE Computer Graphics and Applications, vol. 21, no. 6, pp. 34-47, Nov./Dec. 2001, doi:10.1109/38. http://www.cs.unc.edu/~azuma/cga2001.pdf (04.03.2010)

20 ebd.

21 Vgl. Abbildung 5

22 zur Unterscheidung von direktem und indirektem Blick wird im nächsten Kapitel noch genaueres

beschrieben, hier sei schon einmal erklärt, dass der direkte Blick auf die Realität technisch unvermittelt ist was durch die Technologie der see-through HMD´s ermöglicht wird, während der indirekte Blick das Bild der photorealistisch auf einem Bildschirm wiedergegebenen Realität erfasst.

23 Sutherland, Ivan: The Ultimate Display, 1965 in: Proceedings of IFIP Congress, pp. 506-508, 1965. http://www.eng.utah.edu/~cs6360/Readings/UltimateDisplay.pdf (04.03.2010)

24 Milgram, Paul and Kishino, Fumio: A Taxonomy of Mixed Reality visual displays in: IEICE Transactions on Information Systems, Vol E77-D, No.12 December 1994 http://vered.rose.utoronto.ca/people/paul_dir/IEICE94/ieice.html (04.03.2010)

25 vgl. Abbildung 6

26 vgl. Abbildung 7

27 CAVE = Cave Automatic Virtual Environment, ein Raum zur Projektion einer dreidimensionalen Illusionswelt, der aus bis zu sechs Flächen besteht, auf die von Außen Umgebungen projiziert werden, die durch die Bewegung des Benutzers innerhalb des CAVE kontrolliert werden. Vgl Abb. 8

28 1966 expirimentierte Ivan Sutherland an den ersten Prototypen der HMD´s. Durch die Nähe der in den Daten-Helm oder die Daten-Brille integrierten Bildschirme oder Projektoren zum Auge wird der Immersionsgrad im Vergleich zur Benutzung eines Monitors erheblich gesteigert. Die Bewegung des Kopfes wird durch Sensoren in neueren HMD´S, direkt mit der dargestellten Umgebung verrechnet, sodass das eine Drehbewegung des Kopfes zu einem schweifenden Blick in der VR führt.

29 Bei der optischen Augmentierung wird dem User der direkte Blick in die Realität ermöglicht. Ein Optical See-Through HMD (wie oben abgebildet) besteht aus einer am Kopf des Users angebrachten Einheit, aus einer durchsichtigen Projektionsfläche sowie einem Projektor, der zusätzliche Informationen auf diese Fläche projiziert. Die Kopfposition des Users wird über Sensoren an den Szenen-Generator vermittelt, sodass dieser die Augmentierungen dem Blickwinkel des Users anpassen kann. Der Vorteil dieser Technik ist der direktere Zugang zur Realität. Allerdings sind die Technologien für optische Augmentierungen noch wenig ausgereift und die Bildqualität der Augmentierungen noch gering. Desweiteren ist die Registrierung der virtuellen Augmentierungen bei dieser Technik aufwändiger als bei der videobasierten Augmentierung. Bei dieser Methode koexistieren virtuelle Welt und reale Umgebung und werden im Auge des Betrachters zusammengesetzt. Auf dem Virtuality-Continuum von Milgram liegt diese Anwendung weiter links als die videobasierte Augmentierung.

29 Abbildung 9 aus Oppermann2003 entnommen

30 Die videobasierte Augmentierung wird durch ein Video See-Through HMD ermöglicht. Dieses trennt zunächst, wie die für die VR benutzten HMD´s, den User von seiner Umgebung. Allerdings wird die Umgebung durch eine an dem HMD montierte Kamera dem Blickwinkel des Users entsprechend aufgenommen und auf einem vor den Augen des Users angebrachten Monitor wiedergegeben. Auch in diesem Fall wird die Kopfposition des Users durch Sensoren an einen Szenen- Generator weitergegeben, sodass die Augmentierungen und das Videomaterial der realen Welt von einem Videomischer vermengt werden können. Diese Methode liefert zwar nur einen indirekten Blick auf die reale Welt und führt unter Umständen zu einer geringeren Darstellungsqualität der Umwelt, vereinfacht aber die Registrierung und Darstellung der Augmentierungen. Hier wird die reale Welt in die Virtualität projiziert, weshalb diese Methode auf dem Virtuality-Continuum näher an der AV anzusiedeln ist als die optische Augmentierung. Beide genannten Verfahren der Augmentierungen reduzieren sich meist auf die individuellen Erfahrungen des Display-Users. Ausnahmen bilden die sogenannten Collaborative Augmented Environments zu denen im Kapitel Anwendungsbereiche noch Genaueres beschrieben wird.

30 Abbildung 10 ebd.

31 Das von R2D2 projizierte dreidimensionale Hologramm erfüllt alle Kriterien von Azumas Definition: es verbindet reale und virtuelle Realität in einer realen Umgebung, ordnet diese korrekt zueinander an, läuft in Echtzeit und ist in doppelter Funktion interaktiv. Denn es kann nicht nur von allen Seiten betrachtet werden, sondern auch noch von allen Beteiligten angesprochen werden und auf Geschehen reagieren. Diese Interaktionsfähigkeit bleibt bei heutigen Projektionstechniken aus, da die technischen Bedingungen für eine Registrierung der Aktionen der Betrachter noch unausgereift sind. Es fehlt ein Steuerungsinput, der zum Beispiel bei Anwendungen, die HMD-gestützt sind, durch Daten-Handschuhe oder 3D - Controller bereitgestellt wird.

31 Abbildung 11 STAR WARS , USA 1977, R: George Lucas Die aktive Manipulation der Augmentierungen, die man auch als Interaktion versteht,

34 Die sogenannten Handheld Displays vereinen Anzeige- und Eingabefunktion in einem Gerät. Ihre Funktionsweise bei AR -Anwendungen gleicht der eines videobasierten HMDs. Diese werden aber von Handheld-Systemen in Sachen

32 PDA - Personal Digital Assistant

33 vgl. Billinghurst, Mark: Keynote: Mixed Reality Applications for City-based Leisure and Experience. HITLab NZ. Präsentationen des MIRACLE Workshops 2009, 29.-30. Oktober 2009, Schloss Birlinghoven http://fitfraunhofer.de/projects/mixed-reality/miracle/Billinghurst.pdf (04.03.2010) in der Folge Miracle2009

34 Abbildung 13 aus Oppermann2003

35 Noch immer müssen die meisten portablen HMD-Systeme durch große und schwere Computer, die meist auf dem Rücken getragen werden, mit Daten versorgt werden. Außerdem benötigen sie ein zusätzliches Eingabegerät, um umfangreichere Interaktion mit den Augmentierungen zu ermöglichen. Vgl. Abbildung 14

36 vgl. Oppermann2003 S.1

37 Bohn, Jürgen und Rohs, Michael: Klicken in der realen Welt. In: Konferenz Mensch und Computer 2001, Workshop Mensch-Computer-Interaktion in allgegenwärtigen Informationssystemen, Bad Honnef, March 2001 Paper (in German)

http://www.jjbohn.com/papers/bohn_rohs_klicken_mc_2001.pdf (04.03.2010)

38 ebd.

Ende der Leseprobe aus 84 Seiten

Details

Titel
Augmented and Mixed Reality
Untertitel
Die Welt als Hyperlink
Hochschule
Universität zu Köln  (Institut für Theater-, Film- und Fernsehwissenschaft)
Note
1,3
Autor
Jahr
2010
Seiten
84
Katalognummer
V192815
ISBN (eBook)
9783656179566
ISBN (Buch)
9783656180098
Dateigröße
2458 KB
Sprache
Deutsch
Schlagworte
augmented, mixed, reality, welt, hyperlink
Arbeit zitieren
Lucas Licht (Autor:in), 2010, Augmented and Mixed Reality, München, GRIN Verlag, https://www.grin.com/document/192815

Kommentare

  • Noch keine Kommentare.
Blick ins Buch
Titel: Augmented and Mixed Reality



Ihre Arbeit hochladen

Ihre Hausarbeit / Abschlussarbeit:

- Publikation als eBook und Buch
- Hohes Honorar auf die Verkäufe
- Für Sie komplett kostenlos – mit ISBN
- Es dauert nur 5 Minuten
- Jede Arbeit findet Leser

Kostenlos Autor werden