Non-photorealistic Rendering in der medizinischen Visualisierung zur verbesserten Kontrastierung von CT/PET-Darstellungen

Inhaltsverzeichnis

1 Einleitung

2 Überblick Non-photorealistic Rendering
2.1 Definition
2.2 Geschichtliche Entwicklung
2.3 Struktur

3 Grundtechniken von Non-photorealistic Rendering
3.1 Pixel Manipulation
3.1.1 Halftoning
3.1.2 Stippling
3.2 Simulation von Kunsttechniken
3.2.1 Pencil Rendering
3.2.2 Pen-and-Ink Rendering
3.2.3 Painterly Rendering
3.3 Erweiterte Illustrationstechniken
3.3.1 Edge Enhancement
3.3.1.1 Zweidimensionale Verfahren
3.3.1.2 Dreidimensionale Verfahren
3.3.2 Shading
3.3.2.1 Component-Based Lighting Model
3.3.2.2 Tone Shading
3.3.2.3 Hatching

4 Medizinische Visualisierung
4.1 Handgefertigte medizinische Illustrationen
4.1.1 Gesamtüberblick
4.1.2 Illustrationstechniken
4.1.2.1 Linien- und Punkttechniken
4.1.2.2 Farbgebung
4.2 Computergrafische medizinische Visualisierung
4.2.1 Anwendungsgebiete in der Medizin
4.2.2 Bildgebende Verfahren
4.2.2.1 Computertomographie
4.2.2.2 Positronen-Emissions-Tomographie
4.2.2.3 Datenstruktur für dreidimensionale bildgebende Verfahren
4.2.3 Volume Rendering
4.2.3.1 Direct Volume Rendering
4.2.3.2 Indirect Volume Rendering
4.2.4 Typische Problemstellungen medizinischer Visualisierung
4.2.4.1 Wahl zwischen Geschwindigkeit und optischer Qualität
4.2.4.2 Auflösung der Datensätze
4.2.4.3 Klassifikation durch Transferfunktionen
4.2.4.4 Segmentierung
4.2.4.5 Koregistrierung für kombinierte Darstellungen mehrerer Datensätze
4.2.4.6 Verbesserte Kontrastierung durch NPR-Techniken
4.3 Anwendung von NPR in der medizinischen Visualisierung
4.3.1.1 Grundlagen
4.3.1.2 Hatching
4.3.1.3 Stippling
4.3.1.4 Konturen
4.3.1.5 Zusammenfassung
4.4 Lösungsentscheidung zur verbesserten Kontrastierung

5 Softwaretechnische Lösung
5.1 Grundlagen
5.1.1 Einführung Volume Studio
5.1.2 Theoretische Grundlagen
5.1.3 Verwendete Technologien
5.1.3.1 C++
5.1.3.2 OpenSG
5.1.3.3 OpenGL
5.1.3.4 Qt
5.1.4 Themenverwandte Arbeiten
5.2 Konzeption und Realisierung des Systems
5.2.1 Wahl des Kantenfindungsverfahrens
5.2.2 Vorstellung des Kantenfindungsverfahrens
5.2.3 Optimierungen und Erweiterungen
5.2.3.1 Reduzierung des Berechnungsaufwands
5.2.3.2 Optische und Funktionale Erweiterungen
5.2.4 Weitere Aspekte der Realisierung
5.2.4.1 Prüfungsverfahren der Volumenwürfel
5.2.4.2 Zeichnen der Konturlinien
5.2.5 Zusammenfassung
5.3 Einsatz des Systems
5.3.1 Ergebnispräsentation
5.3.2 Aufgetretene Probleme
5.3.3 Auswertungen

6 Zusammenfassung und Ausblick
6.1 Zusammenfassung
6.2 Ausblick

7 Literaturverzeichnis

8 Glossar

Abbildungsverzeichnis

Abbildung 2.1: Beispielhafte NPR-Darstellungen

Abbildung 2.2: Drei computergrafische Varianten eines Architekturentwurfs

Abbildung 2.3: Schrittweise Erstellung und Verfeinerung eines digitalen Gemäldes

Abbildung 2.4: Comprehensible Rendering an einem runden Objekt

Abbildung 2.5: Farbliche Visualisierung eines CT-Scans

Abbildung 2.6: Pen-and-Ink-Darstellung eines Häuserdaches

Abbildung 2.7: Anwendung von Indication an einem Architekturentwurf

Abbildung 2.8: Edge Enhancement am Querschnitt-Scan eines Gehirns

Abbildung 2.9: Zufällig statistische Streuung von Bildpunkten

Abbildung 3.1: Zehn Intensitäten, dargestellt durch eine 3×3-Dither Matrix

Abbildung 3.2: Anwendung von verschiedenen Halftoning-Verfahren

Abbildung 3.3: Anwendung von Halftoning auf Basis von Strichen

Abbildung 3.4: Stipple Drawing mit Hilfe eines semi-automatischen NPR-Systems

Abbildung 3.5: Digitalisierte Papiervorlagen und Berechnung einer Papierkörnung

Abbildung 3.6: Echte und simulierte Bleistiftzeichnungen im Vergleich

Abbildung 3.7: Umwandlung einer Vorlage in eine Bleistiftzeichnung

Abbildung 3.8: Gleichzeitige Darstellung von Textur und Helligkeit durch Striche

Abbildung 3.9: Pen-and-Ink Darstellung eines Huts mit Gehstock

Abbildung 3.10: Simulierte Wasserfarbeneffekte

Abbildung 3.11: Funktionen der drei Schichten

Abbildung 3.12: Beispiel eines digitalen Wasserfarbegemäldes

Abbildung 3.13: Kantentypen

Abbildung 3.14: Bildbasierte Kantenfindung mit Hilfe von Depth- und Normal Map

Abbildung 3.15: Kante einer Silhouette in einem Polygonmodell

Abbildung 3.16: Silhouettenpunkte auf einer runden Oberfläche

Abbildung 3.17: Kante eines Knicks in einem Polygonmodell

Abbildung 3.18: Zusätzliche Bildinformationen durch Suggestive Contours

Abbildung 3.19: Fotografie und handgefertigte Illustration im Vergleich

Abbildung 3.20: Umrechnung einer Farbe für das Cool-to-Warm Shading

Abbildung 3.21: Vergleich zwischen traditionellem und Cool-to-Warm Shading

Abbildung 3.22: Hatching in Furchen und die Anwendung von Mach Bändern

Abbildung 3.23: Hatching an einem Beispielobjekt

Abbildung 4.1: Illustration eines freigelegten Torsos aus dem Lehrbuch Vesalius’

Abbildung 4.2: Konturen zur Hervorhebung der Form und Lage von Bauchorganen

Abbildung 4.3: Einordnung einer Fokusstruktur zu ihren Kontextstrukturen

Abbildung 4.4: Anwendung von Schraffuren in der medizinische Illustration

Abbildung 4.5: Anwendung von Punktierung in der medizinischen Illustration

Abbildung 4.6: Farbgebung am Beispiel der Strukturen und Blutgefäße eines Torsos

Abbildung 4.7: Computergrafische Illustration eines menschlichen Herzens

Abbildung 4.8: Visualisierungen verschiedener bildgebender Verfahren

Abbildung 4.9: Schematische Darstellung des bildgebenden CT-Verfahrens

Abbildung 4.10: Schematische Darstellung des bildgebenden PET-Verfahrens

Abbildung 4.11: Vom bildgebenden Verfahren zur computergrafischen Visualisierung

Abbildung 4.12: Pixel und Voxel als Bildpunkte in einer einheitlichen Rasterstruktur

Abbildung 4.13: Volume Rendering Pipeline

Abbildung 4.14: Schrittweise Darstellung der trilinearen Interpolation

Abbildung 4.15: Verfahren des Ray Castings bei einem Volumendatensatz

Abbildung 4.16: Kombinierte CT/PET-Darstellung der Koronarien und des Herzens

Abbildung 4.17: Indirect Volume Rendering eines Zahns mit Isoflächen

Abbildung 4.18: Probalistic Classification eines CT-Datensatzes

Abbildung 4.19: Beispielhafte Klassifikation von anatomischen Strukturen

Abbildung 4.20: Verdeutlichung der räumlichen Lage eines Fokusobjekts

Abbildung 4.21: Metrische Ausmessung eines segmentierten Tumors

Abbildung 4.22: Schraffuren bei einer Tonal-Art-Map mit verschiedenen Intensitäten

Abbildung 4.23: Hatching, angewendet auf dem Oberflächenmodell einer Hand

Abbildung 4.24: Volumenbasiertes Hatching auf medizinischen Volumendaten

Abbildung 4.25: Stippling an einem Volumendatensatz eines Fußes

Abbildung 4.26: Texturbasiertes Stippling an dem Oberflächenmodell einer Niere

Abbildung 4.27: Verfahren zur Kantenextraktion mit Hilfe von Marching Lines

Abbildung 4.28: Oberflächenbasierte Konturendarstellung von Handknochen

Abbildung 4.29: Volumenbasierte Konturdarstellung am Beispiel eines Kopfes

Abbildung 4.30: Unterschiedliche Visualisierung mehrerer anatomischer Strukturen

Abbildung 4.31: Vergleichende Darstellung einer Gefäßstruktur mit Silhouetten

Abbildung 4.32: Depth Cueing mit Hilfe von Textureinfärbung verschiedener Dichten

Abbildung 4.33: Einbindung von Konturen und Depth Cueing im Volume Rendering

Abbildung 5.1: Screenshot der drei Hauptkomponenten von Volume Studio

Abbildung 5.2: Verdeutlichung des Kantenfindungsverfahren von Dong et al.

Abbildung 5.3: Reihenfolge der Prüfungsverfahren zur Reduzierung der Rechenzeit

Abbildung 5.4: Unterschiedliche Erhöhung der Suchtiefe für genauere Konturen

Abbildung 5.5: Darstellen von verdeckten Linien

Abbildung 5.6: Anzeigen von zusätzlichen Konturlinien

Abbildung 5.7: Konturlinien eines Schädels ohne und mit Depth Cueing

Abbildung 5.8: Vergleich des erweiterten Konturzeichnungsverfahrens

Abbildung 5.9: Benutzeroberfläche des implementierten Kantenfindungsverfahrens

Abbildung 5.10: Verschieden erlangte Objektkonturen eines Kopfes

Abbildung 5.11: Kombinierte CT/PET-Darstellung mit Konturlinien

Abbildung 5.12: Anzeigen von Konturlinien für den Datensatz eines Brustkorbs

Tabellenverzeichnis

Tabelle 4.1: Vorteile von Illustrationen und Fotografien im medizinischen Kontext

Tabelle 4.2: Übersicht über den Speicherbedarf verschiedener Volumengrößen

Tabelle 5.1: Vergleich der Überprüfungen der Gradientenorthogonalität

Tabelle 5.2: Geschwindigkeitsvergleich weiterer Vorgehensweisen

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

1 Einleitung

Diese Diplomarbeit widmet sich der Anwendung von Non-photorealistic Rendering (NPR) in der computergrafischen Visualisierung. Nach einer Einführung in die Grundtechniken des Non-photorealistic Renderings werden insbesondere die Anwendungsmöglichkeiten von NPR in der medizinischen Visualisierung untersucht und eine eigene Lösungsentscheidung für die konkrete Problemstellung einer verbesserten Kontrastierung von CT/PET-Darstellungen vorgestellt und implementiert.

Da das NPR einen sehr komplexen und umfangreichen Anwendungsbereich beschreibt, ist es erforderlich seine unterschiedlichen Ausprägungen hervorzuheben. Wichtiger Bestandteil aller Kapitel sind daher grafische Beispiele, die zwar den Umfang der Arbeit deutlich erhöhen, aber für die Veranschaulichung und zur Verdeutlichung von Unterschieden unerlässlich sind.

Einleitend (Kapitel 2) erfolgt zunächst ein Überblick über die Gesamtthematik NPR, der eine Definition sowie die geschichtliche Entwicklung und Struktur des Non-photorealistic Renderings einschließt. Im weiteren teilt sich die Arbeit in drei Hauptteile auf, die eine sukzessive Fokussierung auf die Problemlösung zur verbesserten Kontrastierung von CT/PET-Darstellungen verfolgen. Die einzelnen Teile bauen jeweils auf den Erkenntnissen und Grundlagen der vorherigen Teile auf und erlauben so das Nachvollziehen der vorgestellten Sachverhalte.

So werden in einem ersten Teil (Kapitel 3) verschiedene Grundtechniken, die als Basis der meisten NPR-Verfahren dienen, in einer Gliederung vorgestellt und untersucht. In diesem Kapitel ist die Blickrichtung allgemein und berücksichtigt sowohl mediale, künstlerische als auch erste medizinische Visualisierungsaspekte.

Darauf aufbauend, wird der Fokus im zweiten Teil (Kapitel 4) auf den medizinischen Bereich, insbesondere auf die Visualisierung von CT- (Computertomographie) und PET-Daten (Positronen-Emissions-Tomographie), konzentriert. Dabei werden zunächst Aspekte aus der handgefertigten Illustration medizinischer und anatomischer Strukturen sowie der Einsatz von bildgebenden Verfahren in der Medizin vorgestellt. Außerdem wird ein Bewusstsein für die die medizinische Visualisierung betreffenden Problemstellungen geschaffen. Ebenso werden die Einsatzmöglichkeiten von NPR in der medizinischen Visualisierung untersucht. Auf Basis der vorangegangenen Erkenntnisse wird für die Problemstellung der verbesserten Kontrastierung von CT/PET-Darstellungen ein eigener Lösungsvorschlag entworfen und beschrieben, der auf der Darstellung von Konturlinien aufbaut. Ergänzend wird ein tiefenabhängiges Einfärben der Konturlinien vorgestellt, das die räumliche Kontrastierung unterstützt.

Dies führt zum abschließenden dritten Teil (Kapitel 5) dieser Arbeit, in dem die Integration des Lösungsvorschlags in das Projekt „Visualization of medical data” am Lehrstuhl für Computergrafik, Visualisierung und Bildverarbeitung an der Universität Paderborn vorgestellt wird. Dazu findet ein Einblick in den aktuellen Systemzustand des Projekts statt, der als Basis für die Wahl eines geeigneten Verfahrens zur Erkennung von Konturen dient. Das ausgewählte Verfahren wurde durch eigene Optimierungen und Erweiterungen ergänzt und angepasst. Dazu zählen Geschwindigkeitsoptimierungen und optische Erweiterungen wie das bereits erwähnte tiefenabhängige Einfärben der Konturlinien. Im Anschluss werden die Konzeption und Realisierung der zusätzlichen Erweiterungen und Optimierungen des Lösungsvorschlags aufgeführt. Anhand von repräsentativen Beispielen wird schließlich der Einsatz des erweiterten Systems mit verbesserten Kontrastierungsmöglichkeiten demonstriert.

Eine Zusammenfassung der erreichten Ergebnisse, ein Rückblick auf die Lösungsbewältigung sowie ein Ausblick auf weitere Ansatzpunkte und Projekte bilden den Abschluss der Diplomarbeit.

2 Überblick Non-photorealistic Rendering

Dieses Kapitel gibt einen allgemeinen Überblick über die Thematik Non-photorealistic Rendering. Nach einer Definition des Begriffs und Skizzierung des Handlungsfeldes wird anschließend die bisherige geschichtliche Entwicklung vorgestellt. Bei der Betrachtung von NPR-Techniken lassen sich gemeinsame Strukturen und Eigenschaften extrahieren, welche in einem abschließenden Abschnitt behandelt werden.

2.1 Definition

In den letzten vier Jahrzehnten ist das Ziel des Generierens von möglichst fotorealistischen Darstellungen (dem Photorealistic Rendering) immer eine der treibenden Kräfte in der Forschung der Computergrafik gewesen. Per Computer generierte Grafiken wurden und werden folglich häufig an dem Maßstab Fotorealismus gemessen.

Doch nicht immer ist es nützlich Computergrafiken möglichst fotorealistisch zu gestalten. Abhängig vom Einsatzgebiet einer Grafik kann es von Vorteil sein, gerade durch nicht fotorealistische Darstellungsweisen Aspekte, wie z.B. relevante Informationen oder die Bedeutung von wichtigen Bildinhalten, hervorzuheben. Computergrafiken, die derart mittels Non-Photorealistic Rendering -Techniken erstellt werden, müssen folglich vielmehr danach bewertet werden, wie gut sie Inhalte kommunizieren und Bedeutung bzw. Informationen übermitteln können. [vgl.Gooch/Gooch2001,S.1]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.1: Beispielhafte NPR-Darstellungen^[1]

Die vorangegangene Abbildung zeigt eine beispielhafte Auswahl der vielfältigen Darstellungsmöglichkeiten durch NPR. Die linke Darstellung des abgebildeten Maschinenteils wurde auf konventionelle – also möglichst fotorealistische – Art und Weise berechnet. Alle vier Maschinenteile auf der rechten Seite sind anschließend auf Basis der gleichen Vorlage durch Anwendung verschiedener NPR-Techniken entstanden.

Zur Beschreibung des Nutzens und der Vorteile von Non-photorealistic Rendering werden im Folgenden drei Beispielsituationen genannt, in denen die Anwendung von NPR – oft im Gegensatz zu einer rein fotorealistischen Grafik – vorzuziehen ist.

Das Röntgenbild einer Verletzung, beispielsweise einer Knieverletzung, dient als erstes Beispiel. Für einen Laien ist ein Röntgenbild schwer zu „lesen“ und Einzelheiten sind für den ungeschulten Betrachteter kaum zu erkennen. Wird das Bild jedoch mit Hilfe von NPR und Computertechnik angereichert und werden wichtige Details optisch hervorgehoben, so können relevante Informationen gezielter übermittelt werden. Ein Patient könnte so seine Verletzung und den Behandlungsvorgang viel besser nachvollziehen. [vgl.Gooch/Gooch2001,S.2]

Ein zweites Beispiel ist die Fotografie eines Automotors. Diese Fotografie könnte gute Dienste leisten, um das dazugehörige Auto an einen Kunden zu verkaufen. Muss der abgebildete Motor jedoch repariert werden, so ist einem Mechaniker mit dieser Aufnahme wenig geholfen. Viel mehr Unterstützung bei dieser Aufgabe böte z.B. eine vereinfachte technische Zeichnung des Motors, bei der die für die Reparatur relevanten Stellen optisch hervorgehoben und besser zu erkennen sind. Auch diese Darstellung könnte mit Hilfe von Computertechnik und Non-Photorealistic Rendering erstellt werden. [vgl.Akenine-Möller/Haines2002,S.281]

Als letztes Beispiel dient die Architektur. Die Erstellung von handgefertigten Darstellungen hat in der Architektur eine jahrhundertelange Tradition. Inzwischen wählen Architekten für die Zeichnung ihrer Entwürfe häufig die Unterstützung von Computerprogrammen, meistens von so genannten CAD-Systemen (Computer Aided Design-System). Ausdrucke dieser Programme entsprachen früher dabei exakt dem im Computer erstellten Modell und vermittelten daher den Eindruck eines bereits „vollendeten“ Entwurfs. Wenn es sich jedoch nur um einen ersten Grobentwurf handelte, störte viele Architekten diese makellose und exakte Darstellung. Oft zeichneten sie mit Pauspapier einen solchen Ausdruck per Hand „ungenauer“ und skizzenhafter nach. Diese Zeichnung konnte dann dem Kunden als erster Grobentwurf, der den Status der Unvollendetheit besser vermittelte, vorgelegt werden. Diese Problematik wurde erkannt, so dass NPR-Techniken – so genannte Sketch-Renderer – entwickelt wurden, die den Arbeitsschritt des ungenauen Zeichnens nun ebenfalls für einen Architekten am Computer übernehmen. Strothotte et al. nahmen sich beispielsweise 1994 dieser Thematik an. [vgl.Strothotteetal.1994]

Schumann et al. führten 1996 zu diesem Thema eine empirische Studie durch, die an dieser Stelle zusätzlich für eine Nutzensargumentation von NPR-Techniken aufgeführt sei. Das Thema der Studie war der Vergleich eines architektonischen Bauentwurfs, der auf drei verschiedene Weisen computergrafisch dargestellt wurde:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2: Drei computergrafische Varianten eines Architekturentwurfs^[2],^[3]

Das Drahtmodell der ersten Darstellung (a) wurde mit Hilfe eines CAD Programms namens AutoCAD TM erstellt. Die schattierte Grafik (b) entstand mit dem Programm RenderMan TM. Die Zeichenskizze (c) wurde mit Hilfe eines Sketch-Renderers erstellt. [vgl.Schumannetal.1996,S.37]

In einer Befragung von ungefähr 150 Architekten und Architekturstudenten in Deutschland wurde dabei unter anderem die folgende Hypothese untersucht:

„H1 For presentations of early drafts of architectural designs, sketches are the preferred over CAD plots and shaded images.” [Schumannetal.1996,S.37]

Es wurde also erwartet, dass die Befragten für den Frühentwurf einer Bauzeichnung die Variante (c) bevorzugen würden. Insgesamt 54 der befragten Personen (36%), von denen wiederum 67% angaben, dass sie regelmäßig mit einem CAD-Programm arbeiteten, antworteten auf den Fragebogen. Auf die Frage, welche der drei Darstellungen sie einem Kunden als Erstentwurf vorlegen würden, legten sich 52,8% auf die Skizze, nur 33,3% auf die CAD-Darstellung sowie 22,2% auf die schattierte Darstellung fest. Hauptsächlich begründeten sie dies mit dem Argument, dass die skizzierte Darstellung den unvollständigen und vorläufigen Charakter eines Erstentwurfs betone und noch nicht zu sehr auf Details fokussiere, die in diesem Stadium noch gar nicht konkret festgelegt seien. Im Gegensatz dazu wählten nur 8,3% die Skizze gegenüber 50% für die CAD-Darstellung sowie 41,7% für die schattierte Darstellung für eine Präsentation der finalen Entwurfsversion beim Kunden. [vgl.Schumannetal.1996,S.38ff]

Aus den genannten Beispielen und dem Befragungsergebnis wird deutlich, dass eine nicht-fotorealistische Darstellung in vielen Situationen und Handlungsfeldern hilfreicher und informativer sein kann als eine exakte, möglichst physikalisch realistische oder gar fotorealistische Darstellung. So stellen auch Strothotte und Schlechtweg in einem Vergleich der Fotografie mit handgefertigten künstlerischen Darstellungen fest:

„Both before photography and after its advent, artists have made effective use of deviating from ‚realistic’ renditions of scenes. This freedom to encode an impression rather than being forced to follow physical constraints is considered the key to conveying information.” [Strothotte/Schlechtweg2002, S.6]

Die im Zitat angesprochene Übermittlung von Informationen strebt auch das Non-photorealistic Rendering als eines seiner Ziele an:

”The goal of NPR is to enable users to lead human-computer dialogs with information exchange in a graphical form. The style of the images generated should be flexible so as to be most appropriate for the dialog at hand.” [Strothotte/Schlechtweg2002,S.24]

Das Non-photorealistic Rendering beschreibt daher schon durch die Wortwahl selbst seine wichtigste Eigenschaft: Das Erstellen von Darstellungen, welche nicht dem fotorealistischen und physikalisch korrekten Abbild einer Vorlage entsprechen – meist im Sinne eines verbesserten grafischen Informationsaustauschs – ist das Ziel.

Der Begriff Non-photorealistic Rendering steht stellvertretend für eine Reihe vieler weiterer Bezeichnungen, die sich im Laufe der Forschung in diesem Bereich etabliert haben. So ist beispielsweise der Fokus einiger Techniken rein auf „Non-realism“ gesetzt und der Terminus „Non-photo“ wird eher nebensächlich oder gar nicht berücksichtigt. Abhängig von der Sichtweise und dem Ziel der verschiedenen Techniken gibt es weitere Begriffe, die Teilbereiche oder ähnliche Bereiche wie der Begriff Non-Photorealistic Rendering abdecken. Auszugsweise seien an dieser Stelle einige aufgezählt [vgl. Strothotte/Schlechtweg 2002, S. 10ff.]:

- Non-realistic Rendering: Dieser Terminus wurde erstmals von den Organisatoren der Eurographics’99-Konferenz gebraucht. Er steht unabhängig von der Berücksichtigung der Prämisse „Nicht-Fotorealismus“ dafür, dass Objekte nicht in ihrer exakten Beschaffenheit und Form computergrafisch wiedergegeben werden müssen, sondern ihr Erscheinungsbild vielmehr auch nicht realistisch sein kann.

- Comprehensible Rendering: Das Comprehensible Rendering beschreibt Verfahren, die auf eine bessere Verständlichkeit und Nachvollziehbarkeit einer gerenderten Computergrafik fokussieren. Die Grafik soll für einen Betrachter möglichst gezielt und verständlich Informationen übermitteln. Saito und Takahashi [Saito/Takahashi1990], die diesen Begriff prägten, hatten dabei besonders die Anreicherung von 3D-Grafiken durch beispielsweise Farbgebung oder verstärkte Darstellung wichtiger Kanten, Linien und Formen im Blickfeld.

- Illustrative Rendering: Der durch Dooley und Cohen [Dooley/Cohen1990a, 1990b] erstmals gebrauchte Begriff ist vielleicht derjenige, der sich am meisten auf die Funktion der Bedeutungs- und Informationsübermittlung von Computergrafiken und NPR bezieht. Das Illustrative Rendering möchte mit Hilfe von zumeist vereinfachten und auf Wesentliches beschränkten Darstellungen von Computergrafiken, beispielsweise eines technischen 3D-Modells, dem Betrachter möglichst gezielt die wichtigsten Bildinhalte übermitteln.

- Artistic Rendering: Viele Forschungen im NPR-Bereich haben sich auf das Simulieren von Kunsttechniken konzentriert. So werden auf der einen Seite beispielsweise die Verfahrensweisen, wie z.B. Bleistiftzeichnungen oder Pinselmalerei, computergrafisch simuliert. Auf der anderen Seite gibt es aber auch Techniken, die einen eigenen künstlerischen Anspruch stellen oder gar die Techniken bestimmter Künstler oder Kunststile möglichst genau zu kopieren versuchen. All diese Techniken lassen sich gut unter dem umfassenden Begriff Artistic Rendering zusammenfassen, welcher erstmals unter Lansdown und Schofield [Lansdown/Schofield1995] Verwendung fand.

Anhand dieser nicht vollständigen Aufzählung lässt sich bereits erahnen, wie vielfältig und ausgeprägt die betrachtete Thematik ist. Trotz der genannten Alternativen steht in dieser Arbeit der Begriff Non-photorealistic Rendering, abgekürzt NPR, stellvertretend für das gesamte Handlungsfeld. Er ist zum einen der aktuell in der Fachliteratur und international am meisten gebrauchte Terminus, zum anderen gibt er durch die Wortwahl selbst eine globale Beschreibung des Handlungsfeldes, welche die Bereiche der alternativen Begriffe gut unter sich vereinen kann.

Auch Strothotte und Schlechtweg gebrauchen in ihrem Lehrbuch zunächst den übergreifenden Begriff „Non-photorealistic Computer Graphics“, berufen sich für die Beschreibung des Handlungsfeldes aber ebenfalls spezifisch auf das Non-photorealistic Rendering:

„The term of non-photorealistic computer graphics has come to denote the area of scientific and technological endeavor dealing with the computer generation of images and animations that, generally speaking, appear to be made in part ‘by hand.’ Such images often resemble those that, for example, architects, industrial artists, or scientific illustrators produce to communicate more or less specific information, often accompanied by text. They are characterized by their use of randomness, ambiguity, or arbitrariness rather than completeness and adherence to the portrayed objects’ properties. Non-photorealistic computer graphics involves all phases of processing that computer graphics in general uses. By far the most work has been done in what is denoted in this book by non-photorealistic rendering (NPR).” [Strothotte/Schlechtweg2002,S.xvii]

Der Effekt, etwas sehe wie „von Hand gemacht“ aus, spielt also eine große Rolle beim Non-photorealistic Rendering. Die Inspiration und geschichtliche Herkunft der meisten NPR-Techniken liegen daher häufig in handgefertigten Darstellungen. Beispielsweise stehen Gemälde, Zeichnungen, Karten, Cartoons, technische oder medizinische Illustrationen und viele andere handgefertigte Werke Modell für die Entwicklung von NPR-Techniken. Nicht selten geben sie zugleich auch den Maßstab und das Ziel vor, den die Techniken anstreben und erreichen wollen.

2.2 Geschichtliche Entwicklung

Nachdem vorangehend eine Einführung in die Thematik Non-photorealistic Rendering stattgefunden hat, betrachtet dieses Kapitel die geschichtliche Entwicklung und die Anfänge im Bereich der Forschung zu NPR. Das Kapitel ist chronologisch aufgebaut und erläutert auszugsweise anhand von wichtigen Veröffentlichungen den Verlauf der Entstehung erster NPR-Techniken.

Die Veröffentlichung der ersten Forschungsarbeiten zum Thema NPR fand in den 80er Jahren statt. Hierbei ging es zunächst um Versuche, handgefertigte Darstellungen und deren Techniken zu simulieren. Strassmann [Strassmann1986] stellte eine Technik für das Simulieren von Pinselstrichen (Hairy brushes) vor. Mit seinem Prototyp konnte ein Benutzer am Computer interaktiv Pinselstriche zeichnen. Das Rendern eines Striches konnte dabei jedoch noch bis zu zwei Minuten dauern. Dennoch verband er mit der Entwicklung seines Systems die Hoffnung, dass sich gar Animationen, in diesem Fall von Pinselmalereien, erstellen lassen würden. Auch dies gelang ihm in einem ersten Prototyp.

Sasada [Sasada1987] stellte in seinem Paper verschiedene Techniken vor, um mit Hilfe von Computergrafik Darstellungen von Landschafts-, Luft- und Seeansichten zu simulieren. Dabei entnahm er die Konventionen zur grafischen Darstellung aus handgefertigten Gemälden und Illustrationen und konzentrierte sich hauptsächlich auf verschiedene Arten von Schraffiertechniken. Sein Ziel war es, durch die Anwendung seiner Technik, den Berechnungsaufwand für die Darstellung von Landschaftsaufnahmen – beispielsweise bei der Animation von Städten in ihrem geografischen Kontext – reduzieren zu können.

Vermeulen und Tanner hatten mit ihrem System namens PencilSketch [Vermeulen/Tanner1989] die Simulation von Bleistiftzeichnungen zum Ziel. Mit der Maus konnte ein Benutzer interaktiv auf einer zweidimensionalen Ebene den Härtegrad des Bleistifts, den Druck, mit dem er aufgesetzt wurde, und die Richtung der gezeichneten Striche beeinflussen.

Weniger an der Simulation einer Technik an sich als an dem Gesamtergebnis orientierte sich Haeberli [Haeberli1990]. Die Möglichkeit, anstelle von fotorealistischen Darstellungen eine abstrakte Darstellungsweise zu wählen, motivierte seine Arbeit. Er sah darin eine Möglichkeit, Bildinhalte besser vermitteln zu können:

„Graphic designers are experts at visual communication. In their work, graphic designers use photographic images when they are appropriate, but often chose to use more abstract images such as drawings or paintings. In many cases the designer must balance realism and effectiveness. Sometimes a realistic photographic image may be less effective than a stylized image.” [Haeberli1990,S.207]

Die Erkenntnis, dass sich ein „stilisiertes Bild“ im Vergleich mit einem fotorealistischen Bild als geeigneter erweisen kann, erhielt also schon von Beginn an Einzug in die Entwicklung von NPR-Techniken.

Haeberli entschied sich, die Methoden der impressionistischen Maltechnik computergrafisch zu simulieren. Diese Maltechnik ist seiner Meinung nach besonders geeignet, die visuellen Informationen eines Bildes zu kontrollieren und zu bestimmen. So entwickelte er eine Methode, mit der künstliche oder echte Darstellungen interaktiv in ein digitales impressionistisches Gemälde umgewandelt werden konnten. Der Benutzer konnte dabei durch Bestimmung von Attributen, wie Position eines Pinselstriches, Farbgebung, Strichbreite, Strichrichtung und Strichform, Einfluss auf die Gestaltung des Bildes nehmen und hatte so die Möglichkeit individuell Details hervorzuarbeiten. Die folgende Abbildung zeigt grob die schrittweise Erstellung eines Gemäldes mit der Technik von Haeberli:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3: Schrittweise Erstellung und Verfeinerung eines digitalen Gemäldes^[4]

Ebenso wie zweidimensionale Vorlagen konnten auch dreidimensionale Computergrafiken mit seiner Technik in eine gemäldeähnliche Darstellung umgewandelt werden.

Nach der anfänglich verstärkten Konzentration auf die Simulation von Kunst- bzw. Maltechniken wurde 1990 durch Saito und Takahashi [Saito/Takahashi1990] eine weitere wichtige Veröffentlichung in der Entwicklung von NPR-Techniken – diesmal abseits der Kunstthematik – vorgestellt. Der Fokus der Autoren lag in der Darstellung von dreidimensionalen Objekten, welche mit Hilfe verschiedener Techniken optisch verständlicher als eine rein fotorealistische Darstellungsweise gestaltet werden sollten. Das Ziel war in ihren Worten das Erreichen einer „enhanced visual comprehensibility“. Wie bereits im vorherigen Kapitel erwähnt, prägten diese Autoren daher den Begriff Comprehensible Rendering.

Zur verbesserten Sichtbarkeit von Umrissen, Rändern und Kanten wurde ein Verfahren vorgestellt, welches diese durch Grenzlinienzeichnung, bevorzugt in schwarzer und/oder weißer Farbe, noch mehr betonte. Eine verstärkte Darstellung von Schattierung und Formgebung, insbesondere von runden Objekten, wurde durch das Auftragen von Schraffuren (Hatching) erreicht. Nach einer Einführung in die vorgestellten Techniken merken Saito und Takahashi an:

„These techniques are commonly used in hand drawn illustrations. However they have not been adequately developed for computer graphics compared to photorealistic rendering techniques.” [Saito/Takahashi1990,S.197]

Es ist also festzuhalten, dass auch an dieser Stelle handgefertigte Darstellungen, insbesondere aus der Industrie und Medizin, als Vorlage für die Entwicklung der Techniken dienten. Ebenso wird nochmals klar, dass die vorgestellten Techniken nicht mehr dem Photorealistic Rendering, sondern einer bis dahin begrifflich noch nicht geborenen neuen Kategorie des Non-photorealistic Rendering zuzuordnen sind. Diese neue Kategorie liegt zu diesem Zeitpunkt offensichtlich in der Entwicklung noch deutlich hinter der des Photorealistic Rendering zurück.

Die Anwendung ihrer Techniken bauten Saito/Takahashi auf einem so genannten Geometric Buffer (G-Buffer) Set auf, welches verschiedene geometrische Informationen zu jedem einzelnen Pixel des dargestellten Objekts abgespeichert hält. Dieses Buffer Set wird während des normalen Renderingvorgangs erstellt. Anschließend können die „Enhancement“-Techniken auf Basis der einzelnen Buffers angewendet werden.

Das folgende Beispielbild zeigt, wie durch das G-Buffer Set zunächst einzelne Komponenten, wie Schattierung, Konturen und Schraffuren berechnet, und zu verschiedenen optisch aufgewerteten Darstellungen kombiniert werden können^[5]:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.4: Comprehensible Rendering an einem runden Objekt^[6]

Die Eigenschaften der G-Buffer machten sie sich für einige weitere Anwendungsbereiche, wie für die verbesserte Darstellung topografischer Karten oder auch medizinischer Darstellungen, zu Nutze. In der folgenden Abbildung des CT-Scans eines Schädels wurde der G-Buffer genutzt, um topografische Tiefeninformationen farblich hervorzuheben. Dabei wird deutlich, dass durch die farbliche Visualisierung (b) Öffnungen im Schädel besser sichtbar werden, die in der normal konventionell berechneten und schattierten Abbildung (a) gar nicht oder nur schwerlich aufgefallen wären:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.5: Farbliche Visualisierung eines CT-Scans^[7]

Mit der verbesserten Darstellung von dreidimensionalen Modellen befassten sich im gleichen Jahr auch Dooley und Cohen [Dooley/Cohen1990a,1990b]. Ihre beiden Veröffentlichungen bezogen sich auf eine verbesserte illustrative Darstellung von – insbesondere für den Betrachter normalerweise verborgenen – Linien und Flächen. Die Referenzen für die Visualisierung nahmen sie in diesem Fall aus der traditionellen technischen Darstellungsweise von Modellzeichnungen und formten sie in Regeln und Techniken um, die eine automatische Erzeugung illustrierter dreidimensionaler Modelle erlaubte. Der Begriff Illustrative Rendering geht daher auf diese Autoren zurück.

Auch wenn die bisher genannten Techniken schon Gemeinsamkeiten und Ähnlichkeiten aufweisen, so wurden sie bis dato eher isoliert voneinander entwickelt und ein Finden einer gemeinsamen Basis fand noch nicht statt. Eine Zusammenfassung der verschiedenen entwickelten Techniken, beispielsweise unter einem Obergriff Non-photorealistic Rendering, gab es ebenfalls noch nicht. Dies änderte sich Mitte der 90er Jahre, wo auf den Konferenzen SIGGRAPH und Eurographics Paper [z.B. Salisburyetal.1994, Winkenbach/Salesin1994, Strothotteetal.1994] vorgestellt wurden, die die Gemeinsamkeiten der vorliegenden Techniken und Prinzipien erfassten und somit die Ära eines gemeinsamen Forschungsgebiets Non-photorealistic Rendering einläuteten. Nach deren Veröffentlichung 1994 gab es erstmals internationale Konferenzen, die den Bereich „Non-photorealistic Computer Graphics“ in ihr Programm aufnahmen. Ein erstes Symposium, nur auf das Thema NPR bezogen, wurde im Jahr 2000 durchgeführt. [vgl.Strothotte/Schlechtweg2002, S.xvii]

Salisbury et al. [Salisburyetal.1994] waren die Herausgeber eines der angesprochenen Paper von 1994. Das Thema war die interaktive Erstellung von Pen-and-Ink Illustrations, also von Federzeichnungen. Ihr System ermöglichte es Benutzern, interaktiv am Computer – hauptsächlich auf Basis von Strichen und Texturen – digitale Zeichnungen im Pen-and-Ink -Stil erstellen zu können. Bei der Vorstellung des Systems und des Arbeitsfeldes nehmen sie dabei unter anderem Referenz auf bereits genannte Autoren, wie Strassmann, Haeberli oder auch Saito und Takahashi.

Mit der gleichen Thematik befasste sich auch die Veröffentlichung „Computer-Generated Pen-and-Ink Illustration“ von Winkenbach und Salesin [Winkenbach/Salesin1994], ebenfalls aus dem gleichen Jahr. Stand bei Salisbury et al. eher das interaktive digitale Malen und Zeichnen im Vordergrund, so widmete sich dieses Paper der Simulation von Pen-and-Ink- Techniken unter dem Aspekt der besseren Übertragung von Informationen durch in dieser Art stilisierte Illustrationen. Die Vorteile sahen die Autoren unter anderem darin, dass stilisierte Illustrationen Details hervorheben oder weglassen, den Fokus auf relevante Bildinhalte lenken, Formen vereinfacht und verständlicher darstellen oder auch eigentlich versteckte Bildinhalte zum Vorschein bringen können. Sie strebten zu diesem Zweck ein System zur automatisierten Erstellung von Federzeichnungen an – mit nur geringer Interaktivität des Benutzers. Ihren Ausgangspunkt setzten sie in der Simulation der Darstellung von architektonischen Formen. Dabei konnten sie sich aus einem großen Repertoire an Regeln und Konventionen aus der klassischen Erstellung von Architekturzeichnungen bedienen. Die folgende Abbildung zeigt ein Beispiel ihrer Arbeit:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.6: Pen-and-Ink-Darstellung eines Häuserdaches^[8]

Die Federzeichnungen in der Abbildung wurden auf Basis von vorliegenden 3D‑Modellen erstellt. Die rechte Abbildung zeigt dabei besonders, wie detailreich das System Architekturzeichnungen simulieren konnte.

Bemerkenswert ist, dass Winkenbach und Salesin in ihrer Arbeit den betrachteten Themenbereich bereits als „area of ‚non-photorealistic rendering’“ [Winkenbach/Salesin1994, S.91] bezeichnen. Auch sie berufen sich auf vorangegangene Arbeiten von beispielsweise Saito und Takahashi oder auch Dooley und Cohen. Die Zusammenhänge im Bereich NPR wurden folglich durch solche und ähnliche Arbeiten nach und nach hergestellt und auch die Begriffsfindung für das gemeinsame Arbeits- und Forschungsgebiet nahm Konturen an.

Der Begriff Non-photorealistic Rendering wurde endgültig 1995 durch Lansdown und Schofield etabliert. Mit ihrer Arbeit „Expressive Rendering: A Review of Nonphotorealistic Techniques” [Lansdown/Schofield1995] waren sie zugleich die Ersten, die die Problemstellungen und Aufgabenfelder von NPR strukturierten und den bis dato bestehenden Forschungsstand zu einem strukturierten Gesamtüberblick zusammenfassten.

Das erste Buchwerk, welches das Non-Photorealistic Rendering zum Thema hatte, folgte 2001 – mit dem gleichnamigen Titel – durch Gooch und Gooch [Gooch/Gooch2001]. Die Autoren legten ihren Schwerpunkt besonders auf die verschiedenen Facetten von künstlerischem (Artistic) Rendering. Bezogen auf den geschichtlichen Hintergrund der Rendering-Techniken stellen sie beispielsweise fest:

„Knowledge and techniques long used by artists are now being applied to computer graphics to emphasize specific features of a scene, expose subtle attributes, and omit extraneous information to give rise to a new field. NPR brings together art and science, concentrating less on the process and more on the communication content of an image.” [Gooch/Gooch2001,S.2]

Betrachtet man das Artistic Rendering, so beginnt die geschichtliche Entwicklung der NPR-Techniken, die nun im Bereich der Computer Grafik Anwendung finden, folglich lange bevor es die ersten Computer gab, mit der Entstehung der verschiedenen Kunsttechniken und der Benutzung der entsprechenden Werkzeuge (Pinsel, Tusche, Bleistift,…). Doch auch die meisten anderen NPR-Techniken haben, wie bereits im vorherigen Kapitel erwähnt, größtenteils ihren Ursprung oder ihr Vorbild in Darstellungsarten und -formen, die von Hand gemacht und weit vor dem Computerzeitalter entwickelt wurden.

Auf einen noch umfassenderen Überblick der Thematik NPR bedacht, gaben im Jahr 2002 Strothotte und Schlechtweg ihr Buch „Non-Photorealistic Computer Graphics“ heraus [Strothotte/Schlechtweg2002]. Ähnlich wie Lansdown und Schofield 1995 versuchen sie, den Bereich durch eine sehr strukturierte Herangehensweise in seiner Ganzheit zu erfassen und zu gliedern. Dabei fassen sie allgemeine Strukturen und Ähnlichkeiten der verschiedenen Techniken zusammen und bauen anhand dieser Strukturen die Inhalte in ihrem Buch auf.

Im Jahr der Herausgabe des Buches waren es bereits etwas über 300 Veröffentlichungen [vgl.Strothotte/Schlechtweg2002, S.xvii], die zum Themenkomplex NPR herausgegeben worden sind. Inzwischen ist diese Zahl auf weit über 1000 [vgl. Schlechtweg2007] angestiegen und die Frequenz der Veröffentlichungen nimmt stetig zu.

2.3 Struktur

Dieses Kapitel befasst sich mit einem Überblick über die allgemeinen Strukturen von NPR-Techniken. Es lehnt sich dabei insbesondere an die Arbeit von Strothotte und Schlechtweg [Strothotte/Schlechtweg2002] an, die in ihrem Buch die wohl bisher umfassendste Zusammenfassung der verschiedenen Eigenschaften und Strukturen von NPR-Techniken geben.

Ihren Ansatz beginnen die Autoren mit der Zergliederung eines gerenderten Bildes in so genannte Artefakte (artifacts), auf welche sie ihre Erarbeitung der Strukturen stützten. So ziehen sie mit Hilfe des Artefakt-Begriffs einen Vergleich der unterschiedlichen Ansätze bzw. Philosophien des Photorealistic und Non-photorealistic Rendering:

„One of the key distinctions to be made between NPR and photorealistic rendering pertains to artifacts of the renditions produced. In photorealistic rendering [kursive Markierung durch den Verfasser dieser Arbeit], the goal is that all artifacts of the image correspond to features of the underlying model. Another way of formulating this is to say that all object artifacts are to be encoded in an image, and nothing else. […] This way, each detail of the rendition (ideally) corresponds directly to a detail in the geometric model. […] In NPR [kursive Markierung durch den Verfasser dieser Arbeit], by contrast, artifacts encoded within an image may stem from one of several sources. We must differentiate between the image, the geometric model from which it was generated, and the object itself that is modeled and portrayed in the rendition. Indeed, artifacts in an image may result from the manner or style in which the geometric model is rendered; we will refer to these as image artifacts. Moreover, artifacts in an image may result from the way in which the geometric model represents the original object; we will call these model artifacts.” [Strothotte/Schlechtweg2002, S.12f.]

Beim Photorealistic Rendering gibt es also im idealen Fall in der gerenderten Darstellung nur Artefakte (hier: object artifacts), welche exakt dem zugrunde gelegten Modell entsprechen. Artefakte, die zusätzlich während des Renderingvorgangs entstehen und nicht dem Modellobjekt entsprechen, werden möglichst akribisch aus fotorealistischen Darstellungen entfernt. So treten beim Rendern von Bildern häufig durch den Aliasing-Effekt hervorgerufene Artefakte auf, welche in der Darstellung später beispielsweise als „Moiré-Muster“ zu sehen sind. Diesen Artefakten wird durch ein gezieltes so genanntes Anti-aliasing während des Renderingvorgangs entgegengewirkt.

Im Gegensatz dazu ist es beim Non-photorealistic Rendering nicht nur erlaubt, sondern geradezu gewollt, dass Artefakte in der gerenderten Darstellung in einer gewünschten Art und Weise vom vorgegebenen Modell abweichen. Wie auch Lansdown und Schofield anmerken, ist es gerade die Art des Zusammenhangs zwischen einer gerenderten Darstellung und seinem Vorlagemodell, welche das Non-photorealistic Rendering vom Photorealistic Rendering unterscheidet:

„We suggest that photorealism is wholly concerned with the credible projection of 3D artifacts into 2D artifacts, so that everything seen in the image is supposed to ‘exist’ in 3D also. By comparison, NPR is much more concerned with the image plane in isolation from the 3D scene it represents. NPR techniques employ a tendency to impose 2D artifacts in the image plane that clearly do not exist in world space […].”[Lansdown/Schofield1995, S.36]

Entsprechend der Dimensionalität einer Vorlage, gibt es zwei Arten von Artefakten, die Strothotte und Schlechtweg für das NPR unterscheiden:

- Bild-Artefakte: Bild-Artefakte (image artifacts) entstehen auf Basis eines zugrunde gelegten Bilds oder einer Grafik, welche als Quelle und Grundlage für die Berechnung einer NPR-Darstellung dient. Dabei werden bewusst Veränderungen an der Darstellung des Bildes im Vergleich zum Original vorgenommen. Ein Beispiel für die Anwendung von NPR mit Hilfe von Bild-Artefakten ist die bereits vorgestellte Technik von Haeberli, welche ein Vorlagenbild in ein impressionistisches Gemälde überführt. Die Bild-Artefakte der so neu kreierten Darstellung entsprechen also nur noch bedingt dem Vorlagenbild und weichen durch die Maltechnik an vielen Stellen beispielsweise in Form und Farbe von der Vorlage ab.
- Modell-Artefakte: Baut eine NPR-Technik nicht auf einem Bild, sondern einem geometrischen Modell auf, so betrachtet man die Abweichung zu dieser Vorlage anhand von so genannten Modell-Artefakten (model artifacts). Das bedeutet, dass im Vergleich zum zugrunde liegenden geometrischen Modell Änderungen vorgenommen werden, die dieses in der gerenderten Darstellung anders erscheinen lassen. Die Modell-Artefakte entsprechen in diesem Fall also nicht der Vorlage, sondern werden – meistens zur verbesserten grafischen Abstraktion einer Darstellung – verändert. So kann es sein, dass zur Hervorhebung bestimmter Bildinhalte Verformungen, Weglassungen oder gar Erweiterung am vorliegenden Modell vorgenommen werden. Ein Beispiel für die Veränderung von Modell-Artefakten ist der bereits kurz erläuterte Sketch-Renderer von Strothotte et al., der einen als geometrisches Modell vorliegende Architekturentwurf derart abändert, dass die Linien, die den Entwurf darstellen, nicht mehr exakt gerade entlang des vorgegebenen Modells verlaufen, sondern in einer skizzenhaften Weise davon abweichen. Die Modell-Artefakte weichen in diesem Fall also anhand der geometrischen Ausrichtung teilweise von der Vorlage des Modells ab und verformen die Darstellung somit gewissermaßen.

Darüber hinaus existieren Techniken, die sowohl die Bild- als auch die Modell-Artefakte einer Darstellung beeinflussen. Dies veranschaulicht die vorgestellte Technik von Winkenbach und Salesin zur Darstellung von Architekturentwürfen als Federzeichnungen. Darin nehmen sie zum einen Veränderungen am geometrischen Modell vor, indem beispielsweise Kanten des Modells nur angedeutet oder ganz weggelassen werden. Zusätzlich kann die Darstellung des Modells mit Texturen gefüllt werden und der Anwender erhält die Möglichkeit, mit einem so genannten Indication -Verfahren bestimmte Regionen in der Darstellung als markante Stellen hervorzuheben. Darauf basierend, werden nur noch Texturen rund um diese Stellen dargestellt, und der Anwender hat somit eine Veränderung an den vorhandenen Bild-Artefakten vorgenommen. Die folgende Abbildung zeigt eine Darstellung vor (rechts) und nach (links) der Anwendung des Indication -Verfahrens:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.7: Anwendung von Indication an einem Architekturentwurf^[9]

Es wird deutlich, dass für die Berechnung sowohl der Bild- als auch Modell-Artefakte­­ – also für die Anwendung von NPR-Techniken im Allgemeinen – Informationsquellen verschiedener Art benötigt werden. Diese Informations- oder Datenquellen bilden sozusagen den „Input“ für die Non-photorealistic Rendering Verfahren und lassen sich nach ihrer Dimensionalität unterscheiden:

- Lineare Daten: Datenquellen, die auf der Basis von Symbolen (beispielsweise die Schriftsprache) bestehen, werden als lineare, also eindimensionale Daten bezeichnet. Ein NPR-Algorithmus könnte z.B. den Untertitel eines Bildes nach bestimmten Schlüsselwörtern untersuchen und anhand eines gefundenen Schlüsselwortes den darin beschriebenen Inhalt im Bild suchen und hervorheben. Der Begriff information visualization beschreibt Verfahren, die sich genau mit diesen und ähnlichen Zielsetzungen befassen, nämlich dem Umwandeln von ursprünglich nicht-geometrischen Daten in geometrische Daten.
- Zweidimensionale Daten: NPR-Darstellungen können, wie schon anhand von einigen Beispielen erläutert, aus anderen zweidimensionalen Bildern und Datenquellen erstellt werden. So könnte beispielsweise ein zweidimensionales Bild mit einem Algorithmus zur Erkennung von Kanten so überarbeitet werden, dass in der NPR-Darstellung die gefundenen Kanten und Ränder durch so genanntes Edge Enhancement visuell hervorgehoben werden.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.8: Edge Enhancement am Querschnitt-Scan eines Gehirns^[10]

Wie in der Abbildung zu sehen ist, finden solche Verfahren unter anderem in der medizinischen Illustration Anwendung, um Unterstützung bei der Diagnose zu bieten.

- 2½-dimensionale Daten: Zusätzlich zu einer zweidimensionalen Vorlage benötigen manche Verfahren ergänzende Datenquellen, die Informationen über die dreidimensionalen Eigenschaften dieser Vorlage liefern. Ein gutes Beispiel für solch eine zusätzliche Datenquelle ist der G-Buffer, den Saito und Takahashi einführten. Dieser ist zwar zweidimensional aufgebaut, enthält aber beispielsweise Informationen zu den Normalenvektoren jedes Bildpixels. Es liegt also eine zweidimensionale Datenquelle vor, die zusätzlich dreidimensionale Informationen enthält. Daher wird diese Zwischenform als 2½-dimensionale Datenquelle bezeichnet.
- Dreidimensionale Daten: Die wohl umfangreichste Quelle für einen NPR-Algorithmus ist ein dreidimensionales geometrischen Modell eines Objekts, da es die größtmögliche Informationsfülle zulässt. So lassen sich Informationen (z.B. Tiefeninformationen oder Kantenfindung), die aus einer geringer dimensionalen Datenquelle nur aufwändig oder ungenau herauszulesen sind, bei einem dreidimensionalen Datensatz problemlos ermitteln.

Sowohl Bild- als auch Modell-Artefakte lassen sich auf Basis jeder dieser Datenquellen berechnen. Nachdem die Art der Datenquelle(n) feststeht, stellt sich die Frage, wie und nach welchen Vorgaben die Ansammlung an daraus zu erzeugenden Artefakten strukturiert und organisiert werden soll. Dazu gibt es grob zusammengefasst drei verschiedene Methoden:

- Zufällige statistische Streuung: In manchen Situationen macht es Sinn, die Artefakte in einer Darstellung rein zufällig durch eine statistische Streuung darzustellen. Wenn es sich in einer NPR-Darstellung um Bild-Artefakte handelt, hilft eine solche zufällige Anordnung zu verdeutlichen, dass es sich um Artefakte eine Bildes handelt, die beispielsweise nicht anhand einer streng geraden Kante eines Modells ausgerichtet wurden.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.9: Zufällig statistische Streuung von Bildpunkten^[11]

Die vorstehende Abbildung zeigt die Anordnung von Bildpunkten zur Darstellung der Helligkeit einer Fläche vor (links) und nach (rechts) Anwendung einer zufälligen statistischen Streuung. Die linke Darstellung könnte von einem Betrachter aufgrund der Regelmäßigkeit der Anordnung der Punkte auch als eine Struktur oder Eigenschaft der dargestellten Fläche missverstanden werden, wohingegen die rechte Abbildung die gleiche Helligkeit der Fläche darstellt, jedoch durch ihre Unregelmäßigkeit aufgrund der statistischen Streuung nicht den gleichen Eindruck erwecken wird.

- Willkürlichkeit: Die Wahl der Anzahl und Anordnung von Artefakten in einer Darstellung kann auch vollständig einer willkürlichen Methode überlassen werden. Zumeist wird diese Willkür jedoch durch Angabe von Grenzen, meist Ober- und Untergrenzen, auf einen für die jeweilige NPR-Technik sinnvollen Bereich eingegrenzt.

- Determinismus: Eine dritte Möglichkeit ist die Anwendung von deterministischen Methoden, die keine Willkürlichkeit oder Zufälligkeit erlauben, sondern anhand von festen Vorgaben die Darstellung der Artefakte berechnen.

Nachdem feststeht, welche prinzipiellen Methodenarten es zur Berechnung der Artefakte gibt, muss noch unterschieden werden, woher diese Methoden die Daten für ihre Funktionen bekommen. Anders ausgedrückt gibt es die folgenden Quellen, welche die Manipulation der Daten bzw. Artefakte beeinflussen:

- Geometrisches Modell: Viele Daten können – vorausgesetzt, es liegt vor – aus dem einer Darstellung zugrunde liegenden geometrischen Modell entnommen werden. Dabei muss es sich bei der geometrischen Struktur nicht zwangsläufig um ein dreidimensionales Modell handeln, sondern sie kann durchaus auch aus zwei- oder 2½-dimensionalen Vorlagen entstammen. Die Informationen aus einer geometrischen Struktur können beispielsweise für die Parametrisierung einer der angewendeten Methoden dienen.

- Benutzereingabe: Oftmals ist die Entnahme der Daten aus einem geometrischen Modell für eine zuverlässige Anwendung einer NPR-Technik nicht ausreichend genug oder aber die Technik möchte dem Benutzer mehr Entscheidungsfreiheit und Flexibilität überlassen. Dann ist es notwendig, dass Parameter für die Methoden per Benutzereingabe an das NPR-System weitergegeben werden.

- Zusätzliche Datenstrukturen: Um hochqualitative NPR-Darstellungen zu erhalten, muss die vorliegende geometrische Datenstruktur oft mit zusätzlichen Datenstrukturen angereichert werden. Beispielsweise können die unzählig vielen Polygone eines umfangreichen dreidimensionalen Modells in eine hierarchische Struktur geordnet werden und somit in kleine Objekte zerteilt werden, auf welche der Zugriff schneller möglich ist, so dass Berechnungen bzw. Datenerfassungen komfortabler durchgeführt werden können.

Zusammengefasst ist festzustellen, dass die Manipulation der Daten und Artefakte entweder automatisch auf Basis von vorliegenden Daten und geometrischen Modellen oder aber interaktiv per Benutzereingabe erfolgen kann. Viele NPR-Techniken wenden meist eine Mischform aus beiden Möglichkeiten an. So beispielsweise das vorgestellte System von Winkenbach und Salesin, welches zunächst automatisch einen Vorschlag für die Darstellung eines Architekturentwurfs generiert und den Benutzer anschließend auf die Art der Darstellung interaktiv einwirken lässt. Solche Systeme werden oft mit dem Attribut „semi-automatisch“ betitelt.

3 Grundtechniken von Non-photorealistic Rendering

Nachdem der Begriffsbereich NPR, seine geschichtliche Entwicklung und strukturellen Eigenschaften in den vorangegangenen Kapiteln erläutert wurden, widmet sich dieses Kapitel einer Einführung in einige der wichtigsten Arten von Grundtechniken, die im Non-photorealistic Rendering Anwendung finden. Das Augenmerk liegt dabei weniger auf einer ins Detail gehenden Beschreibung bestimmter Algorithmen, sondern vielmehr auf einer Erfassung der Techniken, welche die Basis für die Entwicklung weiterer, auf jeweilige Einsatzzwecke angepasster Techniken bilden. Die Grundtechniken werden in eine Grobstruktur eingegliedert und deren Forschungsstand und charakteristische Eigenschaften dargestellt. Die Unterteilung der Techniken richtet sich dabei nach der Art der Darstellung und Manipulation der Quelldaten und nicht nach der oft vielfältigen Zweckausrichtung einer Technik. Beispielsweise wird die Pen-and-Ink -Technik unter dem Aspekt der Simulation von Federzeichnungen – also der Simulation einer Kunsttechnik – und nicht, wie beispielsweise von Winkenbach und Salesin angewandt, unter dem Aspekt der Erstellung von Architekturzeichnungen eingeordnet. Denn die Zweckausrichtung „Simulation einer Architekturzeichnung“ könnte auch durch andere Techniken, wie einen Sketch-Renderer oder das Pencil Rendering, erreicht werden. Daher bilden die hier vorgestellten Grundtechniken so etwas wie einen Baukasten, aus dem heraus viele der heute entwickelten NPR-Verfahren entstehen.

3.1 Pixel Manipulation

Die folgend vorgestellten Techniken lassen sich anhand ihrer Charakteristik unter dem Begriff „Pixel Manipulation“ zusammenfassen, da sie auf Basis der Umwandlung von Pixeln operieren. Als Quelle dient eine einfache Matrix, beispielsweise erstellt aus einem zweidimensionalen Bild, in der jeder Eintrag entweder einen Grau- oder Farbwert für einen Pixel darstellt. [vgl. Strothotte/Schlechtweg2002, S.31f.]

3.1.1 Halftoning

Das so genannte Halftoning (Rasterung oder Halbton-Verfahren) beschreibt eine Methode, die im klassischen Druckbereich ihren Ursprung hat und erst später zur Erstellung von nicht fotorealistischen Darstellungen übernommen und angepasst wurde. So diente das Halftoning ursprünglich zur Umwandlung einer Vorlage in ein Bild, welches nur durch den Einsatz von schwarzer Tinte gedruckt werden konnte. Es gab also lediglich die Möglichkeit, einen Bereich entweder schwarz oder weiß darzustellen. Einfach ausgedrückt, unterteilte das Halftoning ein Bild in ein Raster, in dem jedes Feld mit einem schwarzen Punkt gefüllt wird, dessen Größe in relativer Abhängigkeit zur Intensität^[12] des darzustellenden Bereichs steht. Das Feld eines solchen Rasters entsprach der kleinsten Auflösungseinheit, die das Ausgabegerät drucken konnte. Die Halftoning Technik nutzt dabei aus, dass das menschliche Auge die einzelnen Punkte aus einer gewissen Entfernung nicht mehr differenzieren kann und somit viele Punkte zu einem Bereich zusammenfasst, welcher so wiederum den Grauwert oder die Intensität des Vorlagenbilds annimmt. [vgl. Strothotte/Schlechtweg2002,S.32f. und Gooch/Gooch2001,S.212.]

Statt mit einer variablen Punktgröße arbeiten moderne Ausgabegeräte mit sehr kleinen Einheiten von konstanter Größe und Form, namentlich Pixeln. Jedem dieser Pixel kann eine eigene Farbe zugeordnet werden. Dadurch ist es nicht mehr möglich, für diese Geräte das traditionelle Halftoning mit Bildpunkten variabler Größe anzuwenden. Daher wurden neue Halftoning -Verfahren – z.B. das so genannte Ordered Dithering – entwickelt, das an dieser Stelle vorgestellt wird. Das Feld eines gerasterten Bildes wird nicht mehr durch einen Punkt variabler Größe repräsentiert, sondern durch eine Gruppe von Pixeln der Größe n×n. Diese Gruppe von Pixeln wird durch eine so genannte Dither Matrix beschrieben, in der jeder einzelne Pixel entweder eine Farbe annehmen oder unausgefüllt bleiben kann. Durch eine vorgegebene Reihenfolge des Färbens der jeweiligen Pixel ergibt sich die Möglichkeit, durch eine Matrix der Größe n×n insgesamt n 2 + 1 verschiedene Intensitätslevel darzustellen. Die folgende Dither Matrix der Größe n = 3 wäre ein Beispiel für eine solche Reihenfolgenverteilung:

Abbildung in dieser Leseprobe nicht enthalten

Zur Darstellung einer Intensität wird aus dem Bereich, den das einzelne Rasterfeld durch seine Matrix abdeckt, ein Mittelwert der vorgefundenen Intensitäten berechnet und nur die Pixel eingefärbt, deren Wert in der Matrix kleiner als die vorgefundene Intensität sind. Durch die vorhergehende Matrix sähe die Darstellung der hier möglichen zehn Intensitäten (0-9) wie folgt aus:

Abbildung 3.1: Zehn Intensitäten, dargestellt durch eine 3×3-Dither Matrix^[13]

Das Ordered Dithering hat durch die im Voraus festgelegte Reihenfolge der Pixelverteilung den Nachteil, dass bei der Darstellung eines Bildes für den Betrachter häufig regelmäßige Muster und Artefakte zu erkennen sind, welche bei einem fotorealistischen Rendering nicht erwünscht sind. Daher wurde das Verfahren mit Hilfe von so genannten Error Diffusion -Techniken weiter verfeinert. Diese Verfahren berechnen für jeden Pixel des Vorlagenbildes seine Abweichung zur dargestellten Intensität im Ausgabebild und geben diese Differenz als Error anteilig an die Berechnung der Intensitäten der benachbarten Pixel weiter. Dadurch findet eine Art Weichzeichnung statt. Die bekannteste Error Diffusion -Technik wurde 1975 von Robert W. Floyd und Louis Steinberg [Floyd/Steinberg1976] entwickelt.

Die folgende Abbildung verdeutlicht die Effekte der beiden zuletzt vorgestellten Halftoning -Verfahren an einem Intensitätsverlauf von Schwarz nach Weiß (a):

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.2: Anwendung von verschiedenen Halftoning-Verfahren^[14]

Wie sich in (b) erkennen lässt, führt die Anwendung des Ordered Dithering mit der hier beispielhaft vorgestellten Dither Matrix zu deutlich sichtbaren Mustern und Artefakten, wohingegen die Anwendung der Floyd-Steinberg Error Diffusion -Technik (c) viel weichere Übergänge und weniger erkennbare Muster produziert. [vgl. Strothotte/Schlechtweg2002, S.32ff.]

Bisher wurde das Halftoning unter dem Gesichtspunkt des fotorealistischen Renderings betrachtet. So ging es insbesondere um das Verhindern von sichtbaren Artefakten. Im Gegensatz dazu interessieren sich NPR-Techniken gerade für Möglichkeiten zur Erzeugung von Artefakten und machen sich daher auch das Halftoning zu Nutze. Einfache Verfahren zielen beispielsweise auf das Erzeugen von nicht fotorealistischen Dither Matrizen, die eine Verteilung anstreben, durch die optische Muster und Strukturen in der späteren Bildberechnung entstehen. Andere Techniken setzten auf die Error Diffusion -Verfahren und ändern sie beispielsweise derart ab, dass sie mit der Erzeugung von Linien und nicht mehr auf der Basis von Punkten arbeiten. So entstehen neue Möglichkeiten der Anwendung des Halftonings, mit denen sich in einer vereinfachten Art und Weise sogar Kunsttechniken, wie Federzeichnungen oder Holz- und Kupferstiche, nachahmen lassen. [vgl. Strothotte/Schlechtweg2002,S.37ff. und Freudenbergetal.2004, S.440]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.3: Anwendung von Halftoning auf Basis von Strichen^[15]

Die Abbildung zeigt ein Vorlagenbild (a), welches in (b) mit Hilfe von Halftoning in eine NPR-Darstellung ähnlich einer Federstrichzeichnung umgewandelt wurde. Die hier angewendete Technik von Streit und Buchanan [Streit/Buchanan1998] berücksichtigt sogar verschiedene Orientierungen der Linien in unterschiedliche Richtungen, die sich der Intensitätsstärke der jeweiligen Bereiche des Vorlagenbildes anpassen.

3.1.2 Stippling

Das Stippling (Punktiertechnik) ist ursprünglich eine per Hand erstellte traditionelle Illustrations-Technik, die besonders bei archäologischen Darstellungen häufig Anwendung findet. Dabei werden allein durch das gezielte Setzen von unzählig vielen kleine Punkten (stipples) sowohl Texturen, Form als auch Farbgebung von Objekten dargestellt. [vgl. Strothotte/Schlechtweg2002, S.61]

Beim traditionellen Stippling muss der Künstler immer wieder die „Verteilung“ seiner Punkte kontrollieren, um makroskopische Muster, also das Auftreten von unerwünschten Artefakten, zu vermeiden. Ebenfalls sollten sich die einzelnen Punkte nicht berühren, es sei denn, der Dunkelheitsgrad der zu zeichnenden Region verlangt es. Die Erstellung solcher Darstellungen per Hand erfordert folglich hohes Können und ist extrem zeitaufwändig. Daher wurde diese Technik besonders unter dem Aspekt der Zeitersparnis für das NPR interessant. [vgl. Deussenetal.2000, S.42]

Trotz dieser Vorgaben hat der Künstler einige Möglichkeiten zur Variation seiner Darstellung. So kann er den Abstand der Punkte variieren. Die Punkte sind zwar zufällig verteilt, werden aber je nach Helligkeit oder Dunkelheit des darzustellenden Bereichs mit einem nahezu festen Abstand zueinander angeordnet. Des Weiteren kann er die Punktgröße variieren. Dies geschieht meistens in Abhängigkeit von der Helligkeit eines Bereichs. Kleine Punkte werden eher für helle, große Punkte für dunkle Bereiche eingesetzt. Auch die Form der Punkte wird in manchen Fällen unterschiedlich variiert. Eine weitere Gestaltungsmöglichkeit ist die Umkehrung von hellen und dunklen Bereichen. Ist ein Bild insgesamt sehr dunkel, kann es sinnvoller sein, auf schwarzem Untergrund mit weißen Punkten zu zeichnen. Durch Anwendung dieser Techniken lassen sich neben Schattierungen, Farbe, Form und Texturen auch Objektgrenzen und feine Details betonen. [vgl. Deussenetal.2000, S.42]

Diese Vorgehensweisen lassen sich ebenfalls mit dem Computer simulieren. Normalerweise wird damit begonnen, dass in Abhängigkeit der Farbgebung und Intensität der darzustellenden Bereiche eine zufällige Punktverteilung erstellt wird. Dabei werden zumeist angepasste Halftoning -Verfahren angewendet. Im Anschluss wird diese Verteilung entweder automatisch oder teilweise interaktiv den genannten Vorgaben des Stippling s angepasst und individuell gestaltet.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.4: Stipple Drawing mit Hilfe eines semi-automatischen NPR-Systems^[16]

Die beispielhafte Abbildung des Grashüpfers wurde mit einem semi-automatischen System von Deussen et al. [Deussenetal.2000] durch Applikation von insgesamt 60.000 Punkten erstellt.

3.2 Simulation von Kunsttechniken

In diesem Abschnitt werden NPR-Techniken vorgestellt, die handgefertigte Kunsttechniken simulieren. Gooch und Gooch liefern am Beispiel von Winkenbach und Salesins Forschungen zur Simulation der Pen-and-Ink -Technik [Winkenbach/Salesin1994 und Winkenbach/Salesin1996] eine gute Beschreibung der Vorgehensweise bei der Erforschung einer Kunsttechnik für das NPR:

„The Work of Winkenbach and Salesin is an excellent example of non-photorealistic rendering research. They research the methods and techniques of an artistic form, compile list of rules that artists follow in order to produce images using this form, then write computer algorithms to render images according to the artistic rules.” [Gooch/Gooch2001,S.19]

Dabei sind, neben der Erforschung der physischen Beschaffenheiten und Wirkensweisen der Werkzeuge und Hilfsmittel einer Kunsttechnik, besonders die verschiedenen Gestaltungsmöglichkeiten und -stile entscheidende Faktoren, welche Berücksichtigung bei der Simulation durch NPR finden oder finden sollten. Es ist anzumerken, dass jede eine Kunsttechnik simulierende NPR-Technik diese zwar in der technischen und optischen Art und Weise sehr gut zu simulieren vermag, jedoch nie die kreative menschliche Denkens- und Handelsweise beim Erstellen eines Kunstwerk ersetzen kann. Viele der Techniken bieten dem Benutzer daher unterstützend eine interaktive Einflussnahme auf verschiedene Faktoren während der Erstellung eines „Kunstwerks“. Andere wiederum funktionieren vollautomatisch oder lassen nur zu Beginn des Renderingverfahrens Einflussnahme zu.

Durch das Stippling – welches genauer genommen eine Unterart der Pen-and-Ink -Technik ist – wurde bereits eine erste Kunsttechnik im vorangegangenen Kapitel vorgestellt. Der Fokus liegt an dieser Stelle jedoch nicht mehr auf der Manipulation von Pixeln, sondern vielmehr auf dem Erstellen komplexerer Strukturen zur Simulation von Kunsttechniken. Diese Strukturen sind in der Hauptsache Linien, Striche oder Texturen. So haben alle in diesem Kapitel vorgestellten Techniken gemeinsam, dass sie auf der Basis des Zeichnens oder Malens von Linien oder strichähnlichen Formen aufgebaut sind.

Um eine Linie oder einen Strich möglichst wie „von Hand“ gemacht aussehen zu lassen, sind einige charakteristische Faktoren zu berücksichtigen und zu simulieren [vgl. Strothotte/Schlechtweg2002, S.85]:

- Verwackelte Linien: Selbst versierte Künstler sind kaum in der Lage, einen einwandfreien, absolut geraden Strich zu ziehen. Je nach verwendetem Zeichen- oder Malgerät ist dies – wie z.B. bei einem Pinsel – gar unmöglich. Kleine oder größere Unregelmäßigkeiten treten also immer auf und können in manchen Fällen, wie beispielsweise beim Skizzieren, sogar erwünscht sein.

- Linienlänge: Je skizzenhafter eine Darstellung ist, umso ungenauer und wniger akkurat kann die Länge einer Linie sein. Besonders beim Skizzieren ist es geradezu ein charakteristisches Merkmal, dass eine Linie über Start- und Endpunkte hinausragt.

- Linienbreite und -helligkeit: Hauptsächlich abhängig von dem Druck, mit dem ein Zeichen- oder Malgerät über eine Oberfläche geführt wird, können die Breite und auch Helligkeit einer Linie stark variieren. Wird ein Strich beispielsweise sehr schnell gezeichnet, ist der Druck auf die Oberfläche gering und die entstandene Linie daher dünner und heller.

- Endpunkte der Linien: Je nach Geschwindigkeit, mit der gezeichnet oder gemalt wird, können die Endpunkte einer Linie sehr unterschiedlich aussehen. So entstehen häufig kleine Punkte am Ende einer Linie, wenn das Zeichen- oder Malgerät zu lange aufgesetzt geblieben ist oder mit einer sehr langsamen Geschwindigkeit geführt wurde.

Zusätzlich zur Berücksichtigung der Faktoren, wie Linie oder Striche möglichst „handgemacht“ aussehen, wird bei vielen Techniken auch die Beschaffenheit des Materials, auf dem gezeichnet oder gemalt wird, einbezogen. Neben besonderen Techniken, wie beispielsweise Holzschnitten und -malereien oder Kupfer- und Stahlstichen, ist es hauptsächlich das Material Papier oder ein ähnlich faserartiger Stoff, welcher als Unterlage simuliert wird.

Sousa und Buchanan [Sousa/Buchanan2000] haben diesbezüglich eine besonders umfangreiche Analyse der physischen Beschaffenheit von Papier vorgenommen. Dabei berücksichtigen sie Faktoren wie Gewicht, Dicke und Oberflächenbeschaffenheit eines Materials. Zur Beschreibung der Textur der Oberfläche benutzen sie so genannte height fields, welche das Papier in seiner unterschiedlichen Rauheit durch eine Art gerasterte Höhen- und Tiefenstruktur beschreiben. Die Daten zur Erzeugung der height fields werden entweder nach verschieden gesteuerten Zufallsmethoden automatisch oder aber auf Basis von digitalisierten Vorlagen, die aus gescannten „realen“ Papiervorlagen stammen, berechnet:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.5: Digitalisierte Papiervorlagen und Berechnung einer Papierkörnung^[17]

Die Körnung des Papiers (grain) wird dabei pro Korn als Fläche aus jeweils vier height fields errechnet und zusammen mit allen anderen Körnungen zu einer komplexen und strukturierten Oberfläche zusammengefügt, die als Grundlage zur Berechnung des „Abriebs“ des jeweiligen Mal- oder Zeichenmaterials dient. Beim Malen oder Zeichnen setzt sich das Material in den tiefen und hohen Stellen des Papiers unterschiedlich fest und nimmt so die Struktur des Papiers auf. [vgl. Sousa/Buchanan2000, S.30ff.]

Unabhängig davon, ob die Unterlage getrennt simuliert wird, ist es essentiell, dass das Zeichen- oder Malwerkzeug mit der Charakteristik seines optischen Fabrikats möglichst genau nachgeahmt wird. Daher beruft sich die Struktur der im Folgenden vorgestellten Techniken auf die jeweils unterschiedlich benutzten Werkzeuge und ihr optisches Fabrikat. Neben den Vorgestellten gibt es viele weitere Kunsttechniken, die durch das NPR simuliert werden. Beispielhaft seien Holzschnitte (woodcuts) oder Stiche (engravings) genannt.

3.2.1 Pencil Rendering

Das Pencil Rendering, also das Simulieren von Bleistiftzeichnungen, vereint alle im Vorfeld genannten Vorgehensweisen in sich. So werden mit Bleistift gezeichnete Striche und Linien, bevorzugt auf Papier, möglichst realistisch simuliert. Dazu gibt es unterschiedliche Techniken, die sich sowohl auf dreidimensionale als auch auf zweidimensionale Vorlagen anwenden lassen.

Sousa und Buchanan haben eine – auf Untersuchungen mit einem Elektronenmikroskop basierende – umfangreiche Analyse und Simulation des Pencil Renderings vorgenommen. Dazu haben sie unter anderem die physische Beschaffenheit von Papier und dessen Interaktion mit Bleistiftabrieb oder Radiergummi untersucht und in einem Modell simuliert.

Die Anforderungen zur Bewältigung des Pencil Renderings haben sie dazu in die folgenden vier Unterprobleme gegliedert [vgl. Sousa/Buchanan1999, S.196]:

- Zeichenmaterial: Durch geeignete Algorithmen müssen die verschiedenen Zeichenmaterialien, wie Papier, Bleistiftmine, etc., simuliert werden.

- Zeichenfunktionen: Auf Basis der Zeichenmaterial-Algorithmen müssen Funktionen entwickelt werden, durch die sich die typischen Farb- oder Grautöne und Texturen von Bleistiftzeichnungen simulieren lassen.

- Renderingmethoden: Auf den Zeichenfunktionen aufbauend, gilt es, die verschiedenen Zeichentechniken wie Schattieren, Konturzeichnen oder auch Texturieren auf der Basis von Referenzbildern oder dreidimensionalen Modellen durch geeignete Renderingmethoden optisch umzuwandeln.

- High-Level-Tools: Um den Renderingprozess interaktiv beeinflussen zu können, werden so genannte High-Level-Tools benötigt, die einem Benutzer diese Eingriffe ermöglichen.

Beim Modellieren der verschiedenen Zeichenmaterialien ist es wichtig, neben den Eigenschaften des Papiers, besonders die verschiedenen Eigenschaften von Bleistiften zu berücksichtigen. Zum einen muss der so genannte Härtegrad des Stiftes, der von einer Skala von 8H (härtester Grad) bis zu 8B (weichster Grad) reichen kann, berücksichtigen werden. Je weicher ein Bleistift, umso dicker und dunkler ist sein Abrieb auf Papier. Generell gilt: Je fester der Druck der Bleistiftmine beim Zeichnen auf das Papier ist, umso dunkler wird der Abrieb. Zum anderen ist aber auch die Art der verschiedenen Möglichkeiten, eine Bleistiftmine anzuspitzen, zu beachten. Diese werden durch verschieden große Polygone simuliert. [vgl. Sousa/Buchanan2000, S.30]

Durch dieses nur in Auszügen vorgestellte umfangreiche Modell lassen sich sehr realistische und gute Annäherungen an das reale Erscheinungsbild von Bleistiftzeichnungen erreichen, wie die folgende Abbildung zeigt:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.6: Echte und simulierte Bleistiftzeichnungen im Vergleich^[18]

Die obere Reihe der Abbildung zeigt eine Nahaufnahme von realen Bleistiftstrichen verschiedener Härtegrade. Die untere Reihe zeigt die simulierten Ergebnisse durch das System von Sousa und Buchanan. Es ist ersichtlich, dass sich die Resultate, besonders die der Struktur und des erreichten Grauwerts, sehr ähneln.

Neben sehr aufwendigen Systemen, wie dem von Sousa und Buchanan, gibt es auch Techniken, die durch simplere Modelle und dadurch weniger rechenaufwändige Methoden Bleistiftzeichnungen simulieren können. Die folgende Abbildung zeigt die Anwendung des Systems von Maoetal. [Maoetal.2001], welches Pencil Rendering automatisch auf zweidimensionale Vorlagen anwendet:

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.7: Umwandlung einer Vorlage in eine Bleistiftzeichnung^[19]

So baut die Technik von Maoetal. nicht auf der Simulation einzelner Striche auf, sondern versucht einen anderen Ansatz: Zunächst wird versucht, durch das Errechnen eines Bildrauschens (White-Noise-Image), in Abhängigkeit von den Intensitäten des Vorlagenbildes, die Struktur von Bleistiftabrieb auf Papier zu simulieren. Mit Hilfe einer Technik namens Line-Integral-Convolution (LIC) kann durch anschließendes Auftragen einer gewünschten „Strichstruktur“ auf das Rauschbild für zweidimensionale Vorlagen ein bereits gutes Ergebnis erlangt werden. [vgl. Maoetal.2001, S.240]

Es sei erwähnt, dass es neben den vorgestellten Techniken zur Simulation von Bleistiftzeichnungen auch Techniken gibt, die farbliche Darstellungen durch die Simulation von Buntstiftdarstellungen – beispielsweise die Technik von Matsuietal. [Matsuietal.2005] – ermöglichen.

3.2.2 Pen-and-Ink Rendering

Beim Pen-and-Ink Rendering handelt es sich um die Simulation des klassischen Federzeichnens. Dabei wird lediglich mit Strichzeichnungen aus schwarzer Tinte gearbeitet. Dieser Stil schränkt zwar die Möglichkeiten der Gestaltung ein, ist aber gerade durch seine Einfachheit interessant für viele Arten von Illustrationen. So werden Pen-and-Ink -Darstellungen gerne für Textbücher, Reparaturanleitungen, Werbung und viele andere Printmedien verwendet. [vgl. Salisburyetal.1994, S.101]

Der Stil von Pen-and-Ink -Darstellungen zeichnet sich in der Anwendung dadurch aus, dass die Darstellung der Formgebung von Objekten alleine durch das Zeichnen von Konturen und Schattierungen in Form von Strichen erfolgt. Winkenbach und Salesin unterscheiden dafür die folgenden Grundprinzipien [vgl. Winkenbach/Salesin1996, S.470]:

[...]

---

^[1] Watt/Policarpo 1998, Abb. 23.7.

^[2] Zusammenstellung der Abbildungen aus: Strothotte/Strothotte 1997, S. 273.

^[3] Originalabbildungen in: Schumann et al. 1996.

^[4] Haeberli 1990, S. 208.

^[5] Die Bezeichnung „nx“, „ny“ und „nz“ stehen dabei für den Normalenvektor der Koordinaten x,y und z. „sz“ steht für die perspektivische Tiefe entlang der z-Achse. „ou“ sowie „ov“ liefern eine Gitternetzbeschreibung des Objektes in vertikaler bzw. horizontaler Richtung.

^[6] Saito/Takahashi 1990, S. 202.

^[7] Saito/Takahashi 1990, S. 204.

^[8] Winkenbach/Salesin 1994, S. 97.

^[9] Winkenbach/Salesin 1994, S. 97.

^[10] Strothotte/Schlechtweg 2002, S. 19.

^[11] Strothotte/Schlechtweg 2002, S. 21.

^[12] In diesem Kapitel bezieht sich der Begriff Intensität auf die „Schwarzheit“ bzw. „Helligkeit“ einer Darstellung oder eines Punktes. Ist die Intensität hoch, so ist die Darstellung oder der Punkt sehr dunkel, tendiert also Richtung schwarz. Bei niedriger Intensität verhält es sich umgekehrt.

^[13] Strothotte/Schlechtweg 2002, S. 33.

^[14] Strothotte/Schlechtweg 2002, S. 32ff.

^[15] Streit/Buchanan 1998, S.208 u. 216.

^[16] Deussen et al. 2000, S. 46.

^[17] Sousa/Buchanan 2000, S. 31.

^[18] Sousa/Buchanan 1999, S. 197.

^[19] Maoetal.2001, S. 247.