Neue Techniken der Mensch-Maschine-Interaktion werden seit Anbeginn von Rechnersystemen von Forschung und Wirtschaft untersucht. Seit dem vergangenen Jahrzehnt sind im Verbraucher- und Industrie-Umfeld verst¨ arkt Trends zu ber¨ uhrungsempfindlichen Mensch-Maschine-Schnittstellen zu verzeichnen. Die damit generierte Nachfrage auf diesem Gebiet fordert neue innovative L¨ osungen und stellt somit einen zu deckenden Bedarf in Forschung und Wirtschaft dar. Am Beispiel der Multi-Touch gest¨ utzten Gesch¨ aftsprozessmodellierung werden, aufbauend auf einer Markt- und Szenarioanalyse, Vor- und Nachteile der an Popularit¨ at gewinnenden Multi-Touch-Hardware und Multi-Touch-Software untersucht und ein Konzept f¨ ur eine Multi-Touch- / Multi-User-Gesch¨ aftsprozessmodellierungsoberfl¨ ache erarbeitet. Das erarbeitete Konzept erf¨ ullt zudem die Anforderungen der Multimodalit¨ at da das Multi-Touch-Konzept durch Spracherkennung erweitert wurde.

Schlagw¨ orter: Multi-Touch, Multi-Touch-Table, Human-Computer-Interface, Mensch-Maschine-Schnittstelle, Mensch-Maschine-Interaktion, Graphical-User-Interface, User-Interface, Gesch¨ aftsprozessmodellierung, Buisness-Process-Management, Mobile Device, Sprachsteuerung, multimodales System, multimodale Interaktion.

Inhaltsverzeichnis

Glossar   VI

Abbildungsverzeichnis   XI

Tabellenverzeichnis XII   

1  Einleitung  1

1.1  Motivation  1

1.2  Zielsetzung der Arbeit  2

1.3  Aufbau der Arbeit  2

2  Stand der Technik  4

2.1  Mensch-Maschine-Schnittstelle  5

2.1.1  Multimodale Interaktion  7

2.1.2  Multi-User-F ahigkeit  8

2.1.3  Multi-Touch-F ahigkeit  8

2.2  Software  9

2.2.1  Grundlagen  9

2.2.2  Betriebssysteme  10

2.3  Hardware  16

2.3.1  Resistive Technik  17

2.3.2  Akustische Technik  18

2.3.3  Kapazitive Technik  19

2.3.4  Optische Technik  21

2.4  Zusammenfassung  25

3  Analyse  27

3.1  Konzepte Projekte  28

3.1.1  Betriebsystemeentwicklung im Bereich Multi-Touch  28

3.1.2  10/GUI  31

3.1.3  touchlib  32

Presentation  Foundation  33

3.1.4  WPF 4 - Windows R  

3.1.5  180 - A multitouch application for consultant situations  33

3.1.6  Instant Reality  33

3.1.7  reacTIVision  34

3.1.8  TUIO  35

3.1.9  MT4j - Multi-Touch for Java TM  35

III

Inhaltsverzeichnis

3.1.10  Zusammenfassung  36

3.2  Erarbeitung der Systemanforderungen  39

3.2.1  Anforderungen an das multimodale System  39

3.2.2  Prozessmodellierungsanforderungen  41

3.2.3  Erarbeitung m oglicher Umsetzungsszenarien  45

3.2.4  Zusammenfassung  59

3.3  Hardware  59

3.3.1  SWOT-Analyse der resistiven Technik  59

3.3.2  SWOT-Analyse der akustischen Technik  61

3.3.3  SWOT-Analyse der kapazitiven Technik  61

3.3.4  SWOT-Analyse der optischen Techniken  63

3.3.5  Zusammenfassung  65

3.4  Adaption existierender Software  66

3.4.1  Marktrecherche bestehender Softwarel osungen  67

3.4.2  Abgleich mit dem Anforderungskatalog  69

3.4.3  Zusammenfassung  72

3.5  Eigenentwicklung  74

3.5.1  Nutzen bestehender Konzepte  74

3.5.2  Vollst andige Neukonzeption  75

3.5.3  Zusammenfassung  77

3.6  Zusammenfassung  78

4  Konzeption  80

4.1  Interaktionen  81

4.1.1  Migration der Mausinteraktionen  81

4.1.2  Formen der multimodalen Texteingabe  84

4.1.3  Alternative Interaktionsm oglichkeiten  86

4.1.4  Zusammenfassung  87

4.2  Bedienungs- / Nutzungskonzeptentwicklung  88

4.2.1  Rollen und Verantwortlichkeiten  88

4.2.2  Grafische Konzeption  92

4.2.3  Zusammenfassung  98

4.3  Referenzmodell  100

4.3.1  Station ares multimodales System  100

4.3.2  Mobiles multimodales System  103

4.4  Zusammenfassung  105

5  Zusammenfassung  107

5.1  Fazit  107

5.2  Ausblick  108

Literaturverzeichnis   VII

A  Marktrecherche zur Gesch aftsprozessmodellierungssoftware  VIII

IV

Inhaltsverzeichnis

B  Gr oßere Darstellung der Referenzmodelle  XV

B.1  Station ares multimodales System  XVI

B.2  Mobiles multimodales System  XVIII

C  Darstellungsformen / -tools f ur Notationen  XX

V

Glossar

API Application Program Interface (Deutsch: Schnittstelle f¨ ur Anwendungsprogramme). 10, 32, 35, 36

BPMN Business Process Modeling Notation. 45, 53-56, 69, 72, 73 BPMS Business-Process-Management Software (Deutsch: Gesch¨ aftsprozessmodellierungssoftware). 72, 98 BSD Berkeley Software Distribution. 13, 14

CNC Computerized Numerical Control (Deutsch: Computergest¨ utzte numerische Steuerung). 4, 25

CPU Central-Processing-Unit (Deutsch: Zentrale- oder Hauptrecheneinheit). 8, 10, 11, 15

DI Diffuse Illumination (Deutsch: diffuse Beleuchtung). 16, 22, 23, 63, 64, 66 Dielekrtikum elektrischer Nichtleiter. 19 DLL Dynamic Link Libraries. 10

Drag & Drop w¨ ortlich: Ziehen und Fallen lassen, beschreibt eine Technik der Nutzung einer grafischen Benutzeroberfl¨ ache bei der Elemente durch dessen Ziehen und Fallen lassen verschoben und bewegt werden k¨ onnen und so eine Interaktion mit der Oberfl¨ ache bewirken. 44

DSI Diffuse Surface Illumination, (Deutsch: diffuse Fl¨ achenausleuchtung). 16 Dual-Touch Gleichzeitiges Erkennen zweier durch Ber¨ uhrung ausgel¨ oster Messimpulse. 28, 35, 59, 82

ETH Z¨ urich Eidgen¨ ossische Technische Hochschule Z¨ urich - Swiss Federal Institute of Technology Z¨ urich. 75

F&E Forschung & Entwicklung. 50, 55

Fraunhofer IGD Fraunhofer Institut f¨ ur Grafische Datenverarbeitung. 23, 74

VI

Fraunhofer IPA Fraunhofer Institut f¨ ur Produktionsplanung und Automatisierung. 3, 39, 41, 44, 46, 53, 74, 75, 88, 93

FTIR Frustrated Total Internal Reflection (Deutsch: frustrierte interne Totalreflektion). 16, 22, 23, 63, 64, 66

Gesten Abfahren einer definierten fiktiven Linie auf einer Multi-Touch-Oberfl¨ ache die ein festgelegtes Ereignis ausl¨ ost. 30

GUI Graphical-User-Interface. 8, 25, 30, 32, 36, 39-41, 44, 60, 68, 90, 93, 96, 98, 105

HAL Hardware Abstraction Layer (Deutsch: Hardwareabstraktionsschicht). 11, 38 HCI Human-Computer-Interface (Deutsch: Mensch-Maschine-Interaktion), nach Hewett (2009): ” Human-computer interaction is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding them“. 40 HTW-Aalen Hochschule f¨ ur Technik und Wirtschaft Aalen. 53

IR Infrarotes Licht. 7, 21-23, 64

IT Informationstechnologie. 1, 5, 8, 9 IUM Integrierte Unternehmensmodellierung. 45, 53-55, 57, 69

Kernel auch Betriebssystemkern, Kern oder engl. Operating System Kernel, nach Broy u. Spaniol (1998): ” Derjenige Teil eines Betriebssystemes, der Mechanismen zur Prozessverwaltung bereitstellt (Erzeugen, L¨ oschen von Prozessen, Prozesszuteilung (Scheduling)), Betriebsmittelverwaltung (Speicher- und Ger¨ ateverwaltung) sowie Synchronisation und Kommunikation. In der Regel ist dieser Teil des Betriebssystems permanent im Speicher geladen und arbeitet in einer privilegierten Betriebsart des Prozessors (privileged mode, supervisor mode) mit physikalischen bzw. realen Adressen“. 10-15, 28-30 KMU Kleine und mittelst¨ andische Unternehmen. 43, 44, 71 Kurzbefehl Kombination mehrerer Tasten zu einer Tastenkombination, welche von der Software interpretiert wird und ein vordefiniertes Ereignis ausl¨ ost (engl. Shortcut). 72

LCD Liquid Crystal Display (Deutsch: Fl¨ ussigkristallbildschirm). 16-18, 92

MIMD Multiple Instruction, Multiple Data stream. 9, 40

MMIA Mensch-Maschine-Interaktion. 2, 6, 7

MMIF Mensch-Maschine-Interface. 2

MMS Mensch-Maschine-Schnittstelle. 1, 4-6, 9, 31, 40, 80, 107, 108 MPX Modifikation des X-Servers mit dem Namen: Multi Pointer X-Server. 30 MT4j Multi-Touch for Java (Deutsch: Multi-Touch f¨ ur Java). 35, 77, 79 MTI Multi-Touch-Interface. 72 MTIA Multi-Touch-Interaktion/en. 9

MTO Multi-Touch Ober߬ ache. 2, 4, 8, 16, 23-25, 27, 31, 33, 35, 38-40, 47, 53, 58, 71, 75, 78, 80-88, 90, 92, 93, 95, 97, 98, 100, 103, 105 MTT Multi-Touch-Table. 4, 16, 21-23, 58, 63, 92, 93, 95 MU Multi-User. 8, 40

multimodale Interaktion Beschreibt den Informationsfluss zwischen Mensch und Maschine. Dabei werden mehrere Informationskan¨ ale f¨ ur den Informationstransfer zwischen Mensch und Maschine verwendet. Touch-Oberfl¨ ache, Spracheingabe und Schrifterkennung werden/k¨ onnen bspw. gleichzeitig zum Informationsaustausch verwendet werden. 7, 66, 74, 84

Multi-Touch Gleichzeitiges Erkennen mehrerer durch Ber¨ uhrung ausgel¨ oster Messimpulse. 1-5, 7-9, 16, 17, 19-23, 25, 27-40, 47, 53, 59, 61, 64, 66, 68, 72-78, 80, 84, 86, 87, 89, 91-93, 97, 100, 103, 105, 107, 108

NKE Network Kernel Extention (Deutsch: Netzwerk Kernel Erweiterung). 14 NUI Natural-User-Interface (Deutsch: Nat¨ urliche Benutzerschnittstelle). 32

OS Operation System/s (Deutsch: Betriebssystem/e). 15, 25

OSS Open-Source-Software. 34, 74, 98

PAP Programmablaufplan. 45, 53-56

PC Personal Computer. 1, 9, 31 PDA Personal Digital Assistant, auch Organizer. 91 POSIX Portable Operation System Interface, spezifiziert die Software- und Benutzerschnittstelle des Betriebsystemes die in dem Standard IEEE Std 1003.1-2008 (ISO (2008)) zusammengefasst sind. 14

QM Qualit¨ atsmanagement. 71

RAM Random Access Memory, Informationsspeicher mit wahlfreiem Zugriff, oft als Arbeitsspeicher eines Personalcomputers eingesetzt. 10, 12 SAW Surface-Acoustic-Wave. 18

SDK Software Development Kit (Deutsch: Softwareentwicklungswerkzeug). 31, 79, 96 Shape Grafisches Objekt, das in der grafischen Benutzeroberfl¨ ache dargestellt wird und mit Hilfe dessen die Modellierung von Prozessen erm¨ oglicht wird. 44, 70, 95, 97, 100, 103

Single-Touch Erkennen eines einzelnen durch Ber¨ uhrung ausgel¨ oster Messimpulses. 4, 16, 28, 35, 59, 83, 84

SISD Single Instruction, Single Data. 5, 6, 8, 9, 36 SWOT Strengths, Weaknesses, Opportunities and Threats (Deutsch: St¨ arken, Schw¨ achen, Chancen und Risiken). 16, 45, 60, 61, 63, 64, 78 Tag Englisches Wort, das dem englischen Wort ” label“ in der Bedeutung ¨ ahnelt.

Bedeutung: eine Kennzeichnung eines Objektes, ¨ ahnlich dem Barcode. 63, 64, 86 Touch-Impulse Messimpulse die durch die Ber¨ uhrung der Multi-Touch-Oberfl¨ ache ausgel¨ ost werden. 34, 35

Touch-Oberfl¨ ache Auf Ber¨ uhrung reagierende Oberfl¨ ache f¨ ur die Interaktion mit Rechnern. 21

Touchpad Ber¨ uhrungsempfindliche Oberfl¨ ache welche zur Interaktion mit einem Rechner, meist Notebook, gedacht ist. Je nach Auslegung und Technik ist ein Touchpad in der Lage eine (Single-Touch) oder mehrere Ber¨ uhrungen (Dual- und Multi-Touch) in Signale umzuwandeln und diese an den angeschlossenen Rechner weiterzugeben. 31

TUI Tangible-User-Interface, ber¨ uhrungssensible Benutzerschnittstelle zwischen Mensch und Maschine. ” Tangible“ (Englisch: ber¨ uhr- oder tastbar). 9, 89, 97, 98 TUIO Tangible User Interface Objects (Deutsch: ber¨ uhrbare/greifbare Objekte der Benutzerschnittstelle). 35, 36, 38 UML Unified Modeling Language 1. 45, 73

UML2 Unified Modeling Language 2. 45, 47, 49, 50, 52-55, 57, 69, 72, 73 VR Virtual Reality (Deutsch: Virtuelle Realit¨ at). 6, 33, 108 WPF Windows Presentation Foundation. 32 XNU X is Not Unix (Deutsch: X ist kein Unix). 13

IX

Abbildungsverzeichnis

Architektur . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1 Windows R

- Kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2 Windows R

- Kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.3 Linux R

- Kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.4 Mac OS X R

2.5 Android ^TM Architektur . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.6 Anwendung einer Touch-Oberfl¨ ache (Deutsche Bahn) . . . . . . . . . . . 18 2.7 Aufbau der resistiven Multi-Touch-Oberfl¨ ache . . . . . . . . . . . . . . . 18 2.8 Aufbau der akustischen Multi-Touch-Oberfl¨ ache . . . . . . . . . . . . . . 19 2.9 Leiter-Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.10 Feldlinien der Leiter-Matrix im Querschnitt . . . . . . . . . . . . . . . . 21 2.11 Feldlinien¨ anderung der Leiter-Matrix im Querschnitt . . . . . . . . . . . 21 2.12 Technischer Aufbau - FTIR . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.13 Bildsignal - FTIR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.14 Bildsignal - DI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.15 Technischer Aufbau - DI . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.1 Schichtmodel Instant-Reality ¹ . . . . . . . . . . . . . . . . . . . . . . . . 33 3.2 reacTIVision Modellaufbau ² . . . . . . . . . . . . . . . . . . . . . . . . . 34 3.3 Fiducial-Marker f¨ ur reacTIVision ³ . . . . . . . . . . . . . . . . . . . . . . 35

3.4 Multi-Touch Ebenenmodell 1 . . . . . . . . . . . . . . . . . . . . . . . . 37 3.5 Multi-Touch Ebenenmodell 2 . . . . . . . . . . . . . . . . . . . . . . . . 37 3.6 Umsetzungsszenarien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 3.7 Adaption existierender Software . . . . . . . . . . . . . . . . . . . . . . . 67 3.8 Eigenentwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 3.9 Eigenentwicklung auf Basis bestehender Konzepte . . . . . . . . . . . . . 74 3.10 Vollst¨ andige Neukonzeption . . . . . . . . . . . . . . . . . . . . . . . . . 76 4.1 Tastatur des Apple iPhones . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.2 Tastatur f¨ ur Bildschirme - Swype . . . . . . . . . . . . . . . . . . . . . . 85 4.3 Benennung der Arbeitsbereiche . . . . . . . . . . . . . . . . . . . . . . . 90 4.4 Spracheingabe mittels Schaltfl¨ ache . . . . . . . . . . . . . . . . . . . . . . 91 4.5 Konzept der Arbeitsbereichstrennung 1 . . . . . . . . . . . . . . . . . . . 94 4.6 Konzept der Arbeitsbereichstrennung 2 . . . . . . . . . . . . . . . . . . . 94 4.7 Positionierung von Men¨ us und Schaltfl¨ achen bei station¨ arer Anwendung . 96 4.8 Positionierung von Men¨ us und Schaltfl¨ achen bei mobiler Anwendung . . 98 4.9 Referenzmodell f¨ ur die station¨ are Nutzung 1 . . . . . . . . . . . . . . . . 101 4.10 Referenzmodell f¨ ur die station¨ aren Nutzung 2 . . . . . . . . . . . . . . . 102

X

4.11 Referenzmodell f¨ ur die mobile Nutzung 1 . . . . . . . . . . . . . . . . . . 103 4.12 Referenzmodell f¨ ur die mobile Nutzung 2 . . . . . . . . . . . . . . . . . . 103 4.13 Referenzmodell f¨ ur die mobile Nutzung 3 . . . . . . . . . . . . . . . . . . 104 4.14 Untersuchte Einflussfaktoren . . . . . . . . . . . . . . . . . . . . . . . . . 106 B.1 Vergr¨ oßerung des station¨ aren Referenzmodelles 1 . . . . . . . . . . . . . XVI B.2 Vergr¨ oßerung des station¨ aren Referenzmodelles 2 . . . . . . . . . . . . . XVII B.3 Vergr¨ oßerung des mobilen Referenzmodelles 1 . . . . . . . . . . . . . . . XVIII B.4 Vergr¨ oßerung des mobilen Referenzmodelles 2 . . . . . . . . . . . . . . . XIX B.5 Vergr¨ oßerung des mobilen Referenzmodelles 3 . . . . . . . . . . . . . . . XIX

Tabellenverzeichnis

2.1 Flynn’sche Taxonomie . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.2 Physikalische Prinzipien der Multi-Touch-Techniken . . . . . . . . . . . . 17 3.1 Nutzer- und Systemanforderungen an das multimodale System . . . . . . 40 3.2 Anforderungen an die multimodale Prozessmodellierungsl¨ osung . . . . . . 42 3.3 Ist-Methoden-Analyse - Planungsebenen . . . . . . . . . . . . . . . . . . 49 3.4 Ist-Methoden-Analyse - Unternehmensbereiche . . . . . . . . . . . . . . . 50 3.5 St¨ arken- Schw¨ achenanalyse der Ist-Methoden - Teil1 . . . . . . . . . . . . 51 3.6 St¨ arken- Schw¨ achenanalyse der Ist-Methoden - Teil2 . . . . . . . . . . . . 52 3.7 Untersuchung weiterer Darstellungsmethoden - Planungsebenen . . . . . 54 3.8 Untersuchung weiterer Darstellungsmethoden - Unternehmensbereiche . . 55 3.9 Untersuchung weiterer Darstellungsmethoden - Teil1 . . . . . . . . . . . 56 3.10 Untersuchung weiterer Darstellungsmethoden - Teil2 . . . . . . . . . . . 57 3.11 SWOT-Analyse der resistiven Technik . . . . . . . . . . . . . . . . . . . 60 3.12 SWOT-Analyse der akustischen Technik . . . . . . . . . . . . . . . . . . 61 3.13 SWOT-Analyse der kapazitiven Technik . . . . . . . . . . . . . . . . . . 62 3.14 SWOT-Analyse der FTIR-Technik . . . . . . . . . . . . . . . . . . . . . . 64 3.15 SWOT-Analyse der optischen Technik (DI-Technik) . . . . . . . . . . . . 65 4.1 Interaktionsformen SISD - MIMD Teil 1 . . . . . . . . . . . . . . . . . . 82 4.2 Interaktionsformen SISD - MIMD Teil 2 . . . . . . . . . . . . . . . . . . 83 4.3 Interaktionsformen SISD - MIMD Teil 3 . . . . . . . . . . . . . . . . . . 84 4.4 Spracheingabebeispiel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

XII

1 Einleitung

1.1 Motivation

Egal, ob Ich-AG oder weltweit agierender Konzern, der Einsatz von IT ¹ in Unternehmen nimmt mit steigenden Tendenzen zu ² . Dabei verbindet die Mehrheit aller Computernutzer mit dem Wort PC ³ einen Rechner, der von seinem Benutzer ¨ uber

Tastatur und Maus gesteuert wird. Das ist auch nicht weiter verwunderlich, da sich diese Art des MMS ⁴ in den vergangen Jahrzehnten zu dem meist genutzten Nutzerschnittstelle herausgestellt hat ⁵ . Der hohe Grad der Verschmelzung unserer Arbeitsumgebungen

mit Computern und verschiedensten Formen von Anwendungen und Systemen fordert in vielen Bereichen eine Weiterentwicklung dieser ” quasi“ Standard MMS (Maus und

Tastatur). Eines dieser Entwicklungen stellt die Multi-Touch ⁶ -Technologie dar, die als

Ziel verfolgt, Tastatur und Maus in einem einzigen Interface zu vereinen und diese mit mehreren Fingern bedienbar zu machen.

Diese Technologie stellt, rein technisch betrachtet, keinen neuartige Entwicklung dar, sondern ist vielmehr eine Verbesserung und Verfeinerung der bisher existierenden Konzepte, die erstmalig von SK Lee, W, Buxton und K. C. Smith ⁷ vorgestellt wurden.

Sie ist seitdem in Kreisen der IT auch immer wieder in verschiedensten Gebieten zur Anwendung gekommen, aber sie hat seither nie zu den Schl¨ usseltechnologien gez¨ ahlt, die Kaufkriterien von Endger¨ aten beeinflusst haben. ⁸ Doch seit sich Unternehmen ⁹ umfassender mit dieser Technologie befassen, ist sie und Microsoft ^R wie Apple R

einer breiten Masse an Endverbrauchern zug¨ anglich. Somit hat sie sich in den verschiedensten Branchen und besonders in der Telekommunikationsindustrie etabliert. Zudem verschafft diese Technologie anderen Marktteilnehmern und Herstellern einen Know-How-Vorsprung und wirkt sich somit als Markteintrittsbarriere aus. Trotzdem oder gerade deshalb, ist jedoch nocht nicht das gesamte Potenzial dieser Technologie ausgesch¨ opft. ¹⁰ Gerade im industriellen Umfeld bieten sich verschiedenste

¹ Informationstechnologie

² vgl. Hehl (2008), Scheer (2010a), Scheer (2010b), Scheer (2010c)

³ Personal Computer

⁴ Mensch-Maschine-Schnittstelle

⁵ vgl. Jacko (2009)

⁶ Gleichzeitiges Erkennen mehrerer durch Ber¨ uhrung ausgel¨ oster Messimpulse

⁷ vgl. Lee u. a. (1985)

⁸ vgl. Buxton (2009)

⁹ Stellvertretend f¨ ur eine Vielzahl an Marktteilnehmern genannt.

¹⁰ vgl. Hehl (2008), nach Raisamo (1999):

Even a simple case, using two pointing devices in a normal graphical user interface, has

”

1

Einsatzm¨ oglichkeiten, von der Pr¨ asentation bis hin zur Bedienungsoberfl¨ ache in Reinr¨ aumen. So hat sich die Multi-Touch-Technologie bereits zur Bedienung von CNC-Werkzeugmaschinen und als virtueller F¨ uhrer f¨ ur Museen bew¨ ahrt. Dar¨ uber hinaus bietet sich diese Technologie, aufgrund der M¨ oglichkeit, kollaboratives Arbeiten auf einer großen Bildoberfl¨ ache zu erm¨ oglichen, hervorragend f¨ ur die Arbeit mit mehreren Personen an. Diese M¨ oglichkeit, mehrere Anwender gleichzeitig, zusammen oder unabh¨ angig voneinander, mit einem Rechner interagieren zu lassen, stellt im Sinne der MMIA ¹¹ einen großen Vorteil dar, da nun eine Plattform f¨ ur die gleichzeitige

Gruppenarbeit mit Rechnern geschaffen werden kann.

Diese Arbeit widmet sich dieser Thematik und dient dazu des Einsatzgebietes der Multi-Touch-Technologie weiter zu vergr¨ oßern und den Vorteil der m¨ oglichen Gruppenarbeit hervorzuheben. Dabei liegt der Schwerpunkt dieser Arbeit bei der Erm¨ oglichung und wissenschaftlichen Beschreibung eines vom Autor erarbeiteten Referenzmodelles zur digitalen kollaborativen Prozessmodellierung.

1.2 Zielsetzung der Arbeit

Im Fokus dieser Arbeit steht die Beschreibung und Konzeptentwicklung einer interaktiven multimodalen Anwenderoberfl¨ ache, bestehend aus MTO ¹² und Spracheingabe,

sowie deren Wirtschaftlichkeitsbetrachtung. Dieses Konzept soll speziell die Anforderungen des kollaborativen Arbeitens, zur Erstellung von Gesch¨ aftsprozessen, erf¨ ullen. Der Einsatzbereich der zu erarbeiteten Erkenntnisse soll durch die Betrachtung des station¨ aren und des mobilen Einsatz gepr¨ uft werden. Diese Arbeit soll, folge dessen, das gemeinschaftliche Arbeiten mehrerer Personen an einer MTO (station¨ arer Einsatz) betrachten, sowie zudem das gemeinschafliche dezentrale Arbeiten mehrerer Personen von mobilen Multi-Touch-Ger¨ aten aus.

1.3 Aufbau der Arbeit

Diese Arbeit gibt zu Beginn Einblick in Grundlagen der MMIF ¹³ um dem Leser ein

grundlegendes Verst¨ andnis der Interaktionsm¨ oglichkeiten mit dem Computer zu geben. Dabei handelt es sich gr¨ oßtenteils um theoretisches Hintergrundwissen. Auch eine geschichtliche Betrachtung wird nicht außer acht gelassen. Anschließend wird das Gebiet der Interaktion mit einer MTO tiefer beleuchtet und grundlegende Voraussetzungen

been found to be more efficent and understandable than the basic mouse and keyboard interface Buxton u. Myers (1986), Kabbash u. a. (1994), Zhai u. a. (1997). Two-handed interfaces have also been found to make three-dimentional virtual environments better understood and more easily manipulated Hinckley u. a. (1997b), Hinckley u. a. (1997a), Hinckley u. a. (1998)“

¹¹ Mensch-Maschine-Interaktion

¹² Multi-Touch Oberfl¨ ache

¹³ Mensch-Maschine-Interface

2

f¨ ur den Einsatz dieser. Desweiteren wird eine anf¨ angliche Erkl¨ arung der Bedienung gegeben (Kapitel 2). Mit diesem Wissen ist der Leser in der Lage, die weitere Vertiefung der Arbeit im Bereich der Multi-Touch-Technik nachzuvollziehen. Dabei erfolgt eine Gliederung in Soft- und Hardware um den informationstechnischen Teil vom ingenieurtechnischen zu trennen.

Aufsetzend auf den geschaffenen Hintergrund, wird im Kapitel 3 eine ¨ Ubersicht

uber die, im Rahmen dieser Arbeit durchgef¨ uhrte Recherche und Analyse von ¨

Soft- und Hardware dargestellt. Dabei, wird sowohl die aktuelle Unterst¨ utzung

der popul¨ aren Desktop-Betriebssysteme Microsoft ^R im Bereich der Multi-Touch-Technologie untersucht, als auch deren GNU/Linux ^R mobile Vertreter Android ^TM , iOS R

Konzeption auf die Nutzer und Entwickler am Fraunhofer IPA ¹⁴ auszurichten werden

im analytischen Teil dieser Arbeit zudem die technischen und nutzungsrelevanten Anforderungen aufgenommen und auf deren Realisierbarkeit gepr¨ uft. Die in diesem Zusammenhang entwickleten L¨ osungsans¨ atze sind: Nutzung einer existierenden Prozessmodellierungssoftware, Eigenentwicklung auf der Basis eines bestehenden Konzeptes und die vollst¨ andige Eigenentwicklung einer Multi-Touch-L¨ osung zur kollaborativen Prozessmodellierung. Im Laufe der Bewertung dieser L¨ osungen, wird eine Marktanalyse der zur Prozessmodellierung nutzbaren Software durchgef¨ uhrt. Sowohl freie als auch propriet¨ are Angebote sind inhalt dieser Berachtung und werden durch ein aufgestelltes Lastenheftes bewertet. Das Kapitel ” Konzepte & Projekte“ (3.1) beinhaltet, die Entwicklung des multimodalen Systems auf Basis der erarbeiteten Erkenntnisse. Die Konzeption einer station¨ aren L¨ osung wird dabei getrennt von der Konzeption einer mobilen L¨ osung berteachtet, da dessen Rahmenbedingungen f¨ ur eine intuitive Nutzung differieren.

¹⁴ Fraunhofer Institut f¨ ur Produktionsplanung und Automatisierung

3

2 Stand der Technik

Die Multi-Touch-Technik ist an sich keine Erfindung der letzten Jahre, sondern wird seit Mitte der 1960er erforscht und entwickelt. Den Anstoß zur Entwicklung von MTO haben die zu dieser Zeit etablierten und heutige Tastaturen gegeben. Sie waren anf¨ anglich noch nicht in der Lage, mehrere Tastenbefehle gleichzeitig aufzunehmen und haben damit selbst noch keine Multi-Touch-Funktionalit¨ at geboten. Das hat die damalige Arbeit mit einem Rechner erschwert, da somit auch Tastenkombinationen wie ” Strg + C“ noch

nicht m¨ oglich waren. Um dieses Problem zu l¨ osen wurde erstmals der Bedarf an Multi-Touch-Funktionalit¨ at aufgebracht und in die damaligen Systeme integriert. 1

Heutige Tastaturen, denen bei historischer Betrachtung eher ein mechanisches als ein elektrisches Prinzip zu Grunde liegt, unterst¨ utzen bereits jetzt eine sich zum Standard entwickelte Multi-Touch-Funktionalit¨ at, da sie die Kombination verschiedener Tasten erkennen. Der Tastatur, wie wir sie heute kennen, ist aber Aufgrund ihrer mechanischen Komponenten eine begrenzte Multi-Touch-Funktion zuzuschreiben. Diese Erkenntnis setzte bereits in den Anf¨ angen der Mensch-Rechner-Kommunikation bei den damaligen Wissenschaftlern ein und f¨ uhrte 1972 zum ersten tastsensiblen Terminal an der Universit¨ at von Illinois (USA). ² Dieses Terminal unterst¨ utzte jedoch nur

die Erkennung eines Tastimpulses, was bedeutet, dass es noch nicht in die Reihen der MTO eingeordnet werden kann, da es sich um eine sogenannte Single-Touch ³ -

Bedienoberfl¨ ache handelte. Erst 1985 wurde an der Universit¨ at von Torronto der erste MTT ⁴ vorgestellt, der es mehreren Nutzern erlaubte, ¨ uber eine Schnittstelle gemeinsam

mit einem Rechner zu interagieren. ⁵ Das Themengebiet der MMS, mit Touch und

Multi-Touch, hat in den darauffolgenden 20 Jahren in der Forschung nicht an Pr¨ asenz verloren, war aber rein technisch f¨ ur eine g¨ unstige Massenproduktion ` a la Tastatur

und Maus nicht geeignet und konkurrenzf¨ ahig. Erst seit Beginn der 90er Jahre und mit fortschreitender Automatisierung der Mikroelektronikindustrie sind Hersteller wie IBM ⁶ in der Lage, diese Technologie einer breiteren Masse an Nutzern zur Verf¨ ugung zu

stellen. Aufgrund der anf¨ anglichen geringen Marktdurchdringung dieser Technik und der damit verbundenen geringen Verf¨ ugbarkeit an Programmen hat sie sich nur in speziellen Umfeldern etabliert. Allein erhebliche Vorteile gegen¨ uber dem noch heute am st¨ arksten verbreiteten Maus-Tastatur-Konzepte haben die Touch- und Multi-Touch-Technik in

¹ vgl. Lee u. a. (1985), Buxton (2009)

² vgl. Buxton (2009)

³ Erkennen eines einzelnen durch Ber¨ uhrung ausgel¨ oster Messimpulses

⁴ Multi-Touch-Table

⁵ vgl. Lee u. a. (1985)

⁶ 1992, IBM & Bell South vermarkteten das Erste touchf¨ ahiges Mobiltelefon, vgl. Buxton (2009)

4

diesen Bereichen etabliert. Zu diesen geh¨ ort bspw. die Steuerung von CNC ⁷ Maschinen.

Die Touchtechnologie hat sich in diesem Marktsegment aufgrund ihrer Unempfindlichkeit gegen¨ uber Schmutz und anderen Umwelteinfl¨ ussen durchgesetzt. 8

Durch diese Verf¨ ugbarkeit hat sie Anklang an ein breites Anwenderschaft gefunden und ist f¨ ur Unternehmen in diesem Markt zum Standard und damit zu Markteintrittsbarrieren erwachsen (Mobiltelefonmarkt mit dem iPhone oder Tablett-PC’s im Business Notebook Marktsegmenten). 9

Nachfolgend fokusiert dieses Kapitel auf den den technischen und theoretischen Grundlagen der Multi-Touch-Technologie und dem damit verbundenen Forschungsstand (Kapitel 2.1 - 2.4).

2.1 Mensch-Maschine-Schnittstelle

Um zu Beginn des theoretischen Teiles dieser Arbeit den Rahmen des Projektes und die damit verbundenen Begrifflichkeiten zu kl¨ aren, finden sich nachfolgend grundlegende Erl¨ auterungen.

Der Begriff der MMS beschreibt in der IT die Kommunikation zwischen Mensch und Maschine. Dieser Inforamtionsaustausch entsteht immer dann, wenn sich z.B. auf einem Bildschirm ein Men¨ u oder Fenster ¹⁰ ¨ offnet und den Dialog zwischen Mensch und

Maschine einleitet. Die MMS definiert damit die Art der Kommunikation und Form der Interaktion, die zwischen Mensch und Rechner entsteht.

Die Informations¨ ubermittlung ist nicht einseitig, sondern umfasst ebenfalls die Informationsr¨ uckgabe durch den Computer. Sie ist somit bidirektional. Aktuell ist dieser Informationsaustausch, speziell im Desktopbereich, durch SISD ¹¹ -Eingabeger¨ ate gepr¨ agt ¹² , wird aber mehr und mehr durch interaktivere Eingabemedien verdr¨ angt. 13

Sie verfolgen vorrangig den Zweck, Computer auch f¨ ur nicht geschultes Personal und Anwender zug¨ anglich zu machen, sowie den Zeitaufwand, f¨ ur den Umgang diese zu erlernen, zu verringern.

Um eine Grundlage f¨ ur die in dieser Arbeit angesprochenen Arten des Informationstransfers zu schaffen, wird nachfolgend eine Einf¨ uhrung in die menschliche Kommunikation gegeben. Diese kann im wesentlichen in drei Teilbereiche untergliedert werden. 14

⁷ Computerized Numerical Control (Deutsch: Computergest¨ utzte numerische Steuerung)

⁸ vgl. EVO-Informationssysteme (2009)

⁹ vgl. (Lehner, 2003, S. 252ff)

¹⁰ Englisch: Window

¹¹ Single Instruction, Single Data

¹² Klassifizierung von Rechnerarchitekturen nach (Flynn, 1972, S. 949)

¹³ vgl. (John L. Hennessy, 2007, S. 68)

¹⁴ vgl.(Gericke, 2008, S. 11,12)

5

1. Verbal: Der verbale Ausdruck umfasst Informationen ¨ uber den Inhalt, also das, was wirklich gesagt wurde.

2. Paraverbal: Der paraverbale Ausdruck umfasst die stimmlichen oder artikulatorischen Aspekte, d.h. die Art und Weise, wie etwas ausgesprochen oder stimmlich begleitet wird.

3. Nonverbal: Der nonverbale Ausdruck beschreibt die k¨ orpersprachliche Komponente.

Dabei sind nicht alle genannten Arten an der Kommunikation mit einem Computer beteiligt. So f¨ allt es bspw. schwer, paraverbale Ausdr¨ ucke von einer Maschine interpretieren zu lassen, da diese situativer Wandlung unterliegen. Die anderen beiden Bereiche der Kommunikation (verbal, nonverbal) k¨ onnen aber bereits heute gut durch Computer erkannt werden. Sie werden durch Software zur Spracherkennung und -ausgabe (verbal) und Web- oder Videokameras zur Bilderkennung (nonverbal) unterst¨ utzt.

Die verbale Kommunikation mit Computersystemen wurde bereits fr¨ uh durch den menschlichen Tast- und Sehsinn erweitert. Dies spiegelt sich in den heute allt¨ aglichen SISD-Modell der MMIA mit Maus und Tastatur wieder. Nachfolgend werden kurz drei auf den eben genannten Grundlagen basierende Modelle der MMS vorgestellt.

• SISD-Modell: Dieses umfasst die Interaktion mit Tastatur und Maus. Dabei kann

die Eingabe von Texten und komplizierten Befehlen ¨ uber die Tastatur bew¨ altigt

werden. Mittels dieser Kombination der Eingabeger¨ ate ist es f¨ ur den Nutzer m¨ oglich l¨ angere Texte zu verfassen und gegebenenfalls diese mit Hilfe der Maus zu manipulieren.

• Bewegungserkennung: Die menschliche Bewegung wird bei dieser Technik, von

einem Computer, mittels Sensoren oder Bilderkennung ermittelt. Der Rechner bzw. die verarbeitende Software untersucht dabei, einen definierten physikalischen Raum auf interpretierbare Ereignisse.

Diese Technik findet in der VR ¹⁵ Anwendung. In der dabei geschaffenen k¨ unstlichen

Umgebung, ist es m¨ oglich, durch die h¨ ohere Informations¨ ubermittlungsraten durch die erh¨ ohte Anzahl an Sensoren zu erreichen. Somit k¨ onnen mehrere Eingaben gleichzeitig get¨ atigt werden, bspw. mittels festgelegter Bewegungsabl¨ aufe. Umsetzung findet dieses Konzept in der Planung komplexer industrieller Geb¨ aude oder aufwendiger Prototypen, um so fr¨ uhzeitig Einblicke und Vorstellungen vom fertigen Bauwerk zu bekommen und Fehlern vorzubeugen. 16

• Ber¨ uhrungsempfindliche Oberfl¨ achen: 17 Bei dieser Art der Interaktion mit

einem Computer werden Eingaben ¨ uber eine auf Ber¨ uhrung reagierende

¹⁵ Virtual Reality (Deutsch: Virtuelle Realit¨ at)

¹⁶ vgl. D¨ urr u. Pfeffer (2010), Flaig (1998), Heger (1998), Runde u. Westk¨ amper (2007), Westk¨ amper (1999)

¹⁷ Auch Touch-Oberfl¨ ache. Auf Ber¨ uhrung reagierende Oberfl¨ ache f¨ ur die Interaktion mit Rechnern.

6

Oberfl¨ ache get¨ atigt. Dazu ist keine spezielle Ausr¨ ustung n¨ otig, wie es bei der Bewegungserkennung der Fall ist. Lediglich der, oder die Finger werden dazu verwendet, Ereignisse auf der ber¨ uhrten Oberfl¨ ache auszuf¨ uhren. Dabei haben sich in der Vergangenheit verschiedene Unterarten herauskristallisiert. ¹⁸ Die

nachfolgenden Methoden der MMIA bilden einen kurzen Abriss der bereits verwendeten Kommunikationsmethoden zwischen Mensch und Maschine. Sie sollen jedoch an dieser Stelle zur Vertiefung des Leserverst¨ andnisses angef¨ uhrt werden. Zudem bilden Sie in der sp¨ ateren Analyse (Kapitel 3) die Rahmenbedingungen f¨ ur das multimodale Benutzerkonzept (Kapitel 4).

- Zum Einen, die sensorbasierte Multi-Touch-Technik, bei der verschiedenste mechanische sowie elektromagnetischenische Sensoren zum Einsatz kommen.

- Zum Anderen, die mittels Kamera/s arbeitende Multi-Touch-Technik mit deren Hilfe IR ¹⁹ -Licht zur Erkennung der Ber¨ uhrungspunkte verwendet wird.

Die eben genannten Methoden der MMIA berufen sich auf die 1972 von M. J. Flynn erstmals erw¨ ahnte Klassifizierung von Rechnerarchitekturen, welche in Tabelle 2.1 dargestellt sind. ²⁰ Flynn unterscheidet dabei zwischen der Art des Datenstromes

(Dateneingabe und Datenausgabe), sowie der dabei ¨ ubermittelten Befehle.

2.1.1 Multimodale Interaktion

Die multimodale Interaktion ²¹ hat ihren Ursprung im angels¨ achsischen Sprachraum 22

und beschreibt in der Informationstechnik den mehrkanaligen Informationsfluss zwischen

¹⁸ vgl. (Jacko, 2009, S. 1102ff)

¹⁹ Infrarotes Licht

²⁰ vgl. Flynn (1972)

²¹ Beschreibt den Informationsfluss zwischen Mensch und Maschine. Dabei werden mehrere Informationskan¨ ale f¨ ur den Informationstransfer zwischen Mensch und Maschine verwendet. Touch-Oberfl¨ ache, Spracheingabe und Schrifterkennung werden/k¨ onnen bspw. gleichzeitig zum Informationsaustausch verwendet werden

²² Englisch: multimodal interaction

7

Mensch und Computer. L. Nigay and J. Coutaz beschreiben den Begriff der Multimodalit¨ at dabei wie folgt:

Multimodality is the capacity of the system to communicate with a user

”

along different types of communication channels and to extract and convey meaning automatically“ 23

Der mehrkanalige Informationsfluss fasst gleichermaßen die Informationseingabe sowie die Informationsausgabe des Computers und des Menschen zusammen. Mittel der Informationseingabe k¨ onnen in diesem Zusammenhang Elemente des SISD-Modelles, Touch- und Multi-Touch-Oberfl¨ achen, Spracheingabe, als auch weitere Mittel der menschlichen Informations¨ ubertragung an den Computer sein. Mittel der Informationsausgabe stellen Bildschirme mit GUI ²⁴ , haptische Techniken ²⁵ oder

Sprachausgaben und akustische Signale dar.

2.1.2 Multi-User-F¨ ahigkeit

Der Begriff der MU ²⁶ -F¨ ahigkeit findet in vielen Bereichen der IT Anwendung und

beschreibt allgemein die F¨ ahigkeit eines informationstechnischen Systems, mit Daten und Informationen mehrerer Nutzergleichzeitig umgehen zu k¨ onnen. Im Umfeld von Betriebssystemen beschreibt die MU-F¨ ahigkeit den Umgang des Systems mit mehreren Benutzern und der damit verbundenen Bereitstellung mehrerer Schnittstellen zu diesen. Der Begriff der MU-F¨ ahigkeit ist dabei klar von der Multitasking-F¨ ahigkeit abzugrenzen, da diese die synchrone Verarbeitung von Daten beschreibt, wie sie bei der Beschreibung von CPU ²⁷ -Eigenschaften der Fall ist.

Im Kontext der Multi-Touch-F¨ ahigkeit stellt die MU-F¨ ahigkeit die M¨ oglichkeit dar, Daten und Informationen mehrerer Anwender auf einer MTO simultan zu verarbeiten. Diese Kombination erm¨ oglicht das gemeinschafliche Arbeiten mehrerer Personen auf einer Oberfl¨ ache.

2.1.3 Multi-Touch-F¨ ahigkeit

Die Multi-Touch-F¨ ahigkeit einer Bedienoberfl¨ ache, durch die ein Nutzer ein Computersystem nutzen kann, gibt Auskunft dar¨ uber, ob das System in der Lage ist, mehrere gleichzeitige Ber¨ uhrungen der Bedienoberfl¨ ache zu erkennen und diese in Eingabesignale umzuwandeln. Dazu geh¨ ort die parallele Interaktion mehrerer Anwender

²³ Nigay u. Coutaz (1993) zit. n. (Raisamo, 1999, S. 7)

²⁴ Graphical-User-Interface

²⁵ Haptische Techniken nutzen Mittel des menschlichen Tastsinnes um eine Daten- und Informationsausgabe zu generieren. Haptik umschreibt dabei die wissenschaftliche Lehre der haptischen Wahrnehmung und des damit verbundenen Einsatzes verschiedener Techniken. Ein Beispiel f¨ ur den Einsatz solch einer Technik ist dabei der Screen-Reader der Sehbehinderten den Zugang und damit den Umgang mit Computersystemen erleichtert.

²⁶ Multi-User

²⁷ Central-Processing-Unit (Deutsch: Zentrale- oder Hauptrecheneinheit)

8

auf einer Oberfl¨ ache sowie das Interagieren einer Person mit mehreren Fingern und H¨ anden.

Solch eine Interaktion mit einem Computer wird auch als TUI ²⁸ bezeichnet. Das

TUI ersetzt dabei, im Falle von Multi-Touch, die Funktion einer SISD-Schnittstelle, wie sie an einem ordin¨ aren Desktop-PC verwendet wird durch eine MIMD ²⁹ -Schnittstelle.

Mit Hilfe dieser ist es m¨ oglich, eine interaktive Umgebung f¨ ur den Nutzer eines station¨ aren PCs zu schaffen, in der allt¨ agliche Gegenst¨ ande und Oberfl¨ achen als digitale Benutzerschnittstellen genutzt werden k¨ onnen. Daraus ergibt sich die M¨ oglichkeit, W¨ ande oder Schreibtischoberfl¨ achen in multimediale Oberfl¨ achen zu verwandeln. 30

2.2 Software

2.2.1 Grundlagen

Der Schwerpunkt der Softwarebetrachtung dieser Arbeit liegt auf den derzeitig auf dem Markt vertretenen Softwarel¨ osungen zur Gesch¨ aftsprozessmodellierung. Als auch deren Anwendung mit der Multi-Touch-Technik. In diesem Zusammenhang steht auch die Betrachtung der MMS. So soll eine umfassende Betrachtung der Vor- und Nachteile f¨ ur den Nutzer geschaffen werden die Grundlage f¨ ur weitere wissenschaftliche Betrachtungen darstellen soll.

Die zunehmende Marktdurchdringung und die steigende Nutzerzufriedenheit bei dem Gebrauch von Multi-Touch Ger¨ aten sind im Wesentlichen von der steigenden Bedien- und Nutzerfreundlichkeit des entsprechenden Multi-Touch-Produktes, deren Funktionalit¨ at und Leistungsf¨ ahigkeit abh¨ angig. ³¹ Diese Faktoren werden direkt von

der verwendeten Bedienoberfl¨ ache und der damit verbundenen MMS bestimmt. So ist bspw. die Wahl der eingesetzten Gesten und Touchbefehle ein entscheidendes Kriterium f¨ ur die Bedienungsfreundlichkeit eines Multi-Touch-Produktes beeinflusst. ³² Doch die

Entscheidungsfindung ¨ uber die Auslegung einer solchen Oberfl¨ ache ist keinesfalls trivial, da sich durch die Kombination der technischen Umsetzung mit der Softwareauslegung ³³ oder Softwareauswahl ³⁴ eine sehr hohe Anzahl an M¨ oglichkeiten ergibt. Zur Darstellung

und Unterst¨ uztung der Entscheidungsfindung, ¨ uber die eingesetzten Techniken zur MTIA ³⁵ werden daher in Kapitel 3 n¨ aher beleuchtet.

²⁸ Tangible-User-Interface, ber¨ uhrungssensible Benutzerschnittstelle zwischen Mensch und Maschine. ”‘Tangible”’ (Englisch: ber¨ uhr- oder tastbar)

²⁹ Multiple Instruction, Multiple Data stream

³⁰ vgl. Haller u. a. (2010), Shaer u. a. (2010), Sch¨ oning (2008)

³¹ vgl. Spath u. a. (2009)

³² vgl. Wu u. Balakrishnan (2003)

³³ Bei Selbsterstellung der Software

³⁴ Bei Nutzung bestehender L¨ osungen

³⁵ Multi-Touch-Interaktion/en

9

2.2.2 Betriebssysteme

Die kundengetriebene Ausrichtung der IT-M¨ arkte und die in der Vergangenheit steigenden Kundenw¨ unsche nach Touch- und Multi-Touch-Ger¨ aten, lassen einen Zusammenhang bez¨ uglich der Nachfrage, zwischen Hardwareherstellern und Betriebssystemanbietern erkennen. Diese Nachfrage ist an die Unterst¨ utzung neuer Ger¨ ate gekoppelt. Dieser Kundenanspruch, neue Touch- und Multi-Touch-Endger¨ ate mit einfacher und innovativer Software auszustatten, stellt Anforderungen an etablierte Betriebssysteme und schafft einen Markt in dem sich diese neu aufstellen k¨ onnen. 36

Um den Stand der aktuellen Hardwareunterst¨ utzung zu sichten, soll an dieser Stelle der Aufbau mobiler Betriebsysteme und deren Desktop¨ aquivalente dargestellt werden, um ein Leserverst¨ andnis f¨ ur die sp¨ atere Analyse (Kapitel 3) zu schaffen.

Desktop Betriebssysteme

Windows R Microsoft R Die Unterst¨ utzung der Hardware, sowie das Zusammenspiel

dieser mit der Software wird ausschlaggebend durch den Betriebssystemkern (Kernel ³⁷ )

beeinflusst. Der Kernel kommuniziert dabei mit den externen Ger¨ aten, verwaltet interne Bausteine wie RAM ³⁸ , CPU und Festplatte und koordiniert die Speicher- sowie die Prozessverwaltung. Zur Gew¨ ahrleistung dieser Funktionalit¨ aten ist der Windows ^R Kernel in funktionelle Ebenen gegliedert, die durch Kommunikation miteinander Ressourcen verwalten und regeln. Seit der Ver¨ offentlichung der NT-Reihe ist der Kernel, wie in Abbildung 2.1 dargestellt, in die Hauptebenen User- oder Windows R

Benutzer- und Kernelmodus geteilt. Programme, wie sie bei der t¨ aglichen Arbeit mit der grafischen Benutzeroberfl¨ ache ausgef¨ uhrt werden, werden durch den Usermodus/-land bereitgestellt und kommunizieren durch den Kernelmodus mit der Hardware, die die Ressourcen f¨ ur die ausgef¨ uhrten Programme bereitstellt. Der Usermodus/-land und die darin ausgef¨ uhrten Programme haben dabei keinen direkten Zugriff auf die Hardware oder den Arbeitsspeicher. Programme, die jedoch einen umfangreicheren Zugriff auf Ressourcen ben¨ otigen, k¨ onnen mit diesen nur durch die in der Win32-API ³⁹ und den DLL ⁴⁰ -System-Bibliotheken, vordefinierten Schnittstellen kommunizieren. 41

³⁶ vgl. Spath u. a. (2009)

³⁷ auch Betriebssystemkern, Kern oder engl. Operating System Kernel, nach Broy u. Spaniol (1998): ”‘Derjenige Teil eines Betriebssystemes, der Mechanismen zur Prozessverwaltung bereitstellt (Erzeugen, L¨ oschen von Prozessen, Prozesszuteilung (Scheduling)), Betriebsmittelverwaltung (Speicher- und Ger¨ ateverwaltung) sowie Synchronisation und Kommunikation. In der Regel ist dieser Teil des Betriebssystems permanent im Speicher geladen und arbeitet in einer privilegierten Betriebsart des Prozessors (privileged mode, supervisor mode) mit physikalischen bzw. realen Adressen”’

³⁸ Random Access Memory, Informationsspeicher mit wahlfreiem Zugriff, oft als Arbeitsspeicher eines Personalcomputers eingesetzt

³⁹ Application Program Interface (Deutsch: Schnittstelle f¨ ur Anwendungsprogramme)

⁴⁰ Dynamic Link Libraries

⁴¹ vgl. (Geiger, 2009, S. 3)

10

Der Kernelmodus ist wie in Abbildung 2.1 dargestellt, in die Unterebenen ” Kernelschicht“, ”

Hardwareabstraktionsschicht“ gegliedert. Die Kernelschicht wird dabei zentral durch

”

die Datei ” ntoskrnl.exe“ repr¨ asentiert, die die genannten Schichten enth¨ alt. Die Hauptaufgabe der ”

Rechenzeit (CPU-Scheduling), also die Zuteilung der Rechenzeit auf die ausgef¨ uhrten

Programme. Die Funktion der Verwaltung der Systemdienste wird von der ” Ausf¨ uhrungsschicht“ ¨ ubernommen (s. Abbildung 2.2). Um die beschriebenen Schichten des Kernel nicht f¨ ur jede Hardware neu schreiben zu m¨ ussen, ¨ Hardwareabstraktionsschicht (auch HAL ⁴³ ) die Aufgabe, die Hardwareressourcen f¨ ur

die einzelnen Dienste des Systemes bereitzustellen. Somit ist die Auslegung der funktionellen Schichten oberhalb des HAL unabh¨ angig von der verbauten Hardware des Rechners. Durch die in Abbildung 2.2 dargestellte Treiberschicht kann der Kernel mit Treibern in seiner Funktionalit¨ at erweitert werden, um z.B. verschiedenste Hardware zu unterst¨ utzen, oder neue Protokolle verarbeiten zu k¨ onnen. Durch die M¨ oglichkeit der Kernel zu einem Einbindung von Treibern wird der ansonsten monolithische Windows ^R hybrid nutzbaren Kernel, bei dem Treiber, je nach Anforderungen an das betriebene System de- oder installiert werden k¨ onnen. 44

⁴² Quelle: http://www.chip.de/ii/209460214_b9670744c9.jpg, 22.06.2010

⁴³ Hardware Abstraction Layer (Deutsch: Hardwareabstraktionsschicht)

⁴⁴ vgl. (Geiger, 2009, S. 3)

11

GNU/Linux

R Distributionen eingesetzte Kernel, mit dem gleichartigen Namen ” aktuellen Versionsnummer der stabilen Kernelversion 2.6.34, beinhaltet dieselben Kernel. Er bildet die Schicht ¨ Funktionen wie der bereits beschriebene Windows ^R uber

der Hardware und ist daf¨ ur zust¨ andig, alle hardwarespezifischen und -unabh¨ angigen Daten und Informationen auf die eingesetzte Hardware zu ¨ ubersetzen oder weiter zu

geben. Als auch die zur Verf¨ ugung stehenden Ressourcen auf die ausgef¨ uhrten Prozesse Vertreter, monolithisch Kernel kann, ¨ ahnlich wie der Windows ^R zu verteilen. Der Linux R

aufgebaut werden. Dar¨ uber hinaus besteht aber auch die M¨ oglichkeit, den Kernel hybrid verwendet dazu die sogenannten Module, die zum einen direkt beim auszulegen. Linux R

Bau des Kernels, sprich dessen Kompilierung, eingebunden werden k¨ onnen, um einen monolithischen Kernel zu erstellen, oder als außenstehende Module genutzt werden k¨ onnen, um einen hybriden Kernel zu erstellen. Das hat den Vorteil, dass sich der Kernel leicht an die geforderten Rahmenbedingungen der Hardware anpassen kann und somit, bspw. auch auf sogenannten eingebetteten Systemen ⁴⁶ zum Einsatz kommen kann. 47

Zudem ist er, sofern Module nicht in ihn kompiliert werden, kleiner und schneller ladbar. Des Weiteren k¨ onnen w¨ ahrend des Betriebes ein- und ausgeladen werden, was dazu f¨ uhrt, dass sie nur bei Gebrauch ausgef¨ uhrt werden m¨ ussen. Die somit gewonnenen Ressourcen, wie Rechenzeit und RAM-Speicher, k¨ onnen anschließend f¨ ur andere Prozesse bereitgestellt werden. Module k¨ onnen hardwareabh¨ angig oder -unabh¨ angige

⁴⁵ Quelle: http://www.chip.de/ii/209460370_02c86da090.jpg, 22.06.2010

⁴⁶ englisch: embedded systems

⁴⁷ vgl. Bovet u. Ceati (2001)

12

Funktionalit¨ aten beinhalten und sind somit nur bedingt an diese gebunden. ⁴⁸ wird versucht, einen Kompromiss Durch die beschriebene Funktionalit¨ at von Linux ^R zwischen dem Mikrokernel und dem monolithischen Kernel zu schließen, da, wie beschrieben, Treiber in Form von Modulen geladen und entladen werden k¨ onnen. Jede Schicht oder Ebene des Kernel dient der Verwaltung von Prozessen, ist aber als solche nicht als eigenst¨ andiger Prozess zu betrachten. Vielmehr ist jede Kernelschicht, wie in Abbildung 2.3 dargestellt, als Prozessmanager zu sehen. Er ist in zwei grundlegende Teilbereiche gegliedert, den User- und Kernelmodus (Abbildung 2.3). Ein Großteil der Prozesse wird dabei in der h¨ ochsten aller Kernelschichten, dem Usermodus/-land, ausgef¨ uhrt. 49

Kernel durch Wie in Abbildung 2.3 dargestellt, wird die unterste Ebene des Linux ^R die Steuerung von Unterbrechungen (Interrupts) sowie der Priorisierung und Zuteilung (Dispatcher) von Rechenzeit zu aktiven Prozessen gebildet. Eine Unterbrechung, im Kontext des Kernels, kann bspw. durch das Bet¨ atigen einer Maustaste ausgel¨ ost werden. Dieses Ereignis wird anschließend durch den Dispatcher priorisiert und in die Reihe der bestehenden Ereignisse eingeordnet. Das Ereignis wird von dieser untersten Ebene anschließend, je nach dessen Verwendung, an die dar¨ uberliegenden Ebenen weitergegeben. 51

schlagen im Grunde genommen Im Systemkern von Mac OS X ^R Mac OS X R

mehrere Herzen, da der Kernel mit dem Akronym XNU ⁵² aus mehreren Bestandteilen nutzt f¨ ur den Kernel zum einen Teile aus dem Machzusammengesetzt ist. Apple R

Projekt ⁵³ , das von der Carnegie Mellon Universit¨ at in Pittsburgh ins Leben gerufen

wurde, und zum anderen Teile aus dem Betriebssystem, des von der Universit¨ at von

⁴⁸ vgl. (Bovet u. Ceati, 2001, S. 7ff, 19ff), Bovet u. Ceati (2006),Mauerer (2004)

⁴⁹ vgl. Mauerer (2004), Bovet u. Ceati (2006)

⁵⁰ Quelle: http://www.chip.de/ii/209460527_c4d9304eae.jpg, 22.06.2010

⁵¹ vgl. (Bovet u. Ceati, 2001, S. 101ff), Bovet u. Ceati (2006), Mauerer (2004)

⁵² X is Not Unix (Deutsch: X ist kein Unix)

⁵³ vgl. University (2010)

13

Kalifornien in Berkeley 1977 initiierten Projektes mit dem Namen BSD ⁵⁴ R

nicht mehr f¨ ur ein spezifisches Projekt, sondern Sicht steht die Buchstabenfolge BSD R

vielmehr f¨ ur eine Anzahl an verschiedenen Derivaten des urspr¨ unglichen BSD ^R greift, bei der Konzeption ihres Kernel, dabei speziell auf das Derivat FreeBSD ^R Apple ^R zur¨ uck. 56

Abbildung 2.4 stellt den angesprochenen Sachverhalt n¨ aher dar und zeigt zudem, dass Kernel das Mach-Projekt nicht vollst¨ andig, sondern nur in Teilen f¨ ur den Mac OS X ^R verwendet wurde. Die f¨ ur die Ein- und Ausgabe zust¨ andigen Komponenten wurden aus

dem Mach-Projekt ¨ ubernommen. Der zweite, gr¨ oßere Bestandteil des Kernel wird vom BSD-Projekt gestellt und umfasst das in Unix oder Unix-like Systemen ¨ sowie Treiber f¨ ur Netzwerk, NKE ⁵⁹ , Dateisystem und weiterer Hardwareperipherie. Das Kernel einer Anpassung von Mach an die bedeutet, dass die Realisierung des Mac OS X R

BSD Umgebung bedurfte. Der Unterschied zwischen dem als Microkernel ⁶⁰ konzipierten

Mach-Projektes und den ersetzten BSD-Elementen ist, dass das Mach-Projekt und der damit verbundene Kernel eine andere Handhabung des Zeit-, Prozess, Interprozess- und des Ressourcenmanagements erlaubt und verf¨ ugbare Ressourcen individueller genutzt werden k¨ onnen. Aus dieser Betrachtung kann man schließen, dass die Unterst¨ utzung

⁵⁴ Berkeley Software Distribution

⁵⁵ vgl. F¨ arber (1990), Levenez (2010), Group (2003), Schneider u. a. (2010)

⁵⁶ vgl. Apple (2006a), Apple (2006b), FreeBSD (2010)

⁵⁷ Quelle: http://www.chip.de/ii/209460682_eb5f7a7108.jpg, 22.06.2010

⁵⁸ Portable Operation System Interface, spezifiziert die Software- und Benutzerschnittstelle des Betriebsystemes die in dem Standard IEEE Std 1003.1-2008 (ISO (2008)) zusammengefasst sind

⁵⁹ Network Kernel Extention (Deutsch: Netzwerk Kernel Erweiterung)

⁶⁰ Ein Microkernel unterst¨ utzt im wesentlichen die Funktionen der Speicher-, Prozess-, und Ressourcenverwaltung, die, im Gegensatz zu einem monolithischen Kernel, lediglich die Abdeckung von Grundfunktionalit¨ aten darstellen

14

Kernel gew¨ ahrleistet zus¨ atzlicher Hardware von den BSD-Bestandteilen des Mac OS X ^R wird und diese unabh¨ angig von den Komponenten des Mach-Projektes im Kernel sind. 61

Mobile Betriebsysteme

Android TM Das Betriebssystem Android ^TM wurde von dem Unternehmen Google ^TM Corp. im Rahmen des gleichnamigen freien Entwicklungsprojektes ins Leben gerufen. Die aktuelle Version von Android ^TM setzt auf dem bereits beschriebenen Linux R

-Projekt unterst¨ utzten mobilen Endger¨ ate. und unterst¨ utzt damit die durch das Linux R

Der f¨ ur den Einsatz in Android ^TM genutzte Kernel ist jedoch auf die ARM ^R begrenzt und unterst¨ utzt damit ausschießlich Hardware dieser CPU-Architektur.

Wie in Abbildung 2.5 dargestellt ist das OS ⁶³ in die Ebenen Linux ^R Kernel, Bibliotheken, Android ^TM Runtime, Anwendungsplattform und Anwendungsebene aufgeteilt. Die Bibliotheeneben dient, analog zu den bereits beschiebenen Desktopderivaten, der Unterst¨ utzung grundlegender Funktionen. DIe darauf aufbauenden Ebenen dienen der Darstellung und Steuerung des Mobilen Endger¨ ates, wie z.B. der Window-Manager in der Ebene der Anwendungsplattform. 64

⁶¹ vgl. Apple (2006a), Apple (2006b), Apple (2006c), Apple (2006d)

⁶² Quelle: http://knol.google.com/k/-/-/3iprjs82k8877/m5w1r7/system-architecture.jpg, 22.06.2010

⁶³ Operation System/s (Deutsch: Betriebssystem/e)

⁶⁴ vgl. Android (2010), Google (2007a), ARM (2010)

15

In Anlehnung an Android ^TM ist das auf dem iPhone ^R iOS

R ein auf den mobilen ausgerichtetes OS X. Der Kern von iOS ^R iOS R

Kernel auf. Es wird ebenfalls wie im Derivat Android ^TM nur auf den Mac OS X ^R angeboten. Die Architektur des iOS ^R die CPU-Architektur ARM f¨ ur das iPhone R

ist weiterf¨ uhrend stark mit der Architektur von Android ^TM verwandt, da ebenfalls auf Komponenten wie SQLite und XML f¨ ur die Datenverwaltung gesetzt wird. Die Grafikunterst¨ utzung wird zudem ebenfalls ¨ uber OpenGL/ES und WebKit realisiert. Die

Audiounterst¨ utzung wird jedoch, durch eine bereits im iPod eingesetzte, Audiobibliothek die durch OpenAL erg¨ anzt wird. 65

Mobile R Corporation entwickelte Windows ^R Das von der Microsoft ^R Windows R

ist ebenso wie die bereits beschiebenen mobilen Vertreter auf die ARM-Mobile R

Architektur ausgelegtes Betriebssystem. Es basiert im Wesentlichen auf dem .NET-Framework und ist Folge dessen mit den Programmiersparchen VisualBasic und C# erweiterbar. Der Betriebsystemkern ist in der Funktionalit¨ at stark an seinen Mobile ^R bietet in seiner Desktopvertreter angelehnt, da es diesen entstammt. Windows ^R Architektur (.NET-Framework) eine Vielzahl an Schnittstellen die eine Nutzung mit SQL Server, Internet Information weiteren Microsoftprodukten erm¨ oglichen (Microsoft ^R Server and ADO.NET). 66

Nach dieser Betrachtung etablierter Betriebssysteme folgt die Beschreibung der Hardwarekomponenten der Multi-Touch-Technologie, durch die zum einen ein grundlegendes Verst¨ andnis der Technologie und deren Funktionalit¨ at vermittelt werden soll und zum anderen ein Fundament f¨ ur die sp¨ atere SWOT ⁶⁷ -Analyse geschaffen

verwenden soll.

2.3 Hardware

Seit der Entwicklung des ersten Multi-Touch-Terminals 1972 an der Universit¨ at Illinois (USA) sind fast 38 Jahre vergangen. ⁶⁸ In dieser, mehr als ein viertel Jahrhundert

umfassenden Zeit, haben sich verschiedenste technische Konzepte zur Umsetzung von Multi-Touch-Funktionalit¨ at entwickelt. Diese Techniken unterscheiden sich dabei teilweise gravierend voneinander, oder sind teils voneinander, durch Optimierung einer Technik auf einen bestimmten Anwendungsfall abgeleitet. Alle Techniken sind jedoch in der von ihnen bereitgestellten Funktion - erkennen und umwandeln von Tastimpulsenidentisch. Da die technischen Beschreibungen verschiedener Hersteller teils Widerspr¨ uche enthalten, werden im Anschluss die verschiedenen Techniken anhand ihrer physikalischen Grundprinzipien vorgestellt (Tabelle 2.2) und in nachfolgenden Kapiteln detaillierter

⁶⁵ vgl. Apple (2010a), Apple (2010b), Apple (2010c), Apple (2010d), Apple (2010e), Apple (2010f), ARM (2010)

⁶⁶ vgl. Microsoft (2008), ARM (2010)

⁶⁷ Strengths, Weaknesses, Opportunities and Threats (Deutsch: St¨ arken, Schw¨ achen, Chancen und Risiken)

⁶⁸ vgl. Buxton (2009)

16

beleuchtet. Dieser Arbeit liegt dabei die technische Betrachtung von L¨ offler (2009) und Friedrich (2009) zugrunde.

2.3.1 Resistive Technik

Diese Technik findet bereits ein breites Anwendungsfeld und hat sich in der Vergangenheit am st¨ arksten etabliert. Im Alltag kann man diese Technik in Ger¨ aten wie Fahrkartenautomaten, Navigationsger¨ aten, Kameras, Kopierern und Geldautomaten antreffen (Abbildung 2.6). Die resistive Technik arbeitet mit mehreren ¨ ubereinander liegenden Schichten. Das

Grundprinzip f¨ ur die Multi-Touch-F¨ ahifkeit wird durch zwei leitenden Membranen und einer isolierenden Schicht gebildet. Die Isolationsschicht, die zumeist von Silikonelementen gebildet wird, dient der physikalischen Trennung der beiden leitenden Schichten. So kann der Kontakt der beiden leitenden Schichten nur durch Ber¨ uhrung und somit Aus¨ ubung von Druck auf die Bildfl¨ ache hergestellt werden. Ein vollst¨ andiger Aufbau eine Multi-Touch-Bildschirmes der die resistive Technik nutzt ist aber dar¨ uber hinaus komplexer. Die oberste Schicht eines resistiven Bildschirmes hat die Funktion die darunterliegenden Schichten vor mechanischer Einwirkung zu sch¨ utzen. Die darunter liegende, zweite Schicht bildet eine der bereits angesprochenen leitenden Schichten. Zwischen dieser und der zweiten leitenden Schicht befindet sich besagte Isolierschicht. Abschließend, als letzte Ebene, wird ein festes Material eingesetzt, das die mechanische Einwirkung vollst¨ andig begrenzen soll (meist Glas oder Glas ¨ ahnliche Materialien). Hinter diesen Ebenen, die die Touch-Funktionalit¨ at der Oberfl¨ ache bereitstellen, befindet sich der zur Darstellung genutzte LCD- oder R¨ ohrenbildschirm. 70

⁷⁰ vgl. Friedrich (2009), Spath u. a. (2009), L¨ offler (2009)

17

Abbildung 2.6: Anwendung einer Touch-

Aufgrund der einfachen funktionellen Teilbarkeit der Bildschirmebene (LCD, R¨ ohrenmonitor) und der Touchebenen lassen sich handels¨ ubliche Bildschirme einfach mit dieser Technologie nachr¨ usten. ⁷³ Durch die damit gegebene Anpassbarkeit und

Nachr¨ ustbarkeit, l¨ asst sich meiner Ansicht nach auch ein direkter R¨ uckschluss auf die hohe Marktdurchdringung dieser Technik schließen.

2.3.2 Akustische Technik

Die akustische Technik ist auch unter dem Namen SAW ⁷⁴ -Technik bekannt. Sie

beruht auf der kreisf¨ ormigen Ausbreitung mechanischer Wellen. Die SAW-Technik nutzt daf¨ ur ein schwingf¨ ahiges Medium. Dieses Medium wird von festen K¨ orpern representiert, da sich Wellen in diesen schneller ausbreiten und damit das Delta zwischen Informationseingabe des Nutzers und der beginnenden Verarbeitung der Signale durch Sensoren verringert wird.

Der technische Aufbau solch einer Oberfl¨ ache ist in Abbildung 2.8 dargestellt. An den Ecken der Bedienungsoberfl¨ ache finden sich Sensoren (Mikrofone), die den durch die Ber¨ uhrung der Oberfl¨ ache inizierten Schalldruck messen. Die zeitliche Differenz der Eingangssignale aller Sensoren gibt dabei Aufschluss ¨ uber die Position der Ber¨ uhrung.

Desweiteren ist der gemessene Schalldruck auch ein Maß f¨ ur die Intensit¨ at der Ber¨ uhrung und kann daher zur weiteren Informationsverarbeitung herangezogen werden. 75

⁷² Quelle: http://i.computer-bild.de/imgs/99990364_fe151cfbf2.jpg, 09.03.2010

⁷² Quelle: http://i.computer-bild.de/imgs/99990590_9a1df530b8.jpg, 09.03.2010

⁷³ vgl. n trig (2010)

⁷⁴ Surface-Acoustic-Wave

⁷⁵ vgl. Liu u. a. (2009)

18