Multimodale Systeme im mobilen und stationären Einsatz

Inhaltsverzeichnis

Glossar

Abbildungsverzeichnis

Tabellenverzeichnis

1 Einleitung
1.1 Motivation
1.2 Zielsetzung der Arbeit
1.3 Aufbau der Arbeit

2 Stand der Technik
2.1 Mensch-Maschine-Schnittstelle
2.1.1 Multimodale Interaktion
2.1.2 Multi-User-Fähigkeit
2.1.3 Multi-Touch-Fähigkeit
2.2 Software
2.2.1 Grundlagen
2.2.2 Betriebssysteme
2.3 Hardware
2.3.1 Resistive Technik
2.3.2 Akustische Technik
2.3.3 Kapazitive Technik
2.3.4 Optische Technik
2.4 Zusammenfassung

3 Analyse
3.1 Konzepte & Projekte
3.1.1 Betriebsystemeentwicklung im Bereich Multi-Touch
3.1.2 10/GUI
3.1.3 touchlib
3.1.4 WPF 4 - Windows® Presentation Foundation
3.1.5 180 - A multitouch application for consultant situations
3.1.6 Instant Reality
3.1.7 reacTIVision
3.1.8 TUIO
3.1.9 MT4j - Multi-Touch for JavaTM
3.1.10 Zusammenfassung
3.2 Erarbeitung der Systemanforderungen
3.2.1 Anforderungen an das multimodale System
3.2.2 Prozessmodellierungsanforderungen
3.2.3 Erarbeitung möglicher Umsetzungsszenarien
3.2.4 Zusammenfassung
3.3 Hardware
3.3.1 SWOT-Analyse der resistiven Technik
3.3.2 SWOT-Analyse der akustischen Technik
3.3.3 SWOT-Analyse der kapazitiven Technik
3.3.4 SWOT-Analyse der optischen Techniken
3.3.5 Zusammenfassung
3.4 Adaption existierender Software
3.4.1 Marktrecherche bestehender Softwarelösungen
3.4.2 Abgleich mit dem Anforderungskatalog
3.4.3 Zusammenfassung
3.5 Eigenentwicklung
3.5.1 Nutzen bestehender Konzepte
3.5.2 Vollständige Neukonzeption
3.5.3 Zusammenfassung
3.6 Zusammenfassung

4 Konzeption
4.1 Interaktionen
4.1.1 Migration der Mausinteraktionen
4.1.2 Formen der multimodalen Texteingabe
4.1.3 Alternative Interaktionsmöglichkeiten
4.1.4 Zusammenfassung
4.2 Bedienungs- / Nutzungskonzeptentwicklung
4.2.1 Rollen und Verantwortlichkeiten
4.2.2 Grafische Konzeption
4.2.3 Zusammenfassung
4.3 Referenzmodell
4.3.1 Stationäres multimodales System
4.3.2 Mobiles multimodales System
4.4 Zusammenfassung

5 Zusammenfassung
5.1 Fazit
5.2 Ausblick

Literaturverzeichnis

A Marktrecherche zur Geschäftsprozessmodellierungssoftware

B Größere Darstellung der Referenzmodelle
B.1 Stationäres multimodales System
B.2 Mobiles multimodales System

C Darstellungsformen / -tools für Notationen

Glossar

API Application Program Interface (Deutsch: Schnittstelle für Anwendungsprogram- me). 10, 32, 35, 36

BPMN Business Process Modeling Notation. 45, 53-56, 69, 72, 73

BPMS Business-Process-Management Software

(Deutsch: Geschäftsprozessmodellierungssoftware). 72, 98

BSD Berkeley Software Distribution. 13, 14

CNC Computerized Numerical Control (Deutsch: Computergestützte numerische

Steuerung). 4, 25

CPU Central-Processing-Unit (Deutsch: Zentrale- oder Hauptrecheneinheit). 8, 10, 11, 15

DI Diffuse Illumination (Deutsch: diffuse Beleuchtung). 16, 22, 23, 63, 64, 66 Dielekrtikum elektrischer Nichtleiter. 19

DLL Dynamic Link Libraries. 10

Drag & Drop wörtlich: Ziehen und Fallen lassen, beschreibt eine Technik der Nutzung einer grafischen Benutzeroberfläche bei der Elemente durch dessen Ziehen und Fallen lassen verschoben und bewegt werden können und so eine Interaktion mit der Oberfläche bewirken. 44

DSI Diffuse Surface Illumination, (Deutsch: diffuse Flächenausleuchtung). 16

Dual-Touch Gleichzeitiges Erkennen zweier durch Berührung ausgelöster Messimpulse. 28, 35, 59, 82

ETH Zürich Eidgenössische Technische Hochschule Zürich - Swiss Federal Institute of Technology Zürich. 75

F&E Forschung & Entwicklung. 50, 55

Fraunhofer IGD Fraunhofer Institut für Grafische Datenverarbeitung. 23, 74

Fraunhofer IPA Fraunhofer Institut für Produktionsplanung und Automatisierung. 3, 39, 41, 44, 46, 53, 74, 75, 88, 93

FTIR Frustrated Total Internal Reflection (Deutsch: frustrierte interne Totalreflektion). 16, 22, 23, 63, 64, 66

Gesten Abfahren einer definierten fiktiven Linie auf einer Multi-Touch-Oberfläche die ein festgelegtes Ereignis auslöst. 30

GUI Graphical-User-Interface. 8, 25, 30, 32, 36, 39-41, 44, 60, 68, 90, 93, 96, 98, 105 HAL Hardware Abstraction Layer (Deutsch: Hardwareabstraktionsschicht). 11, 38

HCI Human-Computer-Interface (Deutsch: Mensch-Maschine-Interaktion), nach Hewett (2009): ”Human-computerinteractionisadisciplineconcernedwith the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding them“. 40

HTW-Aalen Hochschule für Technik und Wirtschaft Aalen. 53 IR Infrarotes Licht. 7, 21-23, 64

IT Informationstechnologie. 1, 5, 8, 9

IUM Integrierte Unternehmensmodellierung. 45, 53-55, 57, 69

Kernel auch Betriebssystemkern, Kern oder engl. Operating System Kernel, nach Broy u. Spaniol (1998):

”DerjenigeTeileinesBetriebssystemes,derMechanismenzur

Prozessverwaltung bereitstellt (Erzeugen, Löschen von Prozessen, Prozesszuteilung (Scheduling)), Betriebsmittelverwaltung (Speicher- und Geräteverwaltung) sowie Synchronisation und Kommunikation. In der Regel ist dieser Teil des Betriebssystems permanent im Speicher geladen und arbeitet in einer privilegierten Betriebsart des Prozessors (privileged mode, supervisor mode) mit physikalischen bzw. realen Adressen“. 10-15, 28-30

KMU Kleine und mittelständische Unternehmen. 43, 44, 71

Kurzbefehl Kombination mehrerer Tasten zu einer Tastenkombination, welche von der Software interpretiert wird und ein vordefiniertes Ereignis auslöst (engl. Shortcut). 72

LCD Liquid Crystal Display (Deutsch: Flüssigkristallbildschirm). 16-18, 92 MIMD Multiple Instruction, Multiple Data stream. 9, 40 MMIA Mensch-Maschine-Interaktion. 2, 6, 7

MMIF Mensch-Maschine-Interface. 2

MMS Mensch-Maschine-Schnittstelle. 1, 4-6, 9, 31, 40, 80, 107, 108

MPX Modifikation des X-Servers mit dem Namen: Multi Pointer X-Server. 30 MT4j Multi-Touch for Java (Deutsch: Multi-Touch für Java). 35, 77, 79 MTI Multi-Touch-Interface. 72

MTIA Multi-Touch-Interaktion/en. 9

MTO Multi-Touch Oberfläche. 2, 4, 8, 16, 23-25, 27, 31, 33, 35, 38-40, 47, 53, 58, 71, 75, 78, 80-88, 90, 92, 93, 95, 97, 98, 100, 103, 105

MTT Multi-Touch-Table. 4, 16, 21-23, 58, 63, 92, 93, 95 MU Multi-User. 8, 40 multimodale Interaktion Beschreibt den Informationsfluss zwischen Mensch und Maschine. Dabei werden mehrere Informationskanäle für den Informationstransfer zwischen Mensch und Maschine verwendet. Touch-Oberfläche, Spracheingabe und Schrifterkennung werden/können bspw. gleichzeitig zum Informationsaustausch verwendet werden. 7, 66, 74, 84

Multi-Touch Gleichzeitiges Erkennen mehrerer durch Berührung ausgelöster Messim- pulse. 1-5, 7-9, 16, 17, 19-23, 25, 27-40, 47, 53, 59, 61, 64, 66, 68, 72-78, 80, 84, 86, 87, 89, 91-93, 97, 100, 103, 105, 107, 108

NKE Network Kernel Extention (Deutsch: Netzwerk Kernel Erweiterung). 14 NUI Natural-User-Interface (Deutsch: Natürliche Benutzerschnittstelle). 32

OS Operation System/s (Deutsch: Betriebssystem/e). 15, 25 OSS Open-Source-Software. 34, 74, 98

PAP Programmablaufplan. 45, 53-56 PC Personal Computer. 1, 9, 31

PDA Personal Digital Assistant, auch Organizer. 91

POSIX Portable Operation System Interface, spezifiziert die Software- und Benutzerschnittstelle des Betriebsystemes die in dem Standard IEEE Std 1003.1- 2008 (ISO (2008)) zusammengefasst sind. 14

QM Qualitätsmanagement. 71

RAM Random Access Memory, Informationsspeicher mit wahlfreiem Zugriff, oft als Arbeitsspeicher eines Personalcomputers eingesetzt. 10, 12

SAW Surface-Acoustic-Wave. 18

SDK Software Development Kit (Deutsch: Softwareentwicklungswerkzeug). 31, 79, 96

Shape Grafisches Objekt, das in der grafischen Benutzeroberfläche dargestellt wird und mit Hilfe dessen die Modellierung von Prozessen ermöglicht wird. 44, 70, 95, 97, 100, 103

Single-Touch Erkennen eines einzelnen durch Berührung ausgelöster Messimpulses. 4, 16, 28, 35, 59, 83, 84

SISD Single Instruction, Single Data. 5, 6, 8, 9, 36

SWOT Strengths, Weaknesses, Opportunities and Threats Schwächen, Chancen und Risiken). 16, 45, 60, 61, 63, 64, 78

Tag Englisches Wort, das dem englischen Wort (Deutsch: Stärken, ähnelt. ”label“inderBedeutung

Bedeutung: eine Kennzeichnung eines Objektes, ähnlich dem Barcode. 63, 64, 86

Touch-Impulse Messimpulse die durch die Berührung der Multi-Touch-Oberfläche ausgelöst werden. 34, 35

Touch-Oberfläche Auf Berührung reagierende Oberfläche für die Interaktion mit Rechnern. 21

Touchpad Berührungsempfindliche Oberfläche welche zur Interaktion mit einem Rechner, meist Notebook, gedacht ist. Je nach Auslegung und Technik ist ein Touchpad in der Lage eine (Single-Touch) oder mehrere Berührungen (Dual- und Multi-Touch) in Signale umzuwandeln und diese an den angeschlossenen Rechner weiterzugeben. 31

TUI Tangible-User-Interface, berührungssensible Benutzerschnittstelle zwischen Mensch und Maschine.

”Tangible“(Englisch:berühr-odertastbar).9,89,97,98

TUIO Tangible User Interface Objects (Deutsch: berührbare/greifbare Objekte der Benutzerschnittstelle). 35, 36, 38

UML Unified Modeling Language 1. 45, 73

UML2 Unified Modeling Language 2. 45, 47, 49, 50, 52-55, 57, 69, 72, 73 VR Virtual Reality (Deutsch: Virtuelle Realität). 6, 33, 108 WPF Windows Presentation Foundation. 32

XNU X is Not Unix (Deutsch: X ist kein Unix). 13

Abbildungsverzeichnis

2.1 Windows® Architektur

2.2 Windows® - Kernel

2.3 Linux® - Kernel

2.4 Mac OS X® - Kernel

2.5 AndroidTM Architektur

2.6 Anwendung einer Touch-Oberfläche (Deutsche Bahn)

2.7 Aufbau der resistiven Multi-Touch-Oberfläche

2.8 Aufbau der akustischen Multi-Touch-Oberfläche

2.9 Leiter-Matrix

2.10 Feldlinien der Leiter-Matrix im Querschnitt

2.11 Feldlinienänderung der Leiter-Matrix im Querschnitt

2.12 Technischer Aufbau - FTIR

2.13 Bildsignal - FTIR

2.14 Bildsignal - DI

2.15 Technischer Aufbau - DI

3.1 Schichtmodel Instant-Reality1

3.2 reacTIVision Modellaufbau2

3.3 Fiducial-Marker für reacTIVision3

3.4 Multi-Touch Ebenenmodell 1

3.5 Multi-Touch Ebenenmodell 2

3.6 Umsetzungsszenarien

3.7 Adaption existierender Software

3.8 Eigenentwicklung

3.9 Eigenentwicklung auf Basis bestehender Konzepte

3.10 Vollständige Neukonzeption

4.1 Tastatur des Apple iPhones

4.2 Tastatur für Bildschirme - Swype

4.3 Benennung der Arbeitsbereiche

4.4 Spracheingabe mittels Schaltfläche

4.5 Konzept der Arbeitsbereichstrennung 1

4.6 Konzept der Arbeitsbereichstrennung 2

4.7 Positionierung von Menüs und Schaltflächen bei stationärer Anwendung

4.8 Positionierung von Menüs und Schaltflächen bei mobiler Anwendung

4.9 Referenzmodell für die stationäre Nutzung 1

4.10 Referenzmodell für die stationären Nutzung 2

Abbildungsverzeichnis

4.11 Referenzmodell für die mobile Nutzung 1

4.12 Referenzmodell für die mobile Nutzung 2

4.13 Referenzmodell für die mobile Nutzung 3

4.14 Untersuchte Einflussfaktoren

B.1 Vergrößerung des stationären Referenzmodelles 1

B.2 Vergrößerung des stationären Referenzmodelles 2

B.3 Vergrößerung des mobilen Referenzmodelles 1

B.4 Vergrößerung des mobilen Referenzmodelles 2

B.5 Vergrößerung des mobilen Referenzmodelles 3

Tabellenverzeichnis

2.1 Flynn’sche Taxonomie

2.2 Physikalische Prinzipien der Multi-Touch-Techniken

3.1 Nutzer- und Systemanforderungen an das multimodale System

3.2 Anforderungen an die multimodale Prozessmodellierungslösung

3.3 Ist-Methoden-Analyse - Planungsebenen

3.4 Ist-Methoden-Analyse - Unternehmensbereiche

3.5 Stärken- Schwächenanalyse der Ist-Methoden - Teil1

3.6 Stärken- Schwächenanalyse der Ist-Methoden - Teil2

3.7 Untersuchung weiterer Darstellungsmethoden - Planungsebenen

3.8 Untersuchung weiterer Darstellungsmethoden - Unternehmensbereiche

3.9 Untersuchung weiterer Darstellungsmethoden - Teil1

3.10 Untersuchung weiterer Darstellungsmethoden - Teil2

3.11 SWOT-Analyse der resistiven Technik

3.12 SWOT-Analyse der akustischen Technik

3.13 SWOT-Analyse der kapazitiven Technik

3.14 SWOT-Analyse der FTIR-Technik

3.15 SWOT-Analyse der optischen Technik (DI-Technik)

4.1 Interaktionsformen SISD - MIMD Teil 1

4.2 Interaktionsformen SISD - MIMD Teil 2

4.3 Interaktionsformen SISD - MIMD Teil 3

4.4 Spracheingabebeispiel

1 Einleitung

1.1 Motivation

Egal, ob Ich-AG oder weltweit agierender Konzern, der Einsatz von IT^[1] in Unternehmen nimmt mit steigenden Tendenzen zu^[2]. Dabei verbindet die Mehrheit aller Computernutzer mit dem Wort PC^[3] einen Rechner, der von seinem Benutzer über Tastatur und Maus gesteuert wird. Das ist auch nicht weiter verwunderlich, da sich diese Art des MMS^[4] in den vergangen Jahrzehnten zu dem meist genutzten Nutzerschnittstelle herausgestellt hat^[5]. Der hohe Grad der Verschmelzung unserer Arbeitsumgebungen mit Computern und verschiedensten Formen von Anwendungen und Systemen fordert in vielen Bereichen eine Weiterentwicklung dieser ”quasi“StandardMMS(Mausund Tastatur). Eines dieser Entwicklungen stellt die Multi-Touch^[6] -Technologie dar, die als Ziel verfolgt, Tastatur und Maus in einem einzigen Interface zu vereinen und diese mit mehreren Fingern bedienbar zu machen.

Diese Technologie stellt, rein technisch betrachtet, keinen neuartige Entwicklung dar, sondern ist vielmehr eine Verbesserung und Verfeinerung der bisher existierenden Konzepte, die erstmalig von SK Lee, W, Buxton und K. C. Smith^[7] vorgestellt wurden. Sie ist seitdem in Kreisen der IT auch immer wieder in verschiedensten Gebieten zur Anwendung gekommen, aber sie hat seither nie zu den Schlüsseltechnologien gezählt, die Kaufkriterien von Endgeräten beeinflusst haben.^[8] Doch seit sich Unternehmen wie Apple® und Microsoft®^[9] umfassender mit dieser Technologie befassen, ist sie einer breiten Masse an Endverbrauchern zugänglich. Somit hat sie sich in den verschiedensten Branchen und besonders in der Telekommunikationsindustrie etabliert. Zudem verschafft diese Technologie anderen Marktteilnehmern und Herstellern einen Know-How-Vorsprung und wirkt sich somit als Markteintrittsbarriere aus.

Trotzdem oder gerade deshalb, ist jedoch nocht nicht das gesamte Potenzial dieser Technologie ausgeschöpft.^[10] Gerade im industriellen Umfeld bieten sich verschiedenste Einsatzmöglichkeiten, von der Präsentation bis hin zur Bedienungsoberfläche in Reinräumen. So hat sich die Multi-Touch-Technologie bereits zur Bedienung von CNCWerkzeugmaschinen und als virtueller Führer für Museen bewährt.

Darüber hinaus bietet sich diese Technologie, aufgrund der Möglichkeit, kollaboratives Arbeiten auf einer großen Bildoberfläche zu ermöglichen, hervorragend für die Arbeit mit mehreren Personen an. Diese Möglichkeit, mehrere Anwender gleichzeitig, zusammen oder unabhängig voneinander, mit einem Rechner interagieren zu lassen, stellt im Sinne der MMIA^[11] einen großen Vorteil dar, da nun eine Plattform für die gleichzeitige Gruppenarbeit mit Rechnern geschaffen werden kann.

Diese Arbeit widmet sich dieser Thematik und dient dazu des Einsatzgebietes der Multi-Touch-Technologie weiter zu vergrößern und den Vorteil der möglichen Gruppenarbeit hervorzuheben. Dabei liegt der Schwerpunkt dieser Arbeit bei der Ermöglichung und wissenschaftlichen Beschreibung eines vom Autor erarbeiteten Referenzmodelles zur digitalen kollaborativen Prozessmodellierung.

1.2 Zielsetzung der Arbeit

Im Fokus dieser Arbeit steht die Beschreibung und Konzeptentwicklung einer inter- aktiven multimodalen Anwenderoberfläche, bestehend aus MTO^[12] und Spracheingabe, sowie deren Wirtschaftlichkeitsbetrachtung. Dieses Konzept soll speziell die Anforde- rungen des kollaborativen Arbeitens, zur Erstellung von Geschäftsprozessen, erfüllen. Der Einsatzbereich der zu erarbeiteten Erkenntnisse soll durch die Betrachtung des sta- tionären und des mobilen Einsatz geprüft werden. Diese Arbeit soll, folge dessen, das gemeinschaftliche Arbeiten mehrerer Personen an einer MTO (stationärer Einsatz) be- trachten, sowie zudem das gemeinschafliche dezentrale Arbeiten mehrerer Personen von mobilen Multi-Touch-Geräten aus.

1.3 Aufbau der Arbeit

Diese Arbeit gibt zu Beginn Einblick in Grundlagen der MMIF^[13] um dem Leser ein grundlegendes Verständnis der Interaktionsmöglichkeiten mit dem Computer zu geben. Dabei handelt es sich größtenteils um theoretisches Hintergrundwissen. Auch eine geschichtliche Betrachtung wird nicht außer acht gelassen. Anschließend wird das Gebiet der Interaktion mit einer MTO tiefer beleuchtet und grundlegende Voraussetzungen für den Einsatz dieser. Desweiteren wird eine anfängliche Erklärung der Bedienung gegeben (Kapitel 2). Mit diesem Wissen ist der Leser in der Lage, die weitere Vertiefung der Arbeit im Bereich der Multi-Touch-Technik nachzuvollziehen. Dabei erfolgt eine Gliederung in Soft- und Hardware um den informationstechnischen Teil vom ingenieurtechnischen zu trennen.

Aufsetzend auf den geschaffenen Hintergrund, wird im Kapitel 3 eine Übersicht über die, im Rahmen dieser Arbeit durchgeführte Recherche und Analyse von Soft- und Hardware dargestellt. Dabei, wird sowohl die aktuelle Unterstützung der populären Desktop-Betriebssysteme Microsoft® Windows®, Mac OS X® und GNU/Linux® im Bereich der Multi-Touch-Technologie untersucht, als auch deren mobile Vertreter AndroidTM , iOS® und Windows® Mobile® dargestellt. Um die spätere Konzeption auf die Nutzer und Entwickler am Fraunhofer IPA^[14] auszurichten werden im analytischen Teil dieser Arbeit zudem die technischen und nutzungsrelevanten Anforderungen aufgenommen und auf deren Realisierbarkeit geprüft. Die in diesem Zusammenhang entwickleten Lösungsansätze sind: Nutzung einer existierenden Prozessmodellierungssoftware, Eigenentwicklung auf der Basis eines bestehenden Konzeptes und die vollständige Eigenentwicklung einer Multi-Touch-Lösung zur kollaborativen Prozessmodellierung. Im Laufe der Bewertung dieser Lösungen, wird eine Marktanalyse der zur Prozessmodellierung nutzbaren Software durchgeführt. Sowohl freie als auch proprietäre Angebote sind inhalt dieser Berachtung und werden durch ein aufgestelltes Lastenheftes bewertet.

Das Kapitel ”Konzepte&Projekte“ (3.1) beinhaltet, die Entwicklung des multimodalen Systems auf Basis der erarbeiteten Erkenntnisse. Die Konzeption einer stationären Lösung wird dabei getrennt von der Konzeption einer mobilen Lösung berteachtet, da dessen Rahmenbedingungen für eine intuitive Nutzung differieren.

2 Stand der Technik

Die Multi-Touch-Technik ist an sich keine Erfindung der letzten Jahre, sondern wird seit Mitte der 1960er erforscht und entwickelt. Den Anstoß zur Entwicklung von MTO haben die zu dieser Zeit etablierten und heutige Tastaturen gegeben. Sie waren anfänglich noch nicht in der Lage, mehrere Tastenbefehle gleichzeitig aufzunehmen und haben damit selbst noch keine Multi-Touch-Funktionalität geboten. Das hat die damalige Arbeit mit einem Rechner erschwert, da somit auch Tastenkombinationen wie ”Strg+C“noch

nicht möglich waren. Um dieses Problem zu lösen wurde erstmals der Bedarf an Multi- Touch-Funktionalität aufgebracht und in die damaligen Systeme integriert.^[1] Heutige Tastaturen, denen bei historischer Betrachtung eher ein mechanisches als ein elektrisches Prinzip zu Grunde liegt, unterstützen bereits jetzt eine sich zum Standard entwickelte Multi-Touch-Funktionalität, da sie die Kombination verschiedener Tasten erkennen. Der Tastatur, wie wir sie heute kennen, ist aber Aufgrund ihrer mechanischen Komponenten eine begrenzte Multi-Touch-Funktion zuzuschreiben. Diese Erkenntnis setzte bereits in den Anfängen der Mensch-Rechner-Kommunikation bei den damaligen Wissenschaftlern ein und führte 1972 zum ersten tastsensiblen Terminal an der Universität von Illinois (USA).^[2] Dieses Terminal unterstützte jedoch nur die Erkennung eines Tastimpulses, was bedeutet, dass es noch nicht in die Reihen der MTO eingeordnet werden kann, da es sich um eine sogenannte Single-Touch^[3] - Bedienoberfläche handelte. Erst 1985 wurde an der Universität von Torronto der erste MTT^[4] vorgestellt, der es mehreren Nutzern erlaubte, über eine Schnittstelle gemeinsam mit einem Rechner zu interagieren.^[5] Das Themengebiet der MMS, mit Touch und Multi-Touch, hat in den darauffolgenden 20 Jahren in der Forschung nicht an Präsenz verloren, war aber rein technisch für eine günstige Massenproduktion à la Tastatur und Maus nicht geeignet und konkurrenzfähig. Erst seit Beginn der 90er Jahre und mit fortschreitender Automatisierung der Mikroelektronikindustrie sind Hersteller wie IBM^[6] in der Lage, diese Technologie einer breiteren Masse an Nutzern zur Verfügung zu stellen. Aufgrund der anfänglichen geringen Marktdurchdringung dieser Technik und der damit verbundenen geringen Verfügbarkeit an Programmen hat sie sich nur in speziellen Umfeldern etabliert. Allein erhebliche Vorteile gegenüber dem noch heute am stärksten verbreiteten Maus-Tastatur-Konzepte haben die Touch- und Multi-Touch-Technik in diesen Bereichen etabliert. Zu diesen gehört bspw. die Steuerung von CNC^[7] Maschinen. Die Touchtechnologie hat sich in diesem Marktsegment aufgrund ihrer Unempfindlichkeit gegenüber Schmutz und anderen Umwelteinflüssen durchgesetzt.^[8]

Durch diese Verfügbarkeit hat sie Anklang an ein breites Anwenderschaft gefunden und ist für Unternehmen in diesem Markt zum Standard und damit zu Markteintrittsbarrieren erwachsen (Mobiltelefonmarkt mit dem iPhone oder TablettPC’s im Business Notebook Marktsegmenten).^[9]

Nachfolgend fokusiert dieses Kapitel auf den den technischen und theoretischen Grundlagen der Multi-Touch-Technologie und dem damit verbundenen Forschungsstand (Kapitel 2.1 - 2.4).

2.1 Mensch-Maschine-Schnittstelle

Um zu Beginn des theoretischen Teiles dieser Arbeit den Rahmen des Projektes und die damit verbundenen Begrifflichkeiten zu klären, finden sich nachfolgend grundlegende Erläuterungen.

Der Begriff der MMS beschreibt in der IT die Kommunikation zwischen Mensch und Maschine. Dieser Inforamtionsaustausch entsteht immer dann, wenn sich z.B. auf einem Bildschirm ein Menü oder Fenster^[10] öffnet und den Dialog zwischen Mensch und Maschine einleitet. Die MMS definiert damit die Art der Kommunikation und Form der Interaktion, die zwischen Mensch und Rechner entsteht.

Die Informationsübermittlung ist nicht einseitig, sondern umfasst ebenfalls die Informationsrückgabe durch den Computer. Sie ist somit bidirektional. Aktuell ist dieser Informationsaustausch, speziell im Desktopbereich, durch SISD^[11] -Eingabegeräte geprägt^[12], wird aber mehr und mehr durch interaktivere Eingabemedien verdrängt.^[13] Sie verfolgen vorrangig den Zweck, Computer auch für nicht geschultes Personal und Anwender zugänglich zu machen, sowie den Zeitaufwand, für den Umgang diese zu erlernen, zu verringern.

Um eine Grundlage für die in dieser Arbeit angesprochenen Arten des Informationstransfers zu schaffen, wird nachfolgend eine Einführung in die menschliche Kommunikation gegeben. Diese kann im wesentlichen in drei Teilbereiche untergliedert werden.^[14]

1. Verbal: Der verbale Ausdruck umfasst Informationen über den Inhalt, also das, was wirklich gesagt wurde.
2. Paraverbal: Der paraverbale Ausdruck umfasst die stimmlichen oder artikulatori- schen Aspekte, d.h. die Art und Weise, wie etwas ausgesprochen oder stimmlich begleitet wird.
3. Nonverbal: Der nonverbale Ausdruck beschreibt die körpersprachliche Komponen- te.

Dabei sind nicht alle genannten Arten an der Kommunikation mit einem Computer beteiligt. So fällt es bspw. schwer, paraverbale Ausdrücke von einer Maschine interpretieren zu lassen, da diese situativer Wandlung unterliegen. Die anderen beiden Bereiche der Kommunikation (verbal, nonverbal) können aber bereits heute gut durch Computer erkannt werden. Sie werden durch Software zur Spracherkennung und -ausgabe (verbal) und Web- oder Videokameras zur Bilderkennung (nonverbal) unterstützt.

Die verbale Kommunikation mit Computersystemen wurde bereits früh durch den menschlichen Tast- und Sehsinn erweitert. Dies spiegelt sich in den heute alltäglichen SISD-Modell der MMIA mit Maus und Tastatur wieder. Nachfolgend werden kurz drei auf den eben genannten Grundlagen basierende Modelle der MMS vorgestellt.

- SISD-Modell: Dieses umfasst die Interaktion mit Tastatur und Maus. Dabei kann die Eingabe von Texten und komplizierten Befehlen über die Tastatur bewältigt werden. Mittels dieser Kombination der Eingabegeräte ist es für den Nutzer möglich längere Texte zu verfassen und gegebenenfalls diese mit Hilfe der Maus zu manipulieren.

- Bewegungserkennung: Die menschliche Bewegung wird bei dieser Technik, von einem Computer, mittels Sensoren oder Bilderkennung ermittelt. Der Rechner bzw. die verarbeitende Software untersucht dabei, einen definierten physikalischen Raum auf interpretierbare Ereignisse.

Diese Technik findet in der VR^[15] Anwendung. In der dabei geschaffenen künstlichen Umgebung, ist es möglich, durch die höhere Informationsübermittlungsraten durch die erhöhte Anzahl an Sensoren zu erreichen. Somit können mehrere Eingaben gleichzeitig getätigt werden, bspw. mittels festgelegter Bewegungsabläufe. Umsetzung findet dieses Konzept in der Planung komplexer industrieller Gebäude oder aufwendiger Prototypen, um so frühzeitig Einblicke und Vorstellungen vom fertigen Bauwerk zu bekommen und Fehlern vorzubeugen.^[16]

- Ber ü hrungsempfindliche Oberfl ä chen:^[17] Bei dieser Art der Interaktion mit einem Computer werden Eingaben über eine auf Berührung reagierende Oberfläche getätigt. Dazu ist keine spezielle Ausrüstung nötig, wie es bei der Bewegungserkennung der Fall ist. Lediglich der, oder die Finger werden dazu verwendet, Ereignisse auf der berührten Oberfläche auszuführen. Dabei haben sich in der Vergangenheit verschiedene Unterarten herauskristallisiert.^[18] Die nachfolgenden Methoden der MMIA bilden einen kurzen Abriss der bereits verwendeten Kommunikationsmethoden zwischen Mensch und Maschine. Sie sollen jedoch an dieser Stelle zur Vertiefung des Leserverständnisses angeführt werden. Zudem bilden Sie in der späteren Analyse (Kapitel 3) die Rahmenbedingungen für das multimodale Benutzerkonzept (Kapitel 4).

- Zum Einen, die sensorbasierte Multi-Touch-Technik, bei der verschiedenste mechanische sowie elektromagnetischenische Sensoren zum Einsatz kommen.

- Zum Anderen, die mittels Kamera/s arbeitende Multi-Touch-Technik mit deren Hilfe IR^[19] -Licht zur Erkennung der Berührungspunkte verwendet wird.

Die eben genannten Methoden der MMIA berufen sich auf die 1972 von M. J. Flynn erstmals erwähnte Klassifizierung von Rechnerarchitekturen, welche in Tabelle 2.1 dargestellt sind.^[20] Flynn unterscheidet dabei zwischen der Art des Datenstromes (Dateneingabe und Datenausgabe), sowie der dabei übermittelten Befehle.

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 2.1: Flynn’sche Taxonomie

2.1.1 Multimodale Interaktion

Die multimodale Interaktion^[21] hat ihren Ursprung im angelsächsischen Sprachraum^[22] und beschreibt in der Informationstechnik den mehrkanaligen Informationsfluss zwischen Mensch und Computer. L. Nigay and J. Coutaz beschreiben den Begriff der Multimodalität dabei wie folgt:

” M ultimodality isthecapacityofthesystemtocommunicatewithauser along different types of communication channels and to extract and convey

meaning automatically“^[23]

Der mehrkanalige Informationsfluss fasst gleichermaßen die Informationseingabe sowie die Informationsausgabe des Computers und des Menschen zusammen. Mittel der Informationseingabe können in diesem Zusammenhang Elemente des SISDModelles, Touch- und Multi-Touch-Oberflächen, Spracheingabe, als auch weitere Mittel der menschlichen Informationsübertragung an den Computer sein. Mittel der Informationsausgabe stellen Bildschirme mit GUI^[24], haptische Techniken^[25] oder Sprachausgaben und akustische Signale dar.

2.1.2 Multi-User-Fähigkeit

Der Begriff der MU^[26] -Fähigkeit findet in vielen Bereichen der IT Anwendung und beschreibt allgemein die Fähigkeit eines informationstechnischen Systems, mit Daten und Informationen mehrerer Nutzergleichzeitig umgehen zu können.

Im Umfeld von Betriebssystemen beschreibt die MU-Fähigkeit den Umgang des Systems mit mehreren Benutzern und der damit verbundenen Bereitstellung mehrerer Schnittstellen zu diesen. Der Begriff der MU-Fähigkeit ist dabei klar von der Multitasking-Fähigkeit abzugrenzen, da diese die synchrone Verarbeitung von Daten beschreibt, wie sie bei der Beschreibung von CPU^[27] -Eigenschaften der Fall ist.

Im Kontext der Multi-Touch-Fähigkeit stellt die MU-Fähigkeit die Möglichkeit dar, Daten und Informationen mehrerer Anwender auf einer MTO simultan zu verarbeiten. Diese Kombination ermöglicht das gemeinschafliche Arbeiten mehrerer Personen auf einer Oberfläche.

2.1.3 Multi-Touch-Fähigkeit

Die Multi-Touch-Fähigkeit einer Bedienoberfläche, durch die ein Nutzer ein Computersystem nutzen kann, gibt Auskunft darüber, ob das System in der Lage ist, mehrere gleichzeitige Berührungen der Bedienoberfläche zu erkennen und diese in Eingabesignale umzuwandeln. Dazu gehört die parallele Interaktion mehrerer Anwender auf einer Oberfläche sowie das Interagieren einer Person mit mehreren Fingern und Händen.

Solch eine Interaktion mit einem Computer wird auch als TUI^[28] bezeichnet. Das TUI ersetzt dabei, im Falle von Multi-Touch, die Funktion einer SISD-Schnittstelle, wie sie an einem ordinären Desktop-PC verwendet wird durch eine MIMD^[29] -Schnittstelle. Mit Hilfe dieser ist es möglich, eine interaktive Umgebung für den Nutzer eines stationären PCs zu schaffen, in der alltägliche Gegenstände und Oberflächen als digitale Benutzerschnittstellen genutzt werden können. Daraus ergibt sich die Möglichkeit, Wände oder Schreibtischoberflächen in multimediale Oberflächen zu verwandeln.^[30]

2.2 Software

2.2.1 Grundlagen

Der Schwerpunkt der Softwarebetrachtung dieser Arbeit liegt auf den derzeitig auf dem Markt vertretenen Softwarelösungen zur Geschäftsprozessmodellierung. Als auch deren Anwendung mit der Multi-Touch-Technik. In diesem Zusammenhang steht auch die Betrachtung der MMS. So soll eine umfassende Betrachtung der Vor- und Nachteile für den Nutzer geschaffen werden die Grundlage für weitere wissenschaftliche Betrachtungen darstellen soll.

Die zunehmende Marktdurchdringung und die steigende Nutzerzufriedenheit bei dem Gebrauch von Multi-Touch Geräten sind im Wesentlichen von der steigenden Bedien- und Nutzerfreundlichkeit des entsprechenden Multi-Touch-Produktes, deren Funktionalität und Leistungsfähigkeit abhängig.^[31] Diese Faktoren werden direkt von der verwendeten Bedienoberfläche und der damit verbundenen MMS bestimmt. So ist bspw. die Wahl der eingesetzten Gesten und Touchbefehle ein entscheidendes Kriterium für die Bedienungsfreundlichkeit eines Multi-Touch-Produktes beeinflusst.^[32] Doch die Entscheidungsfindung über die Auslegung einer solchen Oberfläche ist keinesfalls trivial, da sich durch die Kombination der technischen Umsetzung mit der Softwareauslegung^[33] oder Softwareauswahl^[34] eine sehr hohe Anzahl an Möglichkeiten ergibt. Zur Darstellung und Unterstüztung der Entscheidungsfindung, über die eingesetzten Techniken zur MTIA^[35] werden daher in Kapitel 3 näher beleuchtet.

2.2.2 Betriebssysteme

Die kundengetriebene Ausrichtung der IT-Märkte und die in der Vergangenheit steigenden Kundenwünsche nach Touch- und Multi-Touch-Geräten, lassen einen Zusammenhang bezüglich der Nachfrage, zwischen Hardwareherstellern und Betriebssystemanbietern erkennen. Diese Nachfrage ist an die Unterstützung neuer Geräte gekoppelt. Dieser Kundenanspruch, neue Touch- und Multi-Touch-Endgeräte mit einfacher und innovativer Software auszustatten, stellt Anforderungen an etablierte Betriebssysteme und schafft einen Markt in dem sich diese neu aufstellen können.^[36]

Um den Stand der aktuellen Hardwareunterstützung zu sichten, soll an dieser Stelle der Aufbau mobiler Betriebsysteme und deren Desktopäquivalente dargestellt werden, um ein Leserverständnis für die spätere Analyse (Kapitel 3) zu schaffen.

Desktop Betriebssysteme

Microsoft® Windows® Die Unterstützung der Hardware, sowie das Zusammenspiel dieser mit der Software wird ausschlaggebend durch den Betriebssystemkern (Kernel^[37] ) beeinflusst. Der Kernel kommuniziert dabei mit den externen Geräten, verwaltet interne Bausteine wie RAM^[38], CPU und Festplatte und koordiniert die Speicher- sowie die Prozessverwaltung. Zur Gewährleistung dieser Funktionalitäten ist der Windows® Kernel in funktionelle Ebenen gegliedert, die durch Kommunikation miteinander Ressourcen verwalten und regeln. Seit der Veröffentlichung der NT-Reihe ist der Windows® Kernel, wie in Abbildung 2.1 dargestellt, in die Hauptebenen User- oder Benutzer- und Kernelmodus geteilt. Programme, wie sie bei der täglichen Arbeit mit der grafischen Benutzeroberfläche ausgeführt werden, werden durch den Usermodus/- land bereitgestellt und kommunizieren durch den Kernelmodus mit der Hardware, die die Ressourcen für die ausgeführten Programme bereitstellt. Der Usermodus/-land und die darin ausgeführten Programme haben dabei keinen direkten Zugriff auf die Hardware oder den Arbeitsspeicher. Programme, die jedoch einen umfangreicheren Zugriff auf Ressourcen benötigen, können mit diesen nur durch die in der Win32-API^[39] und den DLL^[40] -System-Bibliotheken, vordefinierten Schnittstellen kommunizieren.^[41]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.1: Windows® Architektur^[42]

Der Kernelmodus ist wie in Abbildung 2.1 dargestellt, in die Unterebenen Kernelschicht“, ”NTOS”Treiber“, ”NTOS-Ausführungsschicht“und,alsuntersteSchicht,die ”Hardwareabstraktionsschicht“gegliedert.DieKernelschichtwirddabeizentraldurch die Datei ”ntoskrnl.exe“repräsentiert,diediegenanntenSchichtenenthält.Die Hauptaufgabe der ”NTOS-Kernelschicht“istdiederVerwaltungderverfügbaren Rechenzeit (CPU-Scheduling), also die Zuteilung der Rechenzeit auf die ausgeführten Programme. Die Funktion der Verwaltung der Systemdienste wird von der ”NTOSAusführungsschicht“ übernommen (s. Abbildung 43.44). Um die beschriebenen Schichten des Kernel nicht für jede Hardware neu schreiben zu müssen, übernimmt die Hardwareabstraktionsschicht (auch HAL^[43] ) die Aufgabe, die Hardwareressourcen für die einzelnen Dienste des Systemes bereitzustellen. Somit ist die Auslegung der funktionellen Schichten oberhalb des HAL unabhängig von der verbauten Hardware des Rechners. Durch die in Abbildung 2.2 dargestellte Treiberschicht kann der Kernel mit Treibern in seiner Funktionalität erweitert werden, um z.B. verschiedenste Hardware zu unterstützen, oder neue Protokolle verarbeiten zu können. Durch die Möglichkeit der Einbindung von Treibern wird der ansonsten monolithische Windows® Kernel zu einem hybrid nutzbaren Kernel, bei dem Treiber, je nach Anforderungen an das betriebene System de- oder installiert werden können.^[44]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2: Windows® - Kernel^[45]

GNU/Linux® Der vom GNU/Linux®-Projekt genutzte und in verschiedensten

Distributionen eingesetzte Kernel, mit dem gleichartigen Namen

”Linux“undder

aktuellen Versionsnummer der stabilen Kernelversion 2.6.34, beinhaltet dieselben Funktionen wie der bereits beschriebene Windows® Kernel. Er bildet die Schicht über der Hardware und ist dafür zuständig, alle hardwarespezifischen und -unabhängigen Daten und Informationen auf die eingesetzte Hardware zu übersetzen oder weiter zu geben. Als auch die zur Verfügung stehenden Ressourcen auf die ausgeführten Prozesse zu verteilen. Der Linux® Kernel kann, ähnlich wie der Windows® Vertreter, monolithisch aufgebaut werden. Darüber hinaus besteht aber auch die Möglichkeit, den Kernel hybrid auszulegen. Linux® verwendet dazu die sogenannten Module, die zum einen direkt beim Bau des Kernels, sprich dessen Kompilierung, eingebunden werden können, um einen monolithischen Kernel zu erstellen, oder als außenstehende Module genutzt werden können, um einen hybriden Kernel zu erstellen. Das hat den Vorteil, dass sich der Kernel leicht an die geforderten Rahmenbedingungen der Hardware anpassen kann und somit, bspw. auch auf sogenannten eingebetteten Systemen^[46] zum Einsatz kommen kann.^[47] Zudem ist er, sofern Module nicht in ihn kompiliert werden, kleiner und schneller ladbar. Des Weiteren können während des Betriebes ein- und ausgeladen werden, was dazu führt, dass sie nur bei Gebrauch ausgeführt werden müssen. Die somit gewonnenen Ressourcen, wie Rechenzeit und RAM-Speicher, können anschließend für andere Prozesse bereitgestellt werden. Module können hardwareabhängig oder -unabhängig Funktionalitäten beinhalten und sind somit nur bedingt an diese gebunden.^[48]

Durch die beschriebene Funktionalität von Linux® wird versucht, einen Kompromiss zwischen dem Mikrokernel und dem monolithischen Kernel zu schließen, da, wie beschrieben, Treiber in Form von Modulen geladen und entladen werden können.

Jede Schicht oder Ebene des Kernel dient der Verwaltung von Prozessen, ist aber als solche nicht als eigenständiger Prozess zu betrachten. Vielmehr ist jede Kernelschicht, wie in Abbildung 2.3 dargestellt, als Prozessmanager zu sehen. Er ist in zwei grundlegende Teilbereiche gegliedert, den User- und Kernelmodus (Abbildung 2.3). Ein Großteil der Prozesse wird dabei in der höchsten aller Kernelschichten, dem Usermodus/-land, ausgeführt.^[49]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3: Linux® - Kernel^[50]

Wie in Abbildung 2.3 dargestellt, wird die unterste Ebene des Linux® Kernel durch die Steuerung von Unterbrechungen (Interrupts) sowie der Priorisierung und Zuteilung (Dispatcher) von Rechenzeit zu aktiven Prozessen gebildet. Eine Unterbrechung, im Kontext des Kernels, kann bspw. durch das Betätigen einer Maustaste ausgelöst werden. Dieses Ereignis wird anschließend durch den Dispatcher priorisiert und in die Reihe der bestehenden Ereignisse eingeordnet. Das Ereignis wird von dieser untersten Ebene anschließend, je nach dessen Verwendung, an die darüberliegenden Ebenen weitergegeben.^[51]

Mac OS X® Im Systemkern von Mac OS X® schlagen im Grunde genommen mehrere Herzen, da der Kernel mit dem Akronym XNU^[52] aus mehreren Bestandteilen zusammengesetzt ist. Apple® nutzt für den Kernel zum einen Teile aus dem Mach- Projekt^[53], das von der Carnegie Mellon Universität in Pittsburgh ins Leben gerufen wurde, und zum anderen Teile aus dem Betriebssystem, des von der Universität von Kalifornien in Berkeley 1977 initiierten Projektes mit dem Namen BSD^[54] ®. Aus heutiger Sicht steht die Buchstabenfolge BSD® nicht mehr für ein spezifisches Projekt, sondern vielmehr für eine Anzahl an verschiedenen Derivaten des ursprünglichen BSD®.^[55] Apple® greift, bei der Konzeption ihres Kernel, dabei speziell auf das Derivat FreeBSD® zurück.^[56]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.4: Mac OS X® - Kernel^[57]

Abbildung 2.4 stellt den angesprochenen Sachverhalt näher dar und zeigt zudem, dass das Mach-Projekt nicht vollständig, sondern nur in Teilen für den Mac OS X® Kernel verwendet wurde. Die für die Ein- und Ausgabe zuständigen Komponenten wurden aus dem Mach-Projekt übernommen. Der zweite, größere Bestandteil des Kernel wird vom BSD-Projekt gestellt und umfasst das in Unix oder Unix-like Systemen übliche POSIX^[58] sowie Treiber für Netzwerk, NKE^[59], Dateisystem und weiterer Hardwareperipherie. Das bedeutet, dass die Realisierung des Mac OS X® Kernel einer Anpassung von Mach an die BSD Umgebung bedurfte. Der Unterschied zwischen dem als Microkernel^[60] konzipierten Mach-Projektes und den ersetzten BSD-Elementen ist, dass das Mach-Projekt und der damit verbundene Kernel eine andere Handhabung des Zeit-, Prozess, Interprozess- und des Ressourcenmanagements erlaubt und verfügbare Ressourcen individueller genutzt werden können. Aus dieser Betrachtung kann man schließen, dass die Unterstützung zusätzlicher Hardware von den BSD-Bestandteilen des Mac OS X® Kernel gewährleistet wird und diese unabhängig von den Komponenten des Mach-Projektes im Kernel sind.^[61]

Mobile Betriebsysteme

AndroidTM Das Betriebssystem AndroidTM wurde von dem Unternehmen GoogleTM Corp. im Rahmen des gleichnamigen freien Entwicklungsprojektes ins Leben gerufen. Die aktuelle Version von AndroidTM setzt auf dem bereits beschriebenen Linux® Kernel und unterstützt damit die durch das Linux®-Projekt unterstützten mobilen Endgeräte. Der für den Einsatz in AndroidTM genutzte Kernel ist jedoch auf die ARM®-Architektur begrenzt und unterstützt damit ausschießlich Hardware dieser CPU-Architektur.

Abbildung 2.5: AndroidTM Architektur^[62]

Wie in Abbildung 2.5 dargestellt ist das OS^[63] in die Ebenen Linux® Kernel, Bibliotheken, AndroidTM Runtime, Anwendungsplattform und Anwendungsebene aufgeteilt. Die Bibliotheeneben dient, analog zu den bereits beschiebenen Desktopderivaten, der Unterstützung grundlegender Funktionen. DIe darauf aufbauenden Ebenen dienen der Darstellung und Steuerung des Mobilen Endgerätes, wie z.B. der Window-Manager in der Ebene der Anwendungsplattform.^[64]

iOS® In Anlehnung an AndroidTM ist das auf dem iPhone® genutzte Beriebssystem iOS® ein auf den mobilen ausgerichtetes OS X. Der Kern von iOS® setzt somit auf den Mac OS X® Kernel auf. Es wird ebenfalls wie im Derivat AndroidTM nur die CPU-Architektur ARM für das iPhone® angeboten. Die Architektur des iOS® ist weiterführend stark mit der Architektur von AndroidTM verwandt, da ebenfalls auf Komponenten wie SQLite und XML für die Datenverwaltung gesetzt wird. Die Grafikunterstützung wird zudem ebenfalls über OpenGL/ES und WebKit realisiert. Die Audiounterstützung wird jedoch, durch eine bereits im iPod eingesetzte, Audiobibliothek die durch OpenAL ergänzt wird.^[65]

Windows® Mobile® Das von der Microsoft® Corporation entwickelte Windows® Mobile® ist ebenso wie die bereits beschiebenen mobilen Vertreter auf die ARM- Architektur ausgelegtes Betriebssystem. Es basiert im Wesentlichen auf dem .NET- Framework und ist Folge dessen mit den Programmiersparchen VisualBasic und C# erweiterbar. Der Betriebsystemkern ist in der Funktionalität stark an seinen Desktopvertreter angelehnt, da es diesen entstammt. Windows® Mobile® bietet in seiner Architektur (.NET-Framework) eine Vielzahl an Schnittstellen die eine Nutzung mit weiteren Microsoftprodukten ermöglichen (Microsoft® SQL Server, Internet Information Server and ADO.NET).^[66]

Nach dieser Betrachtung etablierter Betriebssysteme folgt die Beschreibung der Hardwarekomponenten der Multi-Touch-Technologie, durch die zum einen ein grundlegendes Verständnis der Technologie und deren Funktionalität vermittelt werden soll und zum anderen ein Fundament für die spätere SWOT^[67] -Analyse geschaffen verwenden soll.

2.3 Hardware

Seit der Entwicklung des ersten Multi-Touch-Terminals 1972 an der Universität Illinois (USA) sind fast 38 Jahre vergangen.^[68] In dieser, mehr als ein viertel Jahrhundert umfassenden Zeit, haben sich verschiedenste technische Konzepte zur Umsetzung von Multi-Touch-Funktionalität entwickelt. Diese Techniken unterscheiden sich dabei teilweise gravierend voneinander, oder sind teils voneinander, durch Optimierung einer Technik auf einen bestimmten Anwendungsfall abgeleitet. Alle Techniken sind jedoch in der von ihnen bereitgestellten Funktion - erkennen und umwandeln von Tastimpulsen - identisch. Da die technischen Beschreibungen verschiedener Hersteller teils Widersprüche enthalten, werden im Anschluss die verschiedenen Techniken anhand ihrer physikalischen Grundprinzipien vorgestellt (Tabelle 2.2) und in nachfolgenden Kapiteln detaillierter beleuchtet. Dieser Arbeit liegt dabei die technische Betrachtung von Löffler (2009) und Friedrich (2009) zugrunde.

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 2.2: Physikalische Prinzipien der Multi-Touch-Techniken^[69]

2.3.1 Resistive Technik

Diese Technik findet bereits ein breites Anwendungsfeld und hat sich in der Vergangenheit am stärksten etabliert. Im Alltag kann man diese Technik in Geräten wie Fahrkartenautomaten, Navigationsgeräten, Kameras, Kopierern und Geldautomaten antreffen (Abbildung 2.6).

Die resistive Technik arbeitet mit mehreren übereinander liegenden Schichten. Das Grundprinzip für die Multi-Touch-Fähifkeit wird durch zwei leitenden Membranen und einer isolierenden Schicht gebildet. Die Isolationsschicht, die zumeist von Silikonelementen gebildet wird, dient der physikalischen Trennung der beiden leitenden Schichten. So kann der Kontakt der beiden leitenden Schichten nur durch Berührung und somit Ausübung von Druck auf die Bildfläche hergestellt werden.

Ein vollständiger Aufbau eine Multi-Touch-Bildschirmes der die resistive Technik nutzt ist aber darüber hinaus komplexer. Die oberste Schicht eines resistiven Bildschirmes hat die Funktion die darunterliegenden Schichten vor mechanischer Einwirkung zu schützen. Die darunter liegende, zweite Schicht bildet eine der bereits angesprochenen leitenden Schichten. Zwischen dieser und der zweiten leitenden Schicht befindet sich besagte Isolierschicht. Abschließend, als letzte Ebene, wird ein festes Material eingesetzt, das die mechanische Einwirkung vollständig begrenzen soll (meist Glas oder Glas ähnliche Materialien). Hinter diesen Ebenen, die die Touch-Funktionalität der Oberfläche bereitstellen, befindet sich der zur Darstellung genutzte LCD- oder Röhrenbildschirm.^[70]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.6: Anwendung einer Touchberfläche (DeutscheBahn)^[71]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.7: Aufbau der resistiven Multi-Touch-Oberfläche^[72]

Aufgrund der einfachen funktionellen Teilbarkeit der Bildschirmebene (LCD, Röhrenmonitor) und der Touchebenen lassen sich handelsübliche Bildschirme einfach mit dieser Technologie nachrüsten.^[73] Durch die damit gegebene Anpassbarkeit und Nachrüstbarkeit, lässt sich meiner Ansicht nach auch ein direkter Rückschluss auf die hohe Marktdurchdringung dieser Technik schließen.

2.3.2 Akustische Technik

Die akustische Technik ist auch unter dem Namen SAW^[74] -Technik bekannt. Sie beruht auf der kreisförmigen Ausbreitung mechanischer Wellen. Die SAW-Technik nutzt dafür ein schwingfähiges Medium. Dieses Medium wird von festen Körpern representiert, da sich Wellen in diesen schneller ausbreiten und damit das Delta zwischen Informationseingabe des Nutzers und der beginnenden Verarbeitung der Signale durch Sensoren verringert wird.

Der technische Aufbau solch einer Oberfläche ist in Abbildung 2.8 dargestellt. An den Ecken der Bedienungsoberfläche finden sich Sensoren (Mikrofone), die den durch die Berührung der Oberfläche inizierten Schalldruck messen. Die zeitliche Differenz der Eingangssignale aller Sensoren gibt dabei Aufschluss über die Position der Berührung. Desweiteren ist der gemessene Schalldruck auch ein Maß für die Intensität der Berührung und kann daher zur weiteren Informationsverarbeitung herangezogen werden.^[75]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.8: Aufbau der akustischen Multi-Touch-Oberfläche^[76]

2.3.3 Kapazitive Technik

Die kapazitive Technik findet in der Praxis verschiedene Methoden der Umsetzung^[77]

Sie beruht auf elektromagnetischen Grundlagen und macht sich dabei speziell die Veränderbarkeit elektromagnetischer Felder und somit deren Kapazität zu Nutze^[78]. Das Coulomb‘sche Gesetz beschreibt dabei die physikalischen Eigenschaften und das Induktivitätsgesetz die Eigenschaften des elektromagnetischen Feldes bei dessen Änderung. Sobald Spannung an einen Leiter bzw. an die im Nachgang beschriebene Leitermatix angelegt wird, breiten sich die Feldlinien, durch die Polarität gerichtet, im Raum aus. Aufgrund dessen entsteht ein Vektorfeld, in dem die Feldlinien vom negativen zum positiven Ladungsträger verlaufen. Die Vektoren liegen dabei als Tangenten an den Feldlinien und geben damit deren punktuelle Richtung an. Resultierend aus diesem elekrtomagnetischen Sachverhalt, kann ein elektromagnetisches Matrixfeld durch die Kombination von positiv und negativ geladenen Leitern erzeugt werden. Das Prinzip der kapazitiven Kopplung macht sich diesen Umstand in Verbindung mit dem Induktionsgesetz zu Nutze. D.h. bei Änderung der Spannung oder der Stromstärke eines Leiters ändert sich auch dessen elektromagnetisches Feld, welches den Leiter umgibt (Abbildungen 2.9 und 2.11). Liegen nun elektrische Leiter, durch ein Dielekrtikum^[79] getrennt, dicht beieinander, so beeinflussen sich deren Felder bei deren Änderung gegenseitig.^[80]

Wird nun an Stelle eines Leiters eine Vielzahl an Leitern eingesetzt und orthogonal versetzt zueinander angeordnet, so erhält man eine Matrix, in der kapazitive Änderungen identifiziert und diesen Änderungen genaue Koordinaten zugeordnet werden können (s. Abbildung 2.9). Um das elektromagnetische Feld dabei besser zu richten, werden die eingesetzten Leiter sehr dünn ausgelegt. Die in Abbildung 2.9 dargestellte Leitermatrix kann, variierend je nach Stärke- und Material-Auslegung und bezogen auf den Anwendungsfall, transparent oder undurchsichtig ausgelegt werden.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.9: Leiter-Matrix^[81]

Feldlinien breiten sich in diesem Feld nun, wie in Abbildung 2.10 dargestellt aus. Voraussetzung dafür ist, dass keine anderen Körper in der unmittelbaren Nähe des gezeigten Feldes sind. Nährt sich jedoch ein kapazitiv anders geladener Gegenstand der Leiter-Matrix, so ändert sich der Verlauf der Feldlinien und damit die Kapazität des elektromagnetischen Feldes (Abbildung 2.11). Diese Feldveränderung kann durch die kapazitive Kopplung, in Verbindung von Hard- und Software, detektiert werden. Die Multi-Touch-Funktionalität wird dabei durch das Erkennen und Verfolgen der Kapazitätsänderung auf der Matrixoberfläche hergestellt.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.10: Feldlinien der Leiter-Matrix im Querschnitt^[82]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.11: Feldlinienänderung der Leiter-Matrix im Querschnitt^[83]

2.3.4 Optische Technik

Die optische Technik nutzt die Messung elektromagnetischer Wellen für das Bereitstellen der Multi-Touch-Funktionalität. Das bei dieser Technik häufig eingesetzte IR-Licht wird dabei durch Gegenstände auf der Touch-Oberfläche^[84] reflektiert und mittels

Kameras oder optischen Sensoriken gemessen. Die eingesetzte Bildverarbeitungssoftware wandelt anschließend die Messdaten in Echtzeit in zweidimensionale Koordinaten um. Nachfolgend werden zwei auf diesem Grundprinzip basierende Techniken näher erläutert. Sie finden großteils im Bereich der MTT und der LCD-Technik Anwendung.^[85]

In der Praxis haben sich verschiedene Umsetzungsmethoden der optischen Technik durchgesetzt. Alle Techniken haben dabei unterschiedliche Vor- und Nachteile, was sie für verschiedene Anwendungsfälle prädestiniert. In diesem Werk werden in diesem Zusammenhang die DI-Technik, des von Microsoft® hergestellten MTT Surface und die FTIR-Technik, des von der Fraunhofer Gesellschaft entwickelten MTT, vorgestellt.^[86]

Frustrated Total Internal Reflection

Die FTIR-Technik nutzt zur Generierung der Multi-Touch-Funktionalität speziell IR- Licht, da Licht dieser Wellenlänge nicht durch das menschliche Auge erkannt wird und damit keinen Einfluss auf die Bildgebung der Multi-Touch-Bildfläche nimmt. Grundlage dieser Technik ist das physikalische Phänomen der Totalreflektion. Das bedeutet, IR- Licht, das in ein optisch dichtes Medium^[87] geleitet wird, verlässt dieses Medium nicht, sofern keine äußeren Kontakteinwirkungen auf das Transportmedium stattfinden und es von einem optisch dünnen Medium umgeben wird. Unterliegt das Transportmedium äußerem Kontakt durch einen Finger oder einen physikalischen Gegenstand, so kann das bislang nur im Medium reflektierte IR-Licht das Medium verlassen (s. Abbildung 2.12).^[88]

Abbildung 2.12: Technischer Aufbau - FTIR^[89]

Abbildung in dieser Leseprobe nicht enthalten

Das IR-Licht, das das Medium verlässt, repräsentiert somit die Berührungspunkte auf der Bedienungsoberfläche. Dieses kann mit Hilfe einer IR-Kamera erkannt und durch den Einsatz von Bilderkennungssoftware lokalisiert werden. Durch diese Art der Umsetzungt kann wie in Abbildung 2.12 gezeigt, eine Oberfläche geschaffen, die bei ausreichender Softwareunterstützung Multi-Touch fähig ist (s. Abbildung 2.13).^[90]

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.13: Bildsignal - FTIR^[91]

In der technischen Umsetzung dieser Technik wird das optisch dichte Medium (bspw. Plexiglas) zur gleichen Zeit als Bildfläche für einen darunter liegenden Projektor verwendet. Damit das projizierte Bild nicht durch die MTO hindurchgestrahlt und an die Decke des Raumes gelangt, wird unter dem optisch dichten Medium (MTO) eine transluzente^[92] Schicht angebracht. Diese Schicht berührt die Glas- oder Plexiglasscheibe nicht, um die Totalreflektion in der MTO nicht zu unterbrechen. Diese Schicht ist zudem für alle Arten von Licht durchlässig, dient jedoch für das vom Menschen sichtbare Licht als matte Scheibe auf die Bilder projiziert werden können. Dieser technische AUfbau findet in einer Vielzahl von FTIR-MTT Anwendung und wird unter anderem im MTT des Fraunhofer IGD^[93] eingesetzt, auf dem auch das Konzept zur kollaborativen Prozessmodellierung in einem späteren Projekt implementiert werden soll.^[94]

Diffuse Illumination

Die DI-Technik verwendet ähnlich der FTIR-Technik, ein optisch dichtes Medium^[95] für die Bereitstellung von Multi-Touch-Funktionalität. Unterhalb dieses Mediums, welches später die MTO darstellt, sind Lichtquellen angebracht. Diese Lichtquellen senden IR- Licht aus und durchdringen die MTO. Berührt anschließend ein Gegenstand oder ein Finger die MTO so, wird das IR-Licht an dessen Berührungsflächen zurückgeworfen.

[...]

---

¹ Informationstechnologie

² vgl. Hehl (2008), Scheer (2010a), Scheer (2010b), Scheer (2010c)

³ Personal Computer

⁴ Mensch-Maschine-Schnittstelle

⁵ vgl. Jacko (2009)

⁶ Gleichzeitiges Erkennen mehrerer durch Berührung ausgelöster Messimpulse

⁷ vgl. Lee u. a. (1985)

⁸ vgl. Buxton (2009)

⁹ Stellvertretend für eine Vielzahl an Marktteilnehmern genannt.

¹⁰ vgl. Hehl (2008), nach Raisamo (1999): ”Even a simple case, using two pointing devices in a normal graphical user interface, has been found to be more efficent and understandable than the basic mouse and keyboard interface Buxton u. Myers (1986), Kabbash u. a. (1994), Zhai u. a. (1997). Two-handed interfaces have also been found to make three-dimentional virtual environments better understood and more easily manipulated Hinckley u. a. (1997b), Hinckley u. a. (1997a), Hinckley u. a. (1998)“

¹¹ Mensch-Maschine-Interaktion

¹² Multi-Touch Oberfläche

¹³ Mensch-Maschine-Interface

¹⁴ Fraunhofer Institut für Produktionsplanung und Automatisierung

¹ vgl. Lee u. a. (1985), Buxton (2009)

² vgl. Buxton (2009)

³ Erkennen eines einzelnen durch Berührung ausgelöster Messimpulses

⁴ Multi-Touch-Table

⁵ vgl. Lee u. a. (1985)

⁶¹⁹⁹², IBM & Bell South vermarkteten das Erste touchfähiges Mobiltelefon, vgl. Buxton (2009)

⁷ Computerized Numerical Control (Deutsch: Computergestützte numerische Steuerung)

⁸ vgl. EVO-Informationssysteme (2009)

⁹ vgl. (Lehner, 2003, S. 252ff)

¹⁰ Englisch: Window

¹¹ Single Instruction, Single Data

¹² Klassifizierung von Rechnerarchitekturen nach (Flynn, 1972, S. 949)

¹³ vgl. (John L. Hennessy, 2007, S. 68)

¹⁴ vgl.(Gericke, 2008, S. 11,12)

¹⁵ Virtual Reality (Deutsch: Virtuelle Realität)

¹⁶ vgl. Dürr u. Pfeffer (2010), Flaig (1998), Heger (1998), Runde u. Westkämper (2007), Westkämper (1999)

¹⁷ Auch Touch-Oberfläche. Auf Berührung reagierende Oberfläche für die Interaktion mit Rechnern.

¹⁸ vgl. (Jacko, 2009, S. 1102ff)

¹⁹ Infrarotes Licht

²⁰ vgl. Flynn (1972)

²¹ Beschreibt den Informationsfluss zwischen Mensch und Maschine. Dabei werden mehrere Informationskanäle für den Informationstransfer zwischen Mensch und Maschine verwendet. Touch-Oberfläche, Spracheingabe und Schrifterkennung werden/können bspw. gleichzeitig zum Informationsaustausch verwendet werden

²² Englisch: multimodal interaction

²³ Nigay u. Coutaz (1993) zit. n. (Raisamo, 1999, S. 7)

²⁴ Graphical-User-Interface

²⁵ Haptische Techniken nutzen Mittel des menschlichen Tastsinnes um eine Daten- und Informationsausgabe zu generieren. Haptik umschreibt dabei die wissenschaftliche Lehre der haptischen Wahrnehmung und des damit verbundenen Einsatzes verschiedener Techniken. Ein Beispiel für den Einsatz solch einer Technik ist dabei der Screen-Reader der Sehbehinderten den Zugang und damit den Umgang mit Computersystemen erleichtert.

²⁶ Multi-User

²⁷ Central-Processing-Unit (Deutsch: Zentrale- oder Hauptrecheneinheit)

²⁸ Tangible-User-Interface, berührungssensible Benutzerschnittstelle zwischen Mensch und Maschine. ”‘Tangible”’ (Englisch: berühr- oder tastbar)

²⁹ Multiple Instruction, Multiple Data stream

³⁰ vgl. Haller u. a. (2010), Shaer u. a. (2010), Schöning (2008)

³¹ vgl. Spath u. a. (2009)

³² vgl. Wu u. Balakrishnan (2003)

³³ Bei Selbsterstellung der Software

³⁴ Bei Nutzung bestehender Lösungen

³⁵ Multi-Touch-Interaktion/en

³⁶ vgl. Spath u. a. (2009)

³⁷ auch Betriebssystemkern, Kern oder engl. Operating System Kernel, nach Broy u. Spaniol (1998): ”‘Derjenige Teil eines Betriebssystemes, der Mechanismen zur Prozessverwaltung bereitstellt (Erzeugen, Löschen von Prozessen, Prozesszuteilung (Scheduling)), Betriebsmittelverwaltung (Speicher- und Geräteverwaltung) sowie Synchronisation und Kommunikation. In der Regel ist dieser Teil des Betriebssystems permanent im Speicher geladen und arbeitet in einer privilegierten Betriebsart des Prozessors (privileged mode, supervisor mode) mit physikalischen bzw. realen Adressen”’

³⁸ Random Access Memory, Informationsspeicher mit wahlfreiem Zugriff, oft als Arbeitsspeicher eines Personalcomputers eingesetzt

³⁹ Application Program Interface (Deutsch: Schnittstelle für Anwendungsprogramme)

⁴⁰ Dynamic Link Libraries

⁴¹ vgl. (Geiger, 2009, S. 3)

⁴² Quelle: http://www.chip.de/ii/209460214_b9670744c9.jpg, 22.06.2010

⁴³ Hardware Abstraction Layer (Deutsch: Hardwareabstraktionsschicht)

⁴⁴ vgl. (Geiger, 2009, S. 3)

⁴⁵ Quelle: http://www.chip.de/ii/209460370_02c86da090.jpg, 22.06.2010

⁴⁶ englisch: embedded systems

⁴⁷ vgl. Bovet u. Ceati (2001)

⁴⁸ vgl. (Bovet u. Ceati, 2001, S. 7ff, 19ff), Bovet u. Ceati (2006),Mauerer (2004)

⁴⁹ vgl. Mauerer (2004), Bovet u. Ceati (2006)

⁵⁰ Quelle: http://www.chip.de/ii/209460527_c4d9304eae.jpg, 22.06.2010

⁵¹ vgl. (Bovet u. Ceati, 2001, S. 101ff), Bovet u. Ceati (2006), Mauerer (2004)

⁵² X is Not Unix (Deutsch: X ist kein Unix)

⁵³ vgl. University (2010)

⁵⁴ Berkeley Software Distribution

⁵⁵ vgl. Färber (1990), Levenez (2010), Group (2003), Schneider u. a. (2010)

⁵⁶ vgl. Apple (2006a), Apple (2006b), FreeBSD (2010)

⁵⁷ Quelle: http://www.chip.de/ii/209460682_eb5f7a7108.jpg, 22.06.2010

⁵⁸ Portable Operation System Interface, spezifiziert die Software- und Benutzerschnittstelle des Betriebsystemes die in dem Standard IEEE Std 1003.1-2008 (ISO (2008)) zusammengefasst sind

⁵⁹ Network Kernel Extention (Deutsch: Netzwerk Kernel Erweiterung)

⁶⁰ Ein Microkernel unterstützt im wesentlichen die Funktionen der Speicher-, Prozess-, und Ressourcenverwaltung, die, im Gegensatz zu einem monolithischen Kernel, lediglich die Abdeckung von Grundfunktionalitäten darstellen

⁶¹ vgl. Apple (2006a), Apple (2006b), Apple (2006c), Apple (2006d)

⁶² Quelle: http://knol.google.com/k/-/-/3iprjs82k8877/m5w1r7/system-architecture.jpg, 22.06.2010

⁶³ Operation System/s (Deutsch: Betriebssystem/e)

⁶⁴ vgl. Android (2010), Google (2007a), ARM (2010)

⁶⁵ vgl. Apple (2010a), Apple (2010b), Apple (2010c), Apple (2010d), Apple (2010e), Apple (2010f), ARM (2010)

⁶⁶ vgl. Microsoft (2008), ARM (2010)

⁶⁷ Strengths, Weaknesses, Opportunities and Threats (Deutsch: Stärken, Schwächen, Chancen und Risiken)

⁶⁸ vgl. Buxton (2009)

⁷⁰ vgl. Friedrich (2009), Spath u. a. (2009), Löffler (2009)

⁷² Quelle: http://i.computer-bild.de/imgs/99990364_fe151cfbf2.jpg, 09.03.2010

⁷² Quelle: http://i.computer-bild.de/imgs/99990590_9a1df530b8.jpg, 09.03.2010

⁷³ vgl. n trig (2010)

⁷⁴ Surface-Acoustic-Wave

⁷⁵ vgl. Liu u. a. (2009)

⁷⁶ Quelle: http://www.computerbild.de/imgs/99990591_30caae6b3f.jpg, 09.03.2010

⁷⁷ Erstmalige Nutzung der kapazitiven Multi-Touch-Technik: Diamond Touch, Laboratories (2001)

⁷⁸ Einsetzen von kapazitiven Folien, wie z.B. in Apples iPhone R und iPad R.

⁷⁹ elektrischer Nichtleiter

⁸⁰ Begründet durch das Induktivitätsgesetz.

⁸¹ Quelle: Vom Autor eigens erstellte Abbildung.

⁸² Quelle: Vom Autor eigens erstellte Abbildung.

⁸³ Quelle: Vom Autor eigens erstellte Abbildung.

⁸⁴ Auf Berührung reagierende Oberfläche für die Interaktion mit Rechnern

⁸⁵ vgl. Löffler (2009), Spath u. a. (2009), Schöning (2008)

⁸⁶ vgl. Schöning (2008)

⁸⁷ bspw. Glas, Plexiglas und weitere transparente Medien

⁸⁸ vgl. Cetin u. a. (2009)

⁸⁹ Quelle: http://wiki.nuigroup.com/images/f/f7/Ftir.jpg, 22.06.2010

⁹⁰ vgl. Löffler (2009), Spath u. a. (2009), Schöning (2008)

⁹¹ Quelle: http://wiki.nuigroup.com/images/f/f5/Ftirtouch.jpg, 22.06.2010

⁹² ” durchscheinen“: durchscheinend, durchsichtig Bibliographisches-Institut (2010)

⁹³ Fraunhofer Institut für Grafische Datenverarbeitung

⁹⁴ vgl. Löffler (2009), Spath u. a. (2009), Schöning (2008)

⁹⁵ bspw. Glas, Plexiglas und weitere transparente Medien