Erkl¨ arung

Ich erkl¨ are hiermit, dass ich die vorliegende Arbeit selbst¨ andig verfasst und keine anderen als die angegebenen Quellen und Hilfsmittel verwendet habe.

Dresden, den 02. Dezember 2005

Unterschrift:

Inhaltsverzeichnis

1  Einleitung  1

2  Stand der Technik  3

2.1  Zeigeeffektivit at und Zeigeeffizienz  3

2.2  Bisherige Beitr age zu LPKS  12

2.3  Stiftbasierte Eingabetechniken  27

2.4  Verf ugbare kommerzielle L osungen  31

3  Entwicklung eines neuen LPKS  33

3.1  Konzeption des neuen LPKS  33

3.2  Technische Basis  40

3.2.1  Verwendete Hardware  40

3.2.2  Software zur Bildverarbeitung  41

3.2.3  Videoschnittstelle  42

3.3  Softwaretechnische Umsetzung  43

3.3.1  Laserpunkterkennung  43

3.3.2  Rektifizierung von Laserpunktkoordinaten  51

3.3.3  Zeigegestenerkennung  53

3.3.4  Kontextextraktion  56

3.3.5  Zusammenf uhrung von Nutzereingaben und Kontext  61

3.3.6  Visualisierung im Interaktionsprozess  64

3.4  Dokumentation des Programmcodes  67

viii Inhaltsverzeichnis

4 Anleitung zur Benutzung des LPKS 69

4.1 Inbetriebnahme des LPKS . . . . . . . . . . . . . . . . . . . . . . . . 69

4.2 Individualisierung des LPKS . . . . . . . . . . . . . . . . . . . . . . . 78

5 Quantitative Evaluierung des LPKS 83

6 Zusammenfassung und Ausblick 91

A Ergebnisse der Durchsatzanalysen 93

B Ausgew¨ ahlte Quelltexte 95

C Wichtige Funktionen der LPKS - Skriptsprache 105

Literaturverzeichnis 109

Index 115

Abbildungsverzeichnis

2.1 Zusammenhang zwischen Schwierigkeitsindex und Bewegungsdauer nach ISO-Norm 9241-9 (Achsenbeschriftungen wurde erg¨ anzt). . . . . 6

2.2 ” Antick-Aufgabe in einer Richtung“ nach [ISO9]. . . . . . . . . . . . . 8

2.3 ” Spurfolge-Test in einer Richtung“ nach [ISO9]. . . . . . . . . . . . . 9

2.4 ” Multidirektionale Antick-Aufgabe“ nach [ISO9]. . . . . . . . . . . . . 10

2.5 Schematischer Aufbau eines Laserpointer-Kamera-Systems . . . . . . 12

2.6 Der Dwell-Mechanismus zum Ausl¨ osen eines Mausklicks. . . . . . . . 14

2.7 LPKS nach Kirstein und M¨ uller [Cars98] . . . . . . . . . . . . . . . . 16

2.8 Mittlere Bewegungszeit je Durchgang nach [Ji-Y02] . . . . . . . . . . 19

2.9 Vergleich von Eingabeger¨ aten nach [Dunc02] . . . . . . . . . . . . . . 19

2.10 Standartabweichung in Abh¨ angigkeit von der Entfernung zur Projektionsfl¨ ache nach [Brad02] . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.11 Darstellung der Fehlerwinkel nach [Peck01] . . . . . . . . . . . . . . . 22

2.12 LPKS nach J. Davis und X. Chen [J. D02] . . . . . . . . . . . . . . . 23

2.13 Schematischer Aufbau des LPKS nach [Mich01] . . . . . . . . . . . . 24

2.14 Modifizierter Laserpointer nach [Mich01] . . . . . . . . . . . . . . . . 24

2.15 Distanzfunktion zur Berechnung der Mauszeigerbeschleunigung nach [Mich01] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.16 Streichen ¨ uber eine ” Action Bar“ nach [Terr99] . . . . . . . . . . . . . 27

2.17 Screenshot aus ” CrossY“ nach [Geor04] . . . . . . . . . . . . . . . . . 28

2.18 Kopieren eines Bildausschnitts nach [Ken 05] . . . . . . . . . . . . . . 29

2.19 Bewegen eines Icons nach [Ken 05] . . . . . . . . . . . . . . . . . . . 29

x Abbildungsverzeichnis

2.20 Gegen¨ uberstellung von Beobachtungsraum (b) und Bewegungsraum (c) anhand einer Scrollleiste nach [Rena04] . . . . . . . . . . . . . . . 30

2.21 Gegen¨ uberstellung von Beobachtungsraum (a) und Bewegungsraum (b) anhand einer Nachrichtenbox mit Buttons nach [Rena04] . . . . . 30

3.1 Verbesserung des Dwell-Mechanismus durch adaptive Zeigerbeschleunigung, Dwell-Bereich und Zeigerdarstellung. . . . . . . . . . . . . . . 34

3.2 Vorschlag f¨ ur das Ausl¨ osen von Mausklicks auf der Basis des Dwell-Mechanismus. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

3.3 Strichbasierte Interaktion durch den ” Flow-Mechanismus“. . . . . . . 36

3.4 Laserpunkterkennung durch den Vergleich von Bildpunkten mit der aktuellen Laserfarbe. . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

3.5 Modellierung des Bildhintergrunds durch einen Akkumulator. . . . . . 45

3.6 Der Inhalt des Akkumulators I Acc ergibt sich aus der gewichteten ¨ Uberlagerung von Kamerabildern. . . . . . . . . . . . . . . . . . . . . 45

3.7 Erzeugen eines Differenzbildes I Dif f aus aktuellem Kamerabild und Hintergrundbild. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

3.8 Erzeugen der ” Bewegungs-Maske“ M durch Thresholding. . . . . . . . 46

3.9 Anwendung der ” Bewegungs-Maske“ M auf die ” Score map“ S und

anschließende Bestimmung der Laserpunktkoordinaten. . . . . . . . . 47

3.10 Beispiel f¨ ur eine im Rahmen des WOI erfolgreich vorhergesagte Laserpunktposition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

3.11 Pr¨ adiktion einer Laserspur bei steigender Fortbewegungsgeschwindigkeit des Laserpunktes. . . . . . . . . . . . . . . . . . . . . . . . . . . 48

3.12 Rektifizierung eines perspektivisch verzerrten Bildes. . . . . . . . . . 51

3.13 Gegen¨ uberstellung eines nicht verzerrten Bildes mit einem tonnenf¨ ormig verzerrten Bild. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

3.14 Skizzen der 12 unterst¨ utzten Zeigegesten. . . . . . . . . . . . . . . . . 53

3.15 Klassifikation von Strichgesten basierend auf der mittleren Bewegungs- richtung G M dir einer Zeigehandlung. . . . . . . . . . . . . . . . . . . 54

Abbildungsverzeichnis xi

3.16 Informationsaustausch mit einem Control innerhalb des LPKS-Prozess. 57

3.17 Informationsaustausch mit einem Control ¨ uber Prozessgrenzen hinweg. 58

3.18 ¨ Ubersicht ¨ uber verf¨ ugbare Mauszeiger unter Microsoft Windows. . . . 59

3.19 Bestehende LPKS implementieren den Dwell-Mechanismus meist fest in Software. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

3.20 Mit Hilfe eines Skript-Prozessors k¨ onnen in die Wirkungskette des neuen LPKS variable Interaktionsmechanismen eingebunden werden. 61

3.21 Ein Skript zum Bewegen und Ausf¨ uhren von Icons auf dem Desktop. 62

3.22 Umkreisen und Verschieben von Icons auf der Basis umkreisender Zeigegesten. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

3.23 Das neue LPKS bringt eine aus Kreisen bestehende Mausspur zum Einsatz. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

3.24 Umrahmungen von Bedienelementen und die Mausspur werden jeweils auf ein transparentes Fenster gezeichnet . . . . . . . . . . . . . . . . 65

4.1 Nach dem Start des LPKS wird der Karten-Reiter ” Calibration“ angezeigt. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

4.2 Der Button zum Starten der Bildanalyse. . . . . . . . . . . . . . . . . 70

4.3 Wiedergabe des Kamerabildes. . . . . . . . . . . . . . . . . . . . . . . 70

4.4 Der Button zum Anzeigen von Einstellungsm¨ oglichkeiten. . . . . . . . 71

4.5 Das Fenster wird um den Optionsdialog erweitert. . . . . . . . . . . . 71

4.6 Die Optionen im Detail. . . . . . . . . . . . . . . . . . . . . . . . . . 72

4.7 Einstellungsm¨ oglichkeiten des Videoformats. . . . . . . . . . . . . . . 72

4.8 Einstellungsm¨ oglichkeiten von Kameraparametern. . . . . . . . . . . 72

4.9 Der Dialog zur Rektifizierung der Projektionsfl¨ ache. . . . . . . . . . . 73

4.10 Markieren der Projektions߬ ache durch Verschieben der Ecken des roten Vierecks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

4.11 Die rektifizierte Projektionsfl¨ ache. . . . . . . . . . . . . . . . . . . . . 74

xii Abbildungsverzeichnis

4.12 Automatische Kalibrierung der Schwellwerte T h M und T h Score . . . . . 74

4.13 Laserpunkt mit Mausspur und Window of Interest. . . . . . . . . . . 75

4.14 Fortschrittsanzeige zur Kalibrierung der Laserpunktfarbe. . . . . . . . 75

4.15 Der Laserpunkt bei sehr kurzer Verschlusszeit der Kamerablende. . . 76

4.16 Die Bewegungsmaske M mit Laserpunkt, darunter die Mausspur. . . 76

4.17 Der Dialog zur Anzeige der erkannten Zeigegesten. . . . . . . . . . . . 77

4.18 Das Button zum Starten des Skripteditors. . . . . . . . . . . . . . . . 78

4.19 ¨ Ubersicht ¨ uber die funktionalen Bereiche des Skripteditors. . . . . . . 78

4.20 Spezifizierung des zu erstellenden Statements. . . . . . . . . . . . . . 79

4.21 Auswahl eines Operanden aus der Liste der zur Verf¨ ugung stehenden Variablen und Parametern. . . . . . . . . . . . . . . . . . . . . . . . . 80

4.22 Auswahl einer Operation f¨ ur den Statement-Typ ” If-Then-Else“. . . . 80

5.1 Screenshot der separat angefertigten Software zur Durchf¨ uhrung der Durchsatzanalysen nach ISO-Norm 9241-9. . . . . . . . . . . . . . . . 83

5.2 Durchsatzanalyse von Computermaus und LPKS-Interaktionstechniken mittels ” Antick-Aufgabe in einer Richtung“. . . . . . . . . . . . . . . 86

5.3 Analyse des effektiven Durchsatz von Computermaus und LPKS-Interaktionstechniken mittels ” Antick-Aufgabe in einer Richtung“. . . 86

5.4 Durchsatzanalyse von Computermaus und LPKS-Interaktionstechniken mittels ” Multidirektionale Antick-Aufgabe“. . . . . . . . . . . . . . . 87

5.5 Analyse des effektiven Durchsatz von Computermaus und LPKS-Interaktionstechniken mittels ” Multidirektionale Antick-Aufgabe“. . . 88

5.6 Durchsatzanalyse von Computermaus und LPKS mittels Tunneltest. . 88

Tabellenverzeichnis

2.1 Beispiele f¨ ur den Durchsatz von Eingabeger¨ aten, die durch unterschiedliche Extremit¨ aten gesteuert werden nach [ISO9]. . . . . . . . . 5

2.2 Ergebnisse des Balkentests nach [Brad02] . . . . . . . . . . . . . . . . 21

3.1 Statistik zum Quelltext des neuen LPKS. . . . . . . . . . . . . . . . . 67

5.1 Parametrierung des Dwell-Mechanismus. . . . . . . . . . . . . . . . . 84

5.2 Parametrierung des modifizierten Dwell-Mechanismus. . . . . . . . . 84

5.3 Parametrierung des Flow-Mechanismus. . . . . . . . . . . . . . . . . . 85

5.4 Parametrierung und resultierende Schwierigkeitsindizes der Versuchs-anordnungen nach ISO-Norm 9241-9. . . . . . . . . . . . . . . . . . . 85

5.5 Vergleich der Durchs¨ atze unterschiedlicher LPKS. . . . . . . . . . . . 89

A.1 Ergebnisse der Durchsatzanalyse ” Antick-Aufgabe in einer Richtung“

nach ISO-Norm 9241-9, inklusive der Geradenparameter a und b. . . . 93

A.2 Ergebnisse der Durchsatzanalyse ” Multidirektionale Antick-Aufgabe“

nach ISO-Norm 9241-9, inklusive der Geradenparameter a und b. . . . 93

A.3 Ergebnisse der Durchsatzanalyse ” Nachf¨ uhren in einer Richtung“ nach

ISO-Norm 9241-9, inklusive der Geradenparameter a und b. . . . . . . 93

C.1 Funktionen die vom Skriptprozessor im Rumpf eines If-Then-Else Statements ausgef¨ uhrt werden k¨ onnen. . . . . . . . . . . . . . . . . . 107

Quelltextverzeichnis

3.1 Auslesen der Position eines Icons in einem Listview-Control . . . . . . 57

B.1 Erg¨ anzungen der OpenCV-Bibliothek: highgui.h . . . . . . . . . . . . 95

B.2 Erg¨ anzungen der OpenCV-Bibliothek: cvcap.cpp . . . . . . . . . . . . 95

B.3 Entstehung der Funktion iTransformCoordinates() aus einem Kommentar der OpenCV-Funktion ” cvWarpPerspectiveQMatrix“ . . . . . 97

B.4 Erstellen der ” score map“ S f¨ ur die anschließende Lokalisierung des Laserpunktes: iLASERRECOGNITION.cpp . . . . . . . . . . . . . . 97

B.5 Lokalisierung des Laserpunktes in der ” score map“ S: iLASERRECO-

GNITION.cpp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

B.6 Funktionen f¨ ur das Einrichten und den Zugriff auf einen gemeinsamen Prozess-Speicher: iMISC.cpp . . . . . . . . . . . . . . . . . . . . . . . 99

B.7 Kontextextraktion am Beispiel des Toolbar-Controls: iWINDOWS.cpp 101

B.8 Eine Funktion zum Ermitteln des Handles des aktuellen Mauszeigers: iPOINTER.cpp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

B.9 Eine Funktion zum Ersetzen der Windows-Mauszeiger mit einem trans- parenten Cursor: iPOINTER.cpp . . . . . . . . . . . . . . . . . . . . 104

1. Einleitung

Laserpointer erfreuen sich großer Beliebtheit im Einsatz als optische Zeigest¨ abe. Insbesondere im Lehrbereich dienen sie, im Zusammenspiel mit Projektionsfl¨ achen, als performante Zeigeinstrumente. Unter Einwirkung technologischer Innovationen der modernen Rechentechnik erschliessen sich den Laserpointern auch in diesem nichtindustriellen Kontext zunehmend neue Einsatzm¨ oglichkeiten. Bisher besch¨ aftigten sich bereits zahlreiche Forschungsunternehmungen mit den M¨ oglichkeiten den Funktionsumfang der Laserpointer vom bloßen Zeigeinstrument zum Werkzeug komplexer Mensch-Maschine-Interaktion zu erweitern. Die bis dato durchgef¨ uhrten Untersuchungen zielten in der Regel auf den Einsatz von Laserpointern als drahtlosen Computermausersatz ab. Hierbei werden die Reflektionen des Laserstrahls auf einer Projektionsfl¨ ache von Kameras aufgenommen und die Zeigehandlungen mit Hilfe gestenerkennender Software in Steuersignale f¨ ur Computer umgewandelt. Die Motivationen f¨ ur den Einsatz von Laserpointern als Computereingabeger¨ at sind vielf¨ altig. Zum einen stellt das Zeigen mit Hilfe von Laserlicht eine sehr direkte und effiziente Form der Interaktion mit Projektionsfl¨ achen dar. Zum anderen sind notwendige Hardwarekomponenten wie Projektoren und Kameras heute bereits in vielen Pr¨ asentations- und Lehrr¨ aumen vorhanden. Der Wunsch liegt nahe, Laserpointer in geeignete Schnittstellen der Mensch-Computer-Interaktion zu integrieren und von den schnellen Zeigehandlungen zu profitieren. Eine weitere Motivation stellt der Einsatz von Laserpointern in kollaborativen Umgebungen dar. Zahlreiche Forschungsgruppen implementierten bereits Laserpointer-Kamera-Systeme (LPKS) mit dem Fokus auf ” Single Display Groupware“. Es wird hierbei untersucht, inwieweit der simultane Einsatz mehrerer Laserpointer bei Verwendung eines einzigen Bildschirms der Gruppenarbeit zutr¨ aglich ist.

Die bereits existierenden LPKS werden in der Praxis durchweg von Problemen wie dem des Handzitterns (engl. ” hand jitter“) in ihrer Leistungsf¨ ahigkeit beeintr¨ achtigt

und dadurch in ihrer Gebrauchstauglichkeit eingeschr¨ ankt. Es ist das Ziel der vorliegenden Arbeit, die Leistungsf¨ ahigkeit von LPKS in dem vorgestellten Nutzungskontext zu verbessern. Unter Verwendung aufwandsarmer Hardware sollen die Gr¨ oßen Zeigeeffektivit¨ at und -effizienz gegen¨ uber bestehenden L¨ osungen deutlich gesteigert werden. Das zu entwickelnde LPKS soll prinzipiell geeignet sein, eine Computermaus

2 1. Einleitung

funktionell zu ersetzten. Besondere F¨ ahigkeiten von Sehverm¨ ogen und Motorik werden nicht vorausgesetzt, sie sollten aber zumindest durchschnittlich ausgepr¨ agt sein.

Diese Diplomarbeit besch¨ aftigt sich zun¨ achst mit den Begriffen Zeigeeffektivit¨ at und -effizienz, sowie einer M¨ oglichkeit diese quantitativ zu beurteilen. Im Anschluss wird der aktuelle Stand von LPKS vorgestellt und kritisch bewertet. Es wird ein Konzept zur Verwirklichung der oben genannten Zielstellung vorgestellt und die Schritte zur technischen Umsetzung eines neuen LPKS dokumentiert. Abschließend folgt die Analyse und Bewertung der Leistungsf¨ ahigkeit des entwickelten Systems.

2. Stand der Technik

2.1 Zeigeeffektivit¨ at und Zeigeeffizienz

Diese Diplomarbeit besch¨ aftigt sich in ihrem Kern mit der Analyse, der technischen Umsetzung sowie dem Vergleich von Ideen die Interaktion auf der Basis von Laserpointer-Kamera-Systemen effizient und effektiv zu gestalten. Insofern ist es angebracht, die Bedeutung der Begriffe ” Effektivit¨ at“ und ” Effizienz“ in Bezug auf

LPKS n¨ aher zu beleuchten sowie M¨ oglichkeiten zu ihrer quantitativen Bestimmung aufzuzeigen.

Effektivit¨ at und Effizienz sind eng miteinander verkn¨ upft. Die Effektivit¨ at bezeichnet das Verh¨ altnis von einem erreichten Ziel zu einem definierten Ziel. Demnach ist ein Verhalten effektiv, wenn es ein vorgegebenes Ziel erreicht. Ein Verhalten ist wenig effektiv, wenn das Ziel nicht oder nur teilweise erreicht wird. Darauf aufbauend bezeichnet das Effizienzkriterium das Verh¨ altnis des zur Zielerreichung notwendigen Aufwands zum definierten Nutzen des Verhaltens. Ein Verhalten wird also dann als effizient bezeichnet, wenn es sowohl tats¨ achlich zur Erreichung des Nutzens f¨ uhrt (Effektivit¨ at) als auch den daf¨ ur notwendigen Aufwand m¨ oglichst gering h¨ alt.

Die Recherche nach geeigneten Methoden zur quantitativen Bestimmung der Gr¨ oßen Zeigeeffizienz und Zeigeeffektivit¨ at f¨ uhrt aufgrund zahlreicher Verweise in der Fachliteratur, wie [Miik01], [Sara99], [I. S01], [I. S03] und [Zhai04], unweigerlich zur europ¨ aischen ” Norm EN ISO 9241-9:2000, Ergonomische Anforderungen f¨ ur B¨ urot¨ atigkeiten mit Bildschirmger¨ aten, Teil 9: Anforderungen an Eingabemittel - ausgenommen Tastaturen“ [ISO9].

Die Anwendbarkeit der ISO-Norm 9241-9 auf Laserpointer als Eingabeger¨ ate ist bedingt gegeben. Die Norm bezieht sich in Kapitel 1 ” Anwendungsbereich“ auf ergonomisch hinreichend gut erforschte Eingabemittel und benennt diese:

Dieser Teil von ISO 9241 enth¨ alt Anforderungen und Empfehlun-

”

gen f¨ ur die Gestaltung von Eingabemitteln außer Tastaturen. Er schließt nur Ger¨ ate ein, f¨ ur die in ausreichendem Maße ergonomische Erkennt- nisse vorliegen. Dieser Teil von ISO 9241 gilt f¨ ur mehrere Arten von

4 2. Stand der Technik

Eingabemitteln, die f¨ ur einen station¨ aren Gebrauch vorgesehen sind. Er gibt auf ergonomischen Faktoren basierende Anleitung f¨ ur folgende Eingabemittel: M¨ ause, Pucks, Joysticks, Rollkugeln, Tabletts und Overlays, Ber¨ uhrungsbildschirme (Touchscreens), Griffel und Lichtstifte. Er gibt Anleitung f¨ ur die Gestaltung dieser Ger¨ ate, die f¨ ur typische B¨ uroaufgaben genutzt werden, so dass die Leistungsgrenzen und F¨ ahigkeiten der Benutzer ber¨ ucksichtigt werden. Dieser Teil von ISO 9241 sieht Verfahren zur Ermittlung der Konformit¨ at durch Beobachtung und durch Messung der physikalischen Eigenschaften der verschiedenen Ger¨ ate vor.“

Unter den oben genannten Ger¨ aten sind Lichtstifte in ihrer Form und Bedienungsweise den Laserpointern am ¨ ahnlichsten. Lichtstifte sind stiftf¨ ormige, kabelgebundene Computereingabeger¨ ate. Sie werden ¨ uber den Bildschirm gef¨ uhrt und registrieren

die Helligkeit sowie die Position von Bildpunkten. Sie lassen sich daher wie ein Plastikstift auf einem Touchscreen bedienen. Da Lichtstifte und Stifte zur Bedienung von Touchscreens direkt auf der Bildoberfl¨ ache gef¨ uhrt werden, erm¨ oglichen sie auf Anhieb eine exakte Positionierung des Cursors. Nutzer eines Laserpointers k¨ onnen hingegen die gew¨ unschten Bildschirmkoordinaten aus gr¨ oßerer Entfernung zur Projektionsoberfl¨ ache praktisch nur durch Nachf¨ uhren des Eingabeger¨ ates erreichen. Zudem erscheinen Bildschirminhalte f¨ ur Nutzer eines LPKS aus gr¨ oßerer Entfernung zur Bildfl¨ ache zunehmend kleiner. Dennoch k¨ onnen Laserpointer nichtzuletzt aufgrund ihrer Form und des optischen Funktionsprinzips zumindest im entfernten Sinne den Lichtstiften zugeordnet werden. Wie die Beitr¨ age [Ji-Y02], [Brad02] und [Dunc02] wird auch diese Diplomarbeit sich zur Evaluierung der Leistungsf¨ ahigkeit von LPKS auf die ISO-Norm 9241-9 st¨ utzen.

Die ISO-Norm 9241-9 f¨ uhrt in Kapitel 6 die Gestaltungsanforderung ” Durchsatz“ ein:

Eingabeger¨ ate, die f¨ ur direktes Zeigen, Ausw¨ ahlen und Ziehen ge-

”

nutzt werden, sollten so gestaltet sein, dass Benutzer innerhalb des Bereichs der Aufgabengenauigkeit, f¨ ur den das Ger¨ at vorgesehen ist, den in Tabelle 2.1 angegebenen Durchsatz erzielen k¨ onnen.“

Der Begriff Durchsatz wird in Anhang B ” Pr¨ ufen von Effizienz und Effektivit¨ at“ wie-

der aufgegriffen und letztendlich als die Metrik zur Evaluation von Zeigeeffektivit¨ at

2.1. Zeigeeffektivit¨ at und Zeigeeffizienz 5

Tabelle 2.1: Beispiele f¨ ur den Durchsatz von Eingabeger¨ aten, die durch unterschiedliche Extremit¨ aten gesteuert werden nach [ISO9].

und -effizienz vorgestellt. Der effektive Durchsatz T P (auch T P e ) ist eine genormte Metrik zur Bewertung von Zeigeger¨ aten (siehe Formel 2.1). Er vereint sowohl Zeigegeschwindigkeit als auch Zeigegenauigkeit in einem einzigen Wert und wird in Bits/s angegeben.

Die Bewegungszeit M T ist die Dauer vom Beginn einer Zeigehandlung bis zu ihrem Ende. Unter ID e ist der effektive Schwierigkeitsindex ( Index of difficulty“) zu ver-”

stehen. Er ist ein Maß f¨ ur die Zeigegenauigkeit, die dem Nutzer zu Durchf¨ uhrung einer Zeigehandlung abverlangt wird. ID e wird in bits angegeben und berechnet sich wie folgt:

D bezeichnet die Distanz vom Beginn einer Zeigehandlung bis zu ihrem definierten Ziel. W e ist die effektive Ausdehnung des Zielobjektes entlang der Bewegungsachse:

W e = 4.133 × SD x (2.3)

SD x ist die Standartabweichung der Zielkoordinaten, wiederum gemessen entlang der Bewegungsachse. Somit ist W e ein Maß f¨ ur die Pr¨ azision der durchgef¨ uhrten Zeigehandlungen.

Wie aus Formel 2.1 ersichtlich, stehen Schwierigkeitsindex und Bewegungsdauer in einem linearen Zusammenhang. In Abbildung 2.1 ist ID e ¨ uber M T aufgetragen. Der Anstieg der Geraden entspricht dem Durchsatz T P .

¨ Uber dem Schwierigkeitsindex ID e definiert die ISO-Norm 9241-9 des Weiteren die ” Aufgabengenauigkeit“. Sie ist ein Maß f¨ ur die Genauigkeit, die f¨ ur Zeige-,

6 2. Stand der Technik

Abbildung 2.1: Zusammenhang zwischen Schwierigkeitsindex und Bewegungsdauer nach ISO-Norm 9241-9 (Achsenbeschriftungen wurde erg¨ anzt).

Auswahl- oder Zieh-Elementaraufgaben gefordert wird und durch den Schwierigkeitsindex quantifiziert wird.

Die Aufgabengenauigkeit kann demnach in drei Genauigkeitsstufen klassifiziert werden:

• niedrig: bei einem Schwierigkeitsindex kleiner oder gleich 4,

• mittel: bei einem Schwierigkeitsindex gr¨ oßer als 4 und kleiner oder gleich 6,

• hoch: bei einem Schwierigkeitsindex gr¨ oßer als 6.

Auf den praktischen Zusammenhang zwischen Zeigeeffektivit¨ at und Durchsatz bzw. Zeigeeffizienz und Durchsatz geht die Vorschrift nicht weiter ein. Es ist jedoch offensichtlich, dass der Durchsatz die Gr¨ oßen Effektivit¨ at und Effizienz in sich vereint. Sowohl Zeigeeffektivit¨ at als auch Zeigeeffizienz skalieren mit dem Durchsatz.

Der Ursprung der Metrik des Durchsatzes liegt im Fitts’schen Gesetz aus dem Jahr 1954, ver¨ offentlicht von Paul Fitts. Es besagt, dass die Dauer einer Zeigehandlung um ein Ziel zu erreichen eine lineare Funktion (Formel 2.4) ist, die von der Distanz zum Ziel und der Gr¨ oße des Ziels abh¨ angig ist. Das Fitts’sche Gesetz ist somit als ein Model menschlicher psychomotorischer F¨ ahigkeiten zu betrachten.

2.1. Zeigeeffektivit¨ at und Zeigeeffizienz 7

M T = a + b × ID (2.4)

Der Anstieg b bestimmt wie stark die Bewegungszeit M T mit dem Schwierigkeitsindex ID skaliert. Die Verschiebung a kann interpretiert werden als eine konstante Verz¨ ogerung, verursacht etwa durch die Zeit die ein Mensch ben¨ otigt um eine Taste an seinem Zeigeger¨ at zu dr¨ ucken. a und b m¨ ussen experimentell bestimmt werden. ID ist hier der (nicht effektive) Schwierigkeitsindex und wird wie folgt berechnet:

W ist die Ausdehnung des Zielobjektes entlang der Bewegungsachse und D nach wie vor die Distanz vom Beginn einer Zeigehandlung bis zu ihrem definierten Ziel.

Der mathematische Zusammenhang zwischen dem Fitts’schen Gesetz 2.4 und der Berechnungsvorschrift 2.1 nach der ISO-Norm 9241-9 gestaltet sich einfach: Die Gleichung 2.4 geht f¨ ur b = ¹ und a = 0, sowie Umstellen nach T P in die Gleichung 2.1

T P

uber. ¨

Es l¨ asst sich trefflich streiten, inwiefern es sinnvoll ist, die Verz¨ ogerung a allgemein Null zu setzen und somit die Regressionsgleichung 2.4 zu ¹ = ^ID = T p zu vereinfa- b M T

chen.

Der sehr aufschlussreiche Artikel [Zhai04] von Shumin Zhai stellt daher die Auslegung des Fitts’schen Gesetzes in der ISO-Norm 9241-9 in Frage und pr¨ asentiert eine ¨ Ubersicht ¨ uber die teilweise verwirrende Vielfalt von unterschiedlichen Auslegungen der Fitts’schen Rechenvorschrift.

Der viel zitierte I. Scott MacKenzie bereichert diese Diskussion in seinem Beitrag [I. S01] außerordentlich, indem er die Division von ID e durch M T in der Formel 2.1 zu einer Division von Mittelwerten erkl¨ art:

According to ISO 9241-9, throughput is obtained from the division of means, not from the slope reciprocal in a regression model.

Shumin Zhai h¨ alt diese Interpretation in seiner Arbeit [Zhai04] folgendermaßen for- melm¨ aßig fest:

8 2. Stand der Technik

Bei Betrachtung der Berechnungsvorschrift f¨ ur den Schwierigkeitsindex ID nach Formel 2.5 wird ersichtlich, dass die Durchsatzmetrik auf die Laserpointer-Interaktion nicht vorbereitet ist. Aufgrund der Distanz r des LPKS-Nutzers zur Bildoberfl¨ ache erscheinen ihm sowohl D als auch W mit zunehmendem Abstand kleiner. Bedienelemente pr¨ asentieren sich dem Betrachter also unter einem kleineren Raumwinkel [Wiki05c] . Durch eine Verringerung des Raumwinkels nimmt die dem Nutzer abverlangte Zeigegenauigkeit zu. Aufgrund der begrenzten menschlichen visuellen und psychomotorischen F¨ ahigkeiten sinkt der Durchsatz, da die Quote der nicht zum Ziel f¨ uhrenden Zeigehandlungen und somit die Bewegungszeit M T ansteigen. Da D und W aber gleichermaßen mit dem Abstand r skalieren, bleibt der Schwierigkeitsindex ID unver¨ andert. Bei Verwendung des effektiven Schwierigkeitsindex ID ^e nach Formel 2.2 kann es mit zunehmendem r zu einer wachsenden effektiven Ausdehnung W e kommen. In diesem Fall sinkt der Schwierigkeitsindex paradoxerweise mit zunehmender Entfernung des Nutzers zur Bildoberfl¨ ache. Um das in der vorliegenden Diplomarbeit entwickelte LPKS quantitativ zu evaluieren, wird die Formel 2.7 zur Berechnung des Durchsatzes herangezogen. Zur Gew¨ ahrleistung der Eindeutigkeit und Reproduzierbarkeit der Ergebnisse werden außerdem stets die Parameter a und b sowie der Abstand r zwischen Laserpointer und Bildfl¨ ache angegeben.

Die ISO-Norm 9241-9 informiert in ihrem Anhang B ¨ uber m¨ ogliche einheitliche Ver-suchsanordnungen zur Ermittlung des Durchsatzes von Eingabemitteln. Drei von diesen Anordnungen werden an dieser Stelle kurz vorgestellt:

Die ” Antick-Aufgabe in einer Richtung“ (Abbildung 2.2) dient zur Bewertung von Zeigebewegungen entlang einer Achse, wie etwa zum Ausw¨ ahlen von Informationen in Spalten und Reihen. Zwei Rechtecke der Breite W und einem Mitte-zu-Mitte-Abstand D sollen vom Benutzer 25-mal abwechselnd, m¨ oglichst schnell und pr¨ azise angeklickt werden. Der Test beginnt, sobald der Benutzer den Zeiger das erste Mal in ein Rechteck bewegt und die Schaltfl¨ ache bet¨ atigt hat. Die Auswahl des Zielobjekts kann entweder manuell durchgef¨ uhrt werden (z.B. durch Bet¨ atigen einer Taste) oder automatisch erfolgen (z.B. durch eine systemseitige Erkennung des Zeigers innerhalb

2.1. Zeigeeffektivit¨ at und Zeigeeffizienz 9

des Zielbereichs). Der Zielabstand D als auch die Zielbreite W sollten gleichm¨ aßig ver¨ andert werden, so dass der effektive Schwierigkeitsindex Werte von 1 bis 6 Bit annimmt.

Abbildung 2.2: ” Antick-Aufgabe in einer Richtung“ nach [ISO9].

Der ” Spurfolge-Test in einer Richtung“ (Abbildung 2.3) wird angewendet zur Bewertung der Aufgabe ” Folgen eines Pfades zwischen zwei Punkten“, wie etwa dem Ziehen eines Objekts.

Die Aufgabe besteht darin, ein Objekt (z.B. einen Kreis) der Breite B zwischen zwei parallelen Linien der L¨ ange D und dem Abstand K, ohne Ber¨ uhrung der Begrenzungslinien, zu bewegen. Ber¨ uhrt das Objekt eine Begrenzungslinie, wird der Versuch abgebrochen und muss neu begonnen werden. Die ben¨ otigte Zeit um das Objekt erfolgreich von einem Ende der Spur zum anderen zu bewegen, wird aufgezeichnet. Schwierigkeitsindex und effektiver Schwierigkeitsindex werden hier nach den Formeln 2.8 bzw. 2.9 berechnet.

10 2. Stand der Technik

Die ” Multidirektionale Antick-Aufgabe“ (Abbildung 2.4) kann angewendet werden, zur Bewertung einer Zeige-Bewegung in verschiedenen Richtungen, wie etwa zum Ausw¨ ahlen verstreut angeordneter Icons. Die Versuchsperson wird aufgefordert, den

Abbildung 2.4: ” Multidirektionale Antick-Aufgabe“ nach [ISO9].

Zeiger quer ¨ uber einen Kreis zu fortlaufend nummerierten Zielobjekten zu bewegen. Die Zielobjekte werden so angeordnet, dass die Bewegungen in etwa dem Durchmesser des Kreises entsprechen. Die Zielobjekte, zu denen der Benutzer vorr¨ ucken sollte, werden optisch hervorgehoben. Der Test beginnt, wenn die Versuchsperson auf das oberste Zielobjekt zeigt, und endet, wenn der Nutzer wieder am obersten Zielobjekt angelangt ist.

Abschließend zum Kapitel ” Zeigeeffektivit¨ at und Zeigeeffizienz“ noch einige Anmerkungen zur Bedeutung der Durchsatz-Metrik im Kontext der LPKS. Der Durchsatz T P ist eine elementare Gr¨ oße, da er sich auf elementare Zeigehandlungen be- zieht. Eine Verallgemeinerung auf die Gesamtheit der komplexen Zeigehandlungen

2.1. Zeigeeffektivit¨ at und Zeigeeffizienz 11

die zur Bedienung von Computern notwendig sind, ist jedoch denkbar. Da Betriebssystem und Anwendungssoftware aber entscheidenden Einfluss auf die produktive Eingabeleistung des Anwenders aus¨ uben, ist der Durchsatz eines Eingabeger¨ ates allein bez¨ uglich der letztendlichen Bedienbarkeit eines Computersystems nicht aussagekr¨ aftig. Auch der Fragenkatalog zur Ermittlung der Benutzerzufriedenheit im Anhang C der ISO-Norm 9241-9 zielt explizit auf Eingabeger¨ ate, nicht jedoch auf die Gesamtheit der Interaktionsschnittstelle, bestehend aus Hardware und Software. WIMP-Schnittstellen ¹ sind geradezu auf Computerm¨ ause und damit auf die Point & Click“ ² -Interaktion zugeschnitten: Zeiger m¨ ussen sehr genau ¨ uber graphi-”

schen Bedienelementen positioniert und gehalten werden. Klicks und Doppelklicks m¨ ussen ausgel¨ ost werden. Die derart segmentierte ” Point & Click“-Interaktion widerstrebt der stiftbasierten Interaktion, da diese eine fließende und strichbasierte Eingabe bevorzugt. Die Antick-Aufgaben der ISO-Norm 9241-9 setzen aber gerade diese segmentierte Interaktion voraus. Strichbasierte Eingaben k¨ onnen senkrecht zur Bewegungsachse eine ungleich h¨ ohere Zeigegenauigkeit erreichen als bei Bewegungen entlang der Bewegungsachse. Die Spurfolge-Tests der ISO-Norm 9241-9 sind daher besser geeignet die Leistungsf¨ ahigkeit von stiftbasierten Eingabeger¨ aten zu evaluieren.

Das folgende Kapitel 2.2 gew¨ ahrt nun einen Einblick in den aktuellen Stand der Forschung zu LPKS.

¹ WIMP steht f¨ ur Windows, Icons, Men¨ us, Pointer

² Unter ”

Point & Click“ ist hier das Positionieren ( ”

Ausl¨ osen einer Aktion durch einen Tastendruck (

12 2. Stand der Technik

2.2 Bisherige Beitr¨ age zu LPKS

Zahlreiche LPKS wurden bereits entwickelt. Die hier vorgestellten Systeme bestehen stets aus den Komponenten Laserpointer, wenigstens einer Kamera, einer Projektions߬ ache, mindestens einem Projektor sowie einem oder mehreren Computern (siehe Abbildung 2.5).

Abbildung 2.5: Schematischer Aufbau eines Laserpointer-Kamera-Systems

2.2. Bisherige Beitr¨ age zu LPKS 13

Der Beitrag [Dan 01] hat es sich zum Ziel gesetzt, auf der Basis eines LPKS, eine m¨ oglichst kosteng¨ unstige und vollst¨ andige Umgebung zur Interaktion mit großen Projektionsfl¨ achen zu schaffen. Angelehnt an die g¨ angige Praxis von Gruppenmeetings, soll es mehreren Personen erm¨ oglicht werden, nacheinander in Wechselwirkung mit einer Projektionsfl¨ ache zu treten. Zum Einsatz kommen ein roter Laserpointer zum Preis von etwa $15, ein Projektor mit der Aufl¨ osung 1024x768 und eine Kamera ( WebCam“) zum Preis von $500. Die Frage, wodurch sich der verh¨ altnism¨ aßig

”

hohe Preis f¨ ur die verwendete Kamera begr¨ undet und sich mit der Zielsetzung ein besonders kosteng¨ unstiges System zu entwerfen vereinbaren l¨ asst, wird von diesem Artikel nicht beantwortet. Die Kamera liefert nur etwa 7 Bilder pro Sekunde (fps), praktischerweise ¨ uber das Netzwerkprotokoll TCP/IP. Dadurch ist es m¨ oglich die Kamera unabh¨ angig von einem Rechner frei im Raum zu installieren. Die Laserpunkterkennung erfolgt durch die Suche nach dem hellsten Punkt im aufgenommenen Bild. Wird kein Punkt mit besonders hoher Intensit¨ at gefunden, so kommt ein Faltungsfilter zum Einsatz. Der Faltungsfilter wird zun¨ achst in einem Fenster um die letzten erkannten Koordinaten des Laserpunktes herum appliziert. Bei Misserfolg wird das Fenster vergr¨ oßert. Die automatische Helligkeitssteuerung von Kameras neigt dazu, sich auf eine Fl¨ ache bzw. einen Mittelwert der Intensit¨ at im Bild zu kalibrieren. Das f¨ uhrt dazu, dass der Laserpunkt sich in seiner maximalen Intensit¨ at von anderen hellen Punkten im Bild nicht mehr unterscheidet. Dieser Effekt wird mit ” Saturation“ bezeichnet. Folglich wurde entschieden, die automatische Helligkeitsregulierung abzuschalten und diese manuell einzustellen. Die Helligkeit wird im g¨ unstigsten Fall soweit herabreguliert bis ausschließlich der Laserpunkt sichtbar bleibt. Die maximale Aufl¨ osung der Kamera wird nicht explizit genannt. Der Artikel berichtet allerdings von Fehldetektionen des Laserpunktes, verursacht durch eine zu geringe Aufl¨ osung der Kamera. Als L¨ osung wird vorgeschlagen, den Zustand des Lasers (sichtbar und nicht sichtbar) gemittelt ¨ uber 5 aufeinanderfolgende Bilder

zu detektieren. Der durch Projektor und Kamera verursachten Bildverzerrung wird durch einen Rektifizierungsalgorithmus entgegengewirkt. Dieser Algorithmus wird vorab kalibriert durch die Auswertung der Positionen von 25 projizierten Punkten.

Das implementierte Erkennungsmodul zur Auswertung von Zeigehandlungen kennt f¨ unf Zust¨ ande des Laserpunktes bzw. Ereignisse, die sich davon ableiten lassen:

1. LaserOn(X,Y): Der Laserpunkt konnte an der Position (X,Y) lokalisiert wer- den.