Die vorliegende Arbeit bietet einen Überblick über Zweck, Ablauf und Methoden der Handverfolgung aus Kameradaten.
Anwendungsgebiete der Handverfolgung reichen in der
Literatur von der automatischen Übersetzung von Zeichen in
gesprochene Sprache über Input für Human Computer
Interfaces bis hin zur Telerobotik.
Der im folgenden erläuterte Ablauf beginnt mit der Bildaufnahme und der Vorverarbeitung, um die Hände im Bild zu
lokalisieren und gewisse Merkmale, wie z. B. Schwerpunkte oder Kanten, zu extrahieren. Im Anschluss daran erfolgt die
Berechnung der Handposition, -orientierung und Gelenkwinkeln
aus den Bilddaten teilweise unter Zuhilfenahme von Modellen
der Hand, teilweise mit statistischen Methoden. Da die Verarbeitung von Bilddaten immer die Gefahr birgt, dass
sich Hände des Benutzers oder andere hautfarbene Bereiche
verdecken, ist es abschließend nötig eine Erkennung und Behandlung dieser Fälle vorzunehmen.
Die Verwendung der Handverfolgung für humanoide Roboter
bildet das letzte Thema des vorliegenden Aufsatzes; hierbei soll
insbesondere die Umsetzbarkeit verschiedener Verfahren untersucht werden.
Inhaltsverzeichnis
1 Einleitung
2 Einsatzgebiete und Zweck der Handverfolgung
2.1 Human Computer Interface
2.2 Roboterprogrammierung
3 Situation bei der Bildaufnahme
3.1 Beleuchtung
3.2 Beschaffenheit des Hintergrundes
3.3 Kleidung des Benutzers
3.4 Anzahl und Beweglichkeit der Kameras
3.5 Bewegungsfreiheit des Benutzers
4 Bildaufbereitung und Merkmalsextraktion
4.1 Hintergrundausblendung
4.2 Bewegungserkennung durch das Differenzbildverfahren
4.3 Farberkennung für Hautfarbe (Farbsegmentierung)
4.4 Kantenextraktion
5 Handmodelle und Modellanpassung
5.1 Positionstracking
5.2 Orientierung der Hand
5.3 Articulated Rigid Objects mit inverser Kinematik
5.4 Articulated Rigid Objects mit Maximierung der Modell- und Bildüberdeckung
5.5 Gestenerkennung
6 Handhabung von Verdeckungen
7 Zusammenfassung
8 Literatur
Zielsetzung und thematische Schwerpunkte
Die vorliegende Arbeit bietet einen systematischen Überblick über den Zweck, den Ablauf und die verschiedenen Methoden der Handverfolgung (Hand Tracking) basierend auf Kameradaten. Das primäre Ziel besteht darin, die Umsetzbarkeit dieser Verfahren für humanoide Roboter zu untersuchen und die komplexen Abhängigkeiten zwischen Modellgenauigkeit, Echtzeitfähigkeit und den Bedingungen bei der Bildaufnahme zu analysieren.
- Grundlagen der Handverfolgung und Einsatzszenarien wie Human Computer Interfaces.
- Analyse der verschiedenen Einflussfaktoren bei der Bildaufnahme, inklusive Beleuchtung und Hintergrundbeschaffenheit.
- Vergleich und Bewertung von Methoden zur Merkmalsextraktion und Bildaufbereitung.
- Diskussion unterschiedlicher Handmodelle zur Schätzung von Position, Orientierung und Gelenkwinkeln.
- Strategien zur Behandlung von Verdeckungen und zur Optimierung des Echtzeitbetriebs.
Auszug aus dem Buch
5.4 Articulated Rigid Objects mit Maximierung der Modell- und Bildüberdeckung
Rehg und Kanade [10] gehen bei der Handverfolgung einen Weg, der zwar auf Ebene des verwendeten Modells ähnlich komplex ist, wie der im vorangehenden Abschnitt beschriebene Weg, der aber in Hinsicht auf das Verfahren zur Modellanpassung nicht darauf angewiesen ist, dass der Benutzer einen Handschuh trägt.
Bei der Suche nach der „besten“ Konfiguration des Handmodells in Übereinstimmung mit der Beobachtung, projizieren die Autoren das Modell auf die Bildebene, um die Überdeckung der Projektion mit der Beobachtung zu messen. Dies geschieht unter Verwendung von Bildmerkmalen, die in der Vorbereitungsphase extrahiert wurden (s. Abbildung 2). Aus den Kanten der Finger werden Geraden, welche die Mittelachse eines jeden Fingerglieds beschreiben, Gelenke, an den Schnittpunkten der Geraden, und für jeden Finger die Fingerspitze berechnet. Die Verwendung von Geraden anstelle von Linien oder Kanten mit einem definierten Anfangs- und Endpunkt wird von Rehg und Kanade favorisiert, da die Messung dieser Punkte ungenau ist im Vergleich zur Messung der Richtung.
Zusammenfassung der Kapitel
1 Einleitung: Einführung in das Hand Tracking und Definition der Zielsetzung, Daten mittels Kamerabildern zu gewinnen und als Sensorinformation zur Verfügung zu stellen.
2 Einsatzgebiete und Zweck der Handverfolgung: Beschreibung der Anwendungsbereiche, insbesondere für Human Computer Interfaces und die Programmierung humanoider Roboter.
3 Situation bei der Bildaufnahme: Untersuchung der verschiedenen Rahmenbedingungen wie Beleuchtung, Hintergrund und Kamerakonfiguration, die den Erfolg der Trackingverfahren bestimmen.
4 Bildaufbereitung und Merkmalsextraktion: Analyse von Verfahren zur Hintergrundtrennung, Farberkennung und Kantenextraktion zur Vorbereitung der Daten für die Handmodelle.
5 Handmodelle und Modellanpassung: Detaillierte Betrachtung von mathematischen Modellen zur Bestimmung der Handkonfiguration, von Positionsverfolgung bis zur inversen Kinematik.
6 Handhabung von Verdeckungen: Untersuchung der Problematik von gegenseitigen Verdeckungen oder Selbstverdeckungen und Vorstellung verschiedener Lösungsstrategien.
7 Zusammenfassung: Resümee der vorgestellten Verfahren hinsichtlich ihrer Echtzeitfähigkeit und der Notwendigkeit einer situationsabhängigen Algorithmenwahl.
8 Literatur: Auflistung der im Text referenzierten wissenschaftlichen Publikationen und Konferenzbeiträge.
Schlüsselwörter
Hand Tracking, Handverfolgung, Human Computer Interface, Bildverarbeitung, Farbsegmentierung, Kalman-Filter, inverse Kinematik, Modellprojektion, Gestenerkennung, Verdeckungen, Echtzeitfähigkeit, humanoide Roboter, Merkmalsextraktion, Bildaufnahme.
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit befasst sich mit der automatisierten Verfolgung menschlicher Hände mittels Kamerabildern, um deren Position, Orientierung und Gelenkwinkel zu bestimmen.
Was sind die zentralen Themenfelder?
Zu den Schwerpunkten zählen die Vorverarbeitung von Kameradaten, die mathematische Modellierung der menschlichen Hand sowie Strategien zur Bewältigung von Verdeckungen.
Welches ist das primäre Ziel der Untersuchung?
Das Hauptziel liegt in der Untersuchung verschiedener Verfahren zur Handverfolgung, um deren Effektivität und Umsetzbarkeit für den Einsatz in humanoiden Robotern zu bewerten.
Welche wissenschaftlichen Methoden werden verwendet?
Es werden verschiedene computergestützte Ansätze analysiert, darunter Bildsegmentierung, Differenzbildverfahren, Kalman-Filter sowie Optimierungsalgorithmen zur Modellanpassung wie "Expectation Maximization" oder "Maximum Likelihood".
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil gliedert sich in die Aufnahmesituation, die Extraktion von Bildmerkmalen, die mathematische Modellierung (z.B. durch Rigid Objects) sowie den Umgang mit Verdeckungen während des Trackings.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit wird maßgeblich durch Begriffe wie Hand Tracking, Modellprojektion, Gestenerkennung und Echtzeitfähigkeit definiert.
Wie gehen die Autoren mit der Problematik von Verdeckungen um?
Es werden verschiedene Ansätze vorgestellt, von der einfachen Unterbrechung des Trackings bis hin zu komplexen Vorhersagemodellen oder der Nutzung redundanter Kamerasysteme, um Verdeckungen auszuweichen.
Warum ist die Wahl des Handmodells so entscheidend für die Performance?
Die Komplexität des Modells bestimmt direkt den Rechenaufwand: Während einfache Modelle eine höhere Verarbeitungsrate für Echtzeitsysteme ermöglichen, sind komplexere Modelle mit vielen Freiheitsgraden für detaillierte Gestenanalysen notwendig, aber rechenintensiver.
- Citation du texte
- Ulrich Merzbach (Auteur), 2002, Handtracking. Zweck, Ablauf und Methoden der Handverfolgung aus Kameradaten, Munich, GRIN Verlag, https://www.grin.com/document/3094
