Processing and tracking human motions using optical, inertial, and depth sensors

The processing of human motion data constitutes an important strand of research with many applications in computer animation, sport science and medicine. Currently, there exist various systems for recording human motion data that employ sensors of different modalities such as optical, inertial and depth sensors. Each of these sensor modalities have intrinsic advantages and disadvantages that make them suitable for capturing specific aspects of human motions as, for example, the overall course of a motion, the shape of the human body, or the kinematic properties of motions. In this thesis, we contribute with algorithms that exploit the respective strengths of these different modalities for comparing, classifying, and tracking human motion in various scenarios. First, we show how our proposed techniques can be employed, e.g., for real-time motion reconstruction using efficient cross-modal retrieval techniques. Then, we discuss a practical application of inertial sensors-based features to the classification of trampoline motions. As a further contribution, we elaborate on estimating the human body shape from depth data with applications to personalized motion tracking. Finally, we introduce methods to stabilize a depth tracker in challenging situations such as in presence of occlusions. Here, we exploit the availability of complementary inertial-based sensor information.Die Verarbeitung menschlicher Bewegungsdaten stellt einen wichtigen Bereich der Forschung dar mit vielen Anwendungsmöglichkeiten in Computer-Animation, Sportwissenschaften und Medizin. Zurzeit existieren diverse Systeme für die Aufnahme von menschlichen Bewegungsdaten, welche unterschiedliche Sensor-Modalitäten, wie optische Sensoren, Trägheits- oder Tiefen-Sensoren, einsetzen. Alle diese Sensor-Modalitäten haben intrinsische Vor- und Nachteile, welche sie befähigen, spezifische Aspekte menschlicher Bewegungen, wie zum Beispiel den groben Verlauf von Bewegungen, die Form des menschlichen Körpers oder die kinetischen Eigenschaften von Bewegungen, einzufangen. In dieser Arbeit tragen wir mit Algorithmen bei, welche die jeweiligen Vorteile dieser verschiedenen Modalitäten ausnutzen, um menschliche Bewegungen in unterschiedlichen Szenarien zu vergleichen, zu klassifizieren und zu verfolgen. Zuerst zeigen wir, wie unsere vorgeschlagenen Techniken angewandt werden können, um z.B. in Echtzeit Bewegungen mit Hilfe von cross-modalem Suchen zu rekonstruieren. Dann diskutieren wir eine praktische Anwendung von Trägheitssensor-basierten Eigenschaften für die Klassifikation von Trampolinbewegungen. Als einen weiteren Beitrag gehen wir näher auf die Bestimmung der menschlichen Körperform aus Tiefen-Daten mit Anwendung in personalisierter Bewegungsverfolgung ein. Zuletzt führen wir Methoden ein, um einen Tiefen-Tracker in anspruchsvollen Situationen, wie z.B. in Anwesenheit von Verdeckungen, zu stabilisieren. Hier nutzen wir die Verfügbarkeit von komplementären, Trägheits-basierten Sensor-Informationen aus

Retrieval-based Approaches for Tracking and Reconstructing Human Motions

Tracking, reconstructing, and analyzing human motions constitute central topics in computer vision and computer graphics. Although marker-less motion tracking has been an active research field for more than two decades, there are still major challenges, in particular when dealing with only few cameras, noise in the image data, occlusions, or fast motions. In this thesis, we introduce novel approaches for increasing the stability, accuracy, and efficiency of marker-less human motion tracking and 3D human pose reconstruction. As one common underlying concept, the presented approaches contain a retrieval component making use of database knowledge in the form of previously recorded marker-based motion capture (mocap) data. In particular, we contribute to three different areas dealing with various types of sensors including video cameras, optical mocap systems, inertial sensors, and depth cameras. Firstly, we introduce content-based retrieval techniques for automatically segmenting and annotating mocap data that is originally provided in form of unstructured data collections. Secondly, we show how such robust annotation procedures can be used to support and stabilize marker-less motion tracking. Thirdly, we develop algorithms for reconstructing human motions from noisy depth sensor data in real-time. In all these contributions, a particular focus is put on efficiency issues in order to keep the run time as low as possible.Die Analyse und Rekonstruktion von menschlichen Bewegungen aus Sensordaten stellt ein zentrales Thema in den Forschungsgebieten der Computer Vision und Computergrafik dar. Insbesondere die markerfreie Bewegungsschätzung aus Bilddaten weist trotz langjähriger Forschungsaktivitäten noch Defizite auf, die primär bei schnellen Bewegungen oder verrauschten und unvollständigen Sensordaten sichtbar werden. In dieser Arbeit führen wir neue Ansätze zur markerfreien Rekonstruktion menschlicher Bewegungen ein, welche den aktuellen Stand der Forschung im Hinblick auf Stabilität, Genauigkeit und Effizienz signifikant erweitern. Dazu entwickeln wir datengetriebene Methoden, die Vorwissen in Form von Bewegungsdatenbanken nutzen. Insbesondere tragen wir zu drei Teilgebieten bei, die sich mit der Analyse und der Rekonstruktion menschlicher Bewegungen aus Sensordaten von Videokameras, optischen Motion Capture-Systemen, Inertialsensoren und Tiefenkameras beschäftigen. Zunächst erforschen wir inhaltsbasierte Retrieval- und Annotationstechniken im Hinblick auf die Identifikation und Extraktion von geeigneten Ausschnitten aus unstrukturierten Sammlungen von Bewegungsdaten. Dann zeigen wir, wie Retrievaltechniken zur Stabilisierung von markerfreiem Tracking eingesetzt werden können. Schließlich entwickeln wir Algorithmen zur Rekonstruktion von menschlichen Bewegungen in Echtzeit aus verrauschten Tiefendaten. In allen Teilen dieser Arbeit spielen Effizienzaspekte eine große Rolle und es werden schnelle Algorithmen entwickelt und implementiert