369 research outputs found
Efficient Body Motion Quantification and Similarity Evaluation Using 3-D Joints Skeleton Coordinates
DeepMoCap: Deep Optical Motion Capture Using Multiple Depth Sensors and Retro-Reflectors
In this paper, a marker-based, single-person optical motion capture method (DeepMoCap) is proposed using multiple spatio-temporally aligned infrared-depth sensors and retro-reflective straps and patches (reflectors). DeepMoCap explores motion capture by automatically localizing and labeling reflectors on depth images and, subsequently, on 3D space. Introducing a non-parametric representation to encode the temporal correlation among pairs of colorized depthmaps and 3D optical flow frames, a multi-stage Fully Convolutional Network (FCN) architecture is proposed to jointly learn reflector locations and their temporal dependency among sequential frames. The extracted reflector 2D locations are spatially mapped in 3D space, resulting in robust 3D optical data extraction. The subjectâs motion is efficiently captured by applying a template-based fitting technique on the extracted optical data. Two datasets have been created and made publicly available for evaluation purposes; one comprising multi-view depth and 3D optical flow annotated images (DMC2.5D), and a second, consisting of spatio-temporally aligned multi-view depth images along with skeleton, inertial and ground truth MoCap data (DMC3D). The FCN model outperforms its competitors on the DMC2.5D dataset using 2D Percentage of Correct Keypoints (PCK) metric, while the motion capture outcome is evaluated against RGB-D and inertial data fusion approaches on DMC3D, outperforming the next best method by 4.5% in total 3D PCK accuracy
Gait Recognition
Gait recognition has received increasing attention as a remote biometric identification technology, i.e. it can achieve identification at the long distance that few other identification technologies can work. It shows enormous potential to apply in the field of criminal investigation, medical treatment, identity recognition, humanâcomputer interaction and so on. In this chapter, we introduce the stateâofâtheâart gait recognition techniques, which include 3Dâbased and 2Dâbased methods, in the first part. And considering the advantages of 3Dâbased methods, their related datasets are introduced as well as our gait database with both 2D silhouette images and 3D joints information in the second part. Given our gait dataset, a human walking model and the corresponding static and dynamic feature extraction are presented, which are verified to be viewâinvariant, in the third part. And some gaitâbased applications are introduced
Models and estimators for markerless human motion tracking
In this work, we analyze the diferent components of a model-based motion tracking system.
The system consists in: a human body model, an estimator, and a likelihood or cost
function
REAL-TIME CAPTURE AND RENDERING OF PHYSICAL SCENE WITH AN EFFICIENTLY CALIBRATED RGB-D CAMERA NETWORK
From object tracking to 3D reconstruction, RGB-Depth (RGB-D) camera networks play an increasingly important role in many vision and graphics applications. With the recent explosive growth of Augmented Reality (AR) and Virtual Reality (VR) platforms, utilizing camera RGB-D camera networks to capture and render dynamic physical space can enhance immersive experiences for users. To maximize coverage and minimize costs, practical applications often use a small number of RGB-D cameras and sparsely place them around the environment for data capturing. While sparse color camera networks have been studied for decades, the problems of extrinsic calibration of and rendering with sparse RGB-D camera networks are less well understood. Extrinsic calibration is difficult because of inappropriate RGB-D camera models and lack of shared scene features. Due to the significant camera noise and sparse coverage of the scene, the quality of rendering 3D point clouds is much lower compared with synthetic models. Adding virtual objects whose rendering depend on the physical environment such as those with reflective surfaces further complicate the rendering pipeline.
In this dissertation, I propose novel solutions to tackle these challenges faced by RGB-D camera systems. First, I propose a novel extrinsic calibration algorithm that can accurately and rapidly calibrate the geometric relationships across an arbitrary number of RGB-D cameras on a network. Second, I propose a novel rendering pipeline that can capture and render, in real-time, dynamic scenes in the presence of arbitrary-shaped reflective virtual objects. Third, I have demonstrated a teleportation application that uses the proposed system to merge two geographically separated 3D captured scenes into the same reconstructed environment.
To provide a fast and robust calibration for a sparse RGB-D camera network, first, the correspondences between different camera views are established by using a spherical calibration object. We show that this approach outperforms other techniques based on planar calibration objects. Second, instead of modeling camera extrinsic using rigid transformation that is optimal only for pinhole cameras, different view transformation functions including rigid transformation, polynomial transformation, and manifold regression are systematically tested to determine the most robust mapping that generalizes well to unseen data. Third, the celebrated bundle adjustment procedure is reformulated to minimize the global 3D projection error so as to fine-tune the initial estimates. To achieve a realistic mirror rendering, a robust eye detector is used to identify the viewer\u27s 3D location and render the reflective scene accordingly. The limited field of view obtained from a single camera is overcome by our calibrated RGB-D camera network system that is scalable to capture an arbitrarily large environment. The rendering is accomplished by raytracing light rays from the viewpoint to the scene reflected by the virtual curved surface. To the best of our knowledge, the proposed system is the first to render reflective dynamic scenes from real 3D data in large environments. Our scalable client-server architecture is computationally efficient - the calibration of a camera network system, including data capture, can be done in minutes using only commodity PCs
From Image-based Motion Analysis to Free-Viewpoint Video
The problems of capturing real-world scenes with cameras and automatically analyzing the visible motion have traditionally been in the focus of computer vision research. The photo-realistic rendition of dynamic real-world scenes, on the other hand, is a problem that has been investigated in the field of computer graphics. In this thesis, we demonstrate that the joint solution to all three of these problems enables the creation of powerful new tools that are benecial for both research disciplines. Analysis and rendition of real-world scenes with human actors are amongst the most challenging problems. In this thesis we present new algorithmic recipes to attack them. The dissertation consists of three parts: In part I, we present novel solutions to two fundamental problems of human motion analysis. Firstly, we demonstrate a novel hybrid approach for markerfree human motion capture from multiple video streams. Thereafter, a new algorithm for automatic non-intrusive estimation of kinematic body models of arbitrary moving subjects from video is detailed. In part II of the thesis, we demonstrate that a marker-free motion capture approach makes possible the model-based reconstruction of free-viewpoint videos of human actors from only a handful of video streams. The estimated 3D videos enable the photo-realistic real-time rendition of a dynamic scene from arbitrary novel viewpoints. Texture information from video is not only applied to generate a realistic surface appearance, but also to improve the precision of the motion estimation scheme. The commitment to a generic body model also allows us to reconstruct a time-varying reflectance description of an actor`s body surface which allows us to realistically render the free-viewpoint videos under arbitrary lighting conditions. A novel method to capture high-speed large scale motion using regular still cameras and the principle of multi-exposure photography is described in part III. The fundamental principles underlying the methods in this thesis are not only applicable to humans but to a much larger class of subjects. It is demonstrated that, in conjunction, our proposed algorithmic recipes serve as building blocks for the next generation of immersive 3D visual media.Die Entwicklung neuer Algorithmen zur optischen Erfassung und Analyse der
Bewegung in dynamischen Szenen ist einer der Forschungsschwerpunkte in der
computergestĂŒtzten Bildverarbeitung. WĂ€hrend im maschinellen Bildverstehen
das Augenmerk auf der Extraktion von Informationen liegt, konzentriert sich die
Computergrafik auf das inverse Problem, die fotorealistische Darstellung bewegter Szenen. In jĂŒngster Vergangenheit haben sich die beiden Disziplinen kontinuierlich angenĂ€hert, da es eine Vielzahl an herausfordernden wissenschaftlichen Fragestellungen gibt, die eine gemeinsame Lösung des Bilderfassungs-, des Bildanalyse- und des Bildsyntheseproblems verlangen.
Zwei der schwierigsten Probleme, welche fĂŒr Forscher aus beiden Disziplinen
eine groĂe Relevanz besitzen, sind die Analyse und die Synthese von dynamischen
Szenen, in denen Menschen im Mittelpunkt stehen. Im Rahmen dieser
Dissertation werden Verfahren vorgestellt, welche die optische Erfassung dieser
Art von Szenen, die automatische Analyse der Bewegungen und die realistische
neue Darstellung im Computer erlauben. Es wid deutlich werden, dass eine Integration
von Algorithmen zur Lösung dieser drei Probleme in ein Gesamtsystem
die Erzeugung völlig neuartiger dreidimensionaler Darstellungen von Menschen
in Bewegung ermöglicht. Die Dissertation ist in drei Teile gegliedert:
Teil I beginnt mit der Beschreibung des Entwurfs und des Baus eines Studios
zur zeitsynchronen Erfassung mehrerer Videobildströme. Die im Studio aufgezeichneten
Multivideosequenzen dienen als Eingabedaten fĂŒr die im Rahmen
dieser Dissertation entwickelten videogestĂŒtzten Bewegunsanalyseverfahren und
die Algorithmen zur Erzeugung dreidimensionaler Videos.
Im AnschluĂ daran werden zwei neu entwickelte Verfahren vorgestellt,
die Antworten auf zwei fundamentale Fragen in der optischen Erfassung
menschlicher Bewegung geben, die Messung von Bewegungsparametern und
die Erzeugung von kinematischen Skelettmodellen. Das erste Verfahren ist ein
hybrider Algorithmus zur markierungslosen optischen Messung von Bewegunsgparametern
aus Multivideodaten. Der Verzicht auf optische Markierungen
wird dadurch ermöglicht, dass zur Bewegungsanalyse sowohl aus den Bilddaten
rekonstruierte Volumenmodelle als auch leicht zu erfassende Körpermerkmale
verwendet werden. Das zweite Verfahren dient der automatischen Rekonstruktion
eines kinematischen Skelettmodells anhand von Multivideodaten. Der Algorithmus
benötigt weder optischen Markierungen in der Szene noch a priori
Informationen ĂŒber die Körperstruktur, und ist in gleicher Form auf Menschen,
Tiere und Objekte anwendbar.
Das Thema das zweiten Teils dieser Arbeit ist ein modellbasiertes Verfahrenzur Rekonstruktion dreidimensionaler Videos von Menschen in Bewegung aus
nur wenigen zeitsynchronen Videoströmen. Der Betrachter kann die errechneten
3D Videos auf einem Computer in Echtzeit abspielen und dabei interaktiv
einen beliebigen virtuellen Blickpunkt auf die Geschehnisse einnehmen. Im
Zentrum unseres Ansatzes steht ein silhouettenbasierter Analyse-durch-Synthese
Algorithmus, der es ermöglicht, ohne optische Markierungen sowohl die Form
als auch die Bewegung eines Menschen zu erfassen. Durch die Berechnung
zeitverÀnderlicher OberÀchentexturen aus den Videodaten ist gewÀhrleistet,
dass eine Person aus jedem beliebigen Blickwinkel ein fotorealistisches Erscheinungsbild
besitzt. In einer ersten algorithmischen Erweiterung wird gezeigt, dass
die Texturinformation auch zur Verbesserung der Genauigkeit der Bewegunsgssch
Ă€tzung eingesetzt werden kann. Zudem ist es durch die Verwendung eines
generischen Körpermodells möglich, nicht nur dynamische Texturen sondern
sogar dynamische Reektionseigenschaften der KörperoberÀche zu messen.
Unser Reektionsmodell besteht aus einer parametrischen BRDF fĂŒr jeden Texel
und einer dynamischen Normalenkarte fĂŒr die gesamte KörperoberĂ€che. Auf
diese Weise können 3D Videos auch unter völlig neuen simulierten Beleuchtungsbedingungen
realistisch wiedergegeben werden.
Teil III dieser Arbeit beschreibt ein neuartiges Verfahren zur optischen
Messung sehr schneller Bewegungen. Bisher erforderten optische Aufnahmen
von Hochgeschwindigkeitsbewegungen sehr teure Spezialkameras mit hohen
Bildraten. Im Gegensatz dazu verwendet die hier beschriebene Methode einfache
Digitalfotokameras und das Prinzip der Multiblitzfotograe. Es wird gezeigt, dass
mit Hilfe dieses Verfahrens sowohl die sehr schnelle artikulierte Handbewegung
des Werfers als auch die Flugparameter des Balls wÀhrend eines Baseballpitches
gemessen werden können. Die hochgenau erfaĂten Parameter ermöglichen es, die
gemessene Bewegung in völlig neuer Weise im Computer zu visualisieren.
Obgleich die in dieser Dissertation vorgestellten Verfahren vornehmlich der
Analyse und Darstellung menschlicher Bewegungen dienen, sind die grundlegenden
Prinzipien auch auf viele anderen Szenen anwendbar. Jeder der beschriebenen
Algorithmen löst zwar in erster Linie ein bestimmtes Teilproblem, aber in Ihrer
Gesamtheit können die Verfahren als Bausteine verstanden werden, welche die
nÀchste Generation interaktiver dreidimensionaler Medien ermöglichen werden
- âŠ