Temporally coherent mesh sequence segmentations

In this report, we consider the problem of fully automatic segmentation of mesh sequences, with or without temporal coherence. More precisely, our goal is to identify model parts that consistently move rigidly over time. We propose a novel framework that incrementally adapts segments along a sequence based on the coherence of motion information within each segment. In contrast to existing approaches, this framework handles meshes independently reconstructed at each time instant, provided that motion cues are available. It allows therefore for meshes with varying connectivity as well as varying topology. Experiments on various data sets in addition to a quantitative evaluation demonstrate the effectiveness and robustness of the approach.Nous considérons dans ce rapport le problème de la segmentation entièrement automatique de séquences de maillages, avec ou sans cohérence temporelle. Plus précisément, notre but est d'identifier les parties d'un modèle qui se déplacent rigidement de manière cohérente au cours du temps. Nous proposons un canevas nouveau pour adapter ces régions de manière incrémentale le long de la séquence, en se basant sur la cohérence de l'information de mouvement dans chaque région. Contrairement aux approches existantes, ce canevas permet de traiter les séquences de maillages reconstruits indépendamment à chaque pas de temps, pourvu que des indicateurs de mouvement soient disponibles. Il permet donc de segmenter des maillages avec changement de connectivité et/ou changement de topologie. Des expériences sur plusieurs jeux de données ainsi qu'une évaluation quantitative démontrent l'efficacité ainsi que la robustesse de cette approche

Acquisition de surfaces déformables à partir d'un système multicaméra calibré

In this thesis we address the problem of digitizing the motion of three-dimensional shapes that move and deform in time. These shapes are observed from several points of view with cameras that record the scene's evolution as videos. Using available reconstruction methods, these videos can be converted into a sequence of three-dimensional snapshots that capture the appearance and shape of the objects in the scene. The focus of this thesis is to complement appearance and shape with information on the motion and deformation of objects. In other words, we want to measure the trajectory of every point on the observed surfaces. This is a challenging problem because the captured videos are only sequences of images, and the reconstructed shapes are built independently from each other. While the human brain excels at recreating the illusion of motion from these snapshots, using them to automatically measure motion is still largely an open problem. The majority of prior works on the subject has focused on tracking the performance of one human actor, and used the strong prior knowledge on the articulated nature of human motion to handle the ambiguity and noise inherent to visual data. In contrast, the presented developments consist of generic methods that allow to digitize scenes involving several humans and deformable objects of arbitrary nature. To perform surface tracking as generically as possible, we formulate the problem as the geometric registration of surfaces and deform a reference mesh to fit a sequence of independently reconstructed meshes. We introduce a set of algorithms and numerical tools that integrate into a pipeline whose output is an animated mesh. Our first contribution consists of a generic mesh deformation model and numerical optimization framework that divides the tracked surface into a collection of patches, organizes these patches in a deformation graph and emulates elastic behavior with respect to the reference pose. As a second contribution, we present a probabilistic formulation of deformable surface registration that embeds the inference in an Expectation-Maximization framework that explicitly accounts for the noise and in the acquisition. As a third contribution, we look at how prior knowledge can be used when tracking articulated objects, and compare different deformation model with skeletal-based tracking. The studies reported by this thesis are supported by extensive experiments on various 4D datasets. They show that in spite of weaker assumption on the nature of the tracked objects, the presented ideas allow to process complex scenes involving several arbitrary objects, while robustly handling missing data and relatively large reconstruction artifacts.Cette thèse traite du suivi temporel de surfaces déformables. Ces surfaces sont observées depuis plusieurs points de vue par des caméras qui capturent l'évolution de la scène et l'enregistrent sous la forme de vidéos. Du fait des progrès récents en reconstruction multi-vue, cet ensemble de vidéos peut être converti en une série de clichés tridimensionnels qui capturent l'apparence et la forme des objets dans la scène. Le problème au coeur des travaux rapportés par cette thèse est de complémenter les informations d'apparence et de forme avec des informations sur les mouvements et les déformations des objets. En d'autres mots, il s'agit de mesurer la trajectoire de chacun des points sur les surfaces observées. Ceci est un problème difficile car les vidéos capturées ne sont que des séquences d'images, et car les formes reconstruites à chaque instant le sont indépendemment les unes des autres. Si le cerveau humain excelle à recréer l'illusion de mouvement à partir de ces clichés, leur utilisation pour la mesure automatisée du mouvement reste une question largement ouverte. La majorité des précédents travaux sur le sujet se sont focalisés sur la capture du mouvement humain et ont bénéficié de la nature articulée de ce mouvement qui pouvait être utilisé comme a-priori dans les calculs. La spécificité des développements présentés ici réside dans la généricité des méthodes qui permettent de capturer des scènes dynamiques plus complexes contenant plusieurs acteurs et différents objets déformables de nature inconnue a priori. Pour suivre les surfaces de la façon la plus générique possible, nous formulons le problème comme celui de l'alignement géométrique de surfaces, et déformons un maillage de référence pour l'aligner avec les maillages indépendemment reconstruits de la séquence. Nous présentons un ensemble d'algorithmes et d'outils numériques intégrés dans une chaîne de traitements dont le résultat est un maillage animé. Notre première contribution est une méthode de déformation de maillage qui divise la surface en une collection de morceaux élémentaires de surfaces que nous nommons patches. Ces patches sont organisés dans un graphe de déformation, et une force est appliquée sur cette structure pour émuler une déformation élastique par rapport à la pose de référence. Comme seconde contribution, nous présentons une formulation probabiliste de l'alignement de surfaces déformables qui modélise explicitement le bruit dans le processus d'acquisition. Pour finir, nous étudions dans quelle mesure les a-prioris sur la nature articulée du mouvement peuvent aider, et comparons différents modèles de déformation à une méthode de suivi de squelette. Les développements rapportés par cette thèse sont validés par de nombreuses expériences sur une variété de séquences. Ces résultats montrent qu'en dépit d'a-prioris moins forts sur les surfaces suivies, les idées présentées permettent de traiter des scènes complexes contenant de multiples objets tout en se comportant de façon robuste vis-a-vis de données fragmentaires et d'erreurs de reconstruction

Suivi de Surfaces par Déformations Itératives

National audienceDans cet article, nous nous intéressons au suivi dans le temps d'une surface observée par plusieurs caméras. Nous proposons une nouvelle méthode qui ne repose sur aucune hypothèse a priori quant à la nature de la surface ou de ces déformations. La méthode considère des données purement géométriques : les positions et les orientations sur la surface, et ne nécessite donc pas d'informations photométriques qui s'avèrent parfois ambiguës. Elle s'inspire de l'algorithme ICP qu'elle adapte au cas des déformations non rigides. Le principe est de déformer la surface de manière itérative, d'un instant au suivant, tout en préservant la rigidité locale. Dans cet objectif, la surface est divisée en régions dont l'agencement sur la surface est contraint par la pose à l'instant précédent ainsi que par une pose de référence. Les résultats expérimentaux sur plusieurs séquences réelles standard du domaine démontrent l'efficacité de cette approche à suivre des surfaces complexes

Suivi de Surfaces par Déformations Itératives

National audienceDans cet article, nous nous intéressons au suivi dans le temps d'une surface observée par plusieurs caméras. Nous proposons une nouvelle méthode qui ne repose sur aucune hypothèse a priori quant à la nature de la surface ou de ces déformations. La méthode considère des données purement géométriques : les positions et les orientations sur la surface, et ne nécessite donc pas d'informations photométriques qui s'avèrent parfois ambiguës. Elle s'inspire de l'algorithme ICP qu'elle adapte au cas des déformations non rigides. Le principe est de déformer la surface de manière itérative, d'un instant au suivant, tout en préservant la rigidité locale. Dans cet objectif, la surface est divisée en régions dont l'agencement sur la surface est contraint par la pose à l'instant précédent ainsi que par une pose de référence. Les résultats expérimentaux sur plusieurs séquences réelles standard du domaine démontrent l'efficacité de cette approche à suivre des surfaces complexes

Temporally coherent mesh sequence segmentations

In this report, we consider the problem of fully automatic segmentation of mesh sequences, with or without temporal coherence. More precisely, our goal is to identify model parts that consistently move rigidly over time. We propose a novel framework that incrementally adapts segments along a sequence based on the coherence of motion information within each segment. In contrast to existing approaches, this framework handles meshes independently reconstructed at each time instant, provided that motion cues are available. It allows therefore for meshes with varying connectivity as well as varying topology. Experiments on various data sets in addition to a quantitative evaluation demonstrate the effectiveness and robustness of the approach.Nous considérons dans ce rapport le problème de la segmentation entièrement automatique de séquences de maillages, avec ou sans cohérence temporelle. Plus précisément, notre but est d'identifier les parties d'un modèle qui se déplacent rigidement de manière cohérente au cours du temps. Nous proposons un canevas nouveau pour adapter ces régions de manière incrémentale le long de la séquence, en se basant sur la cohérence de l'information de mouvement dans chaque région. Contrairement aux approches existantes, ce canevas permet de traiter les séquences de maillages reconstruits indépendamment à chaque pas de temps, pourvu que des indicateurs de mouvement soient disponibles. Il permet donc de segmenter des maillages avec changement de connectivité et/ou changement de topologie. Des expériences sur plusieurs jeux de données ainsi qu'une évaluation quantitative démontrent l'efficacité ainsi que la robustesse de cette approche

Segmentation of temporal mesh sequences into rigidly moving components

International audienceIn this paper is considered the segmentation of meshes into rigid components given temporal sequences of deforming meshes. We propose a fully automatic approach that identifies model parts that consistently move rigidly over time. This approach can handle meshes independently reconstructed at each time instant. It allows therefore for sequences of meshes with varying connectivities as well as varying topology. It incrementally adapts, merges and splits segments along a sequence based on the coherence of motion information within each segment. In order to provide tools for the evaluation of the approach, we also introduce new criteria to quantify a mesh segmentation. Results on both synthetic and real data as well as comparisons are provided in the paper

Gradient Response Maps for Real-Time Detection of Texture-Less Objects

International audienceWe present a method for real-time 3D object instance detection that does not require a time-consuming training stage, and can handle untextured objects. At its core, our approach is a novel image representation for template matching designed to be robust to small image transformations. This robustness is based on spread image gradient orientations and allows us to test only a small subset of all possible pixel locations when parsing the image, and to represent a 3D object with a limited set of templates. In addition, we demonstrate that if a dense depth sensor is available we can extend our approach for an even better performance also taking 3D surface normal orientations into account. We show how to take advantage of the architecture of modern computers to build an efficient but very discriminant representation of the input images that can be used to consider thousands of templates in real time. We demonstrate in many experiments on real data that our method is much faster and more robust with respect to background clutter than current state-of-the-art methods