Squelettes pour la reconstruction 3D : de l'estimation de la projection du squelette dans une image 2D à la triangulation du squelette en 3D

La reconstruction 3D consiste à acquérir des images d’un objet, et à s’en servir pour en estimer un modèle 3D. Dans ce manuscrit, nous développons une méthode de reconstruction basée sur la modélisation par squelette. Cette méthode a l’avantage de renvoyer un modèle 3D qui est un objet virtuel complet (i.e. fermé) et aisément éditable, grâce à la structure du squelette. Enfin, l’objet acquis n’a pas besoin d’être texturé, et entre 3 et 5 images sont suffisantes pour la reconstruction. Dans une première partie, nous étudions les aspects 2D de l’étude. En effet, l’estimation d’un squelette 3D nécessite d’étudier la formation de la silhouette de l’objet à partir de son squelette, et donc les propriétés de sa projection perspective, appelée squelette perspectif. Cette étude est suivie par notre première contribution : un algorithme d’estimation de la projection perspective d’un squelette 3D curviligne, constitué d’un ensemble de courbes. Cet algorithme a toutefois tendance, comme beaucoup d’algorithmes estimant un squelette, à générer des branches peu informatives, notamment sur une image rastérisée. Notre seconde contribution est donc un algorithme d’estimation de squelette 2D, capable de prendre en compte la discrétisation du contour de la forme 2D, et d’éviter ces branches peu informatives. Cet algorithme, d’abord conçu pour estimer un squelette classique, est ensuite généralisé à l’estimation d’un squelette perspectif. Dans une seconde partie, nous estimons le squelette 3D d’un objet à partir de ses projections. Tout d’abord, nous supposons que le squelette de l’objet 3D à reconstruire est curviligne. Ainsi, chaque squelette perspectif estimé correspond à la projection du squelette 3D de l’objet, sous différents points de vue. La topologie du squelette étant affectée par la projection, nous proposons notre troisième contribution, l’estimation de la topologie du squelette 3D à partir de l’ensemble de ses projections. Une fois celle-ci estimée, la projection d’une branche 3D du squelette est identifiée sur chaque image, i.e. sur chacun des squelettes perspectifs. Avec cette identification, nous pouvons trianguler les branches du squelette 3D, ce qui constitue notre quatrième contribution : nous sommes donc en mesure d’estimer un squelette curviligne associé à un ensemble d’images d’un objet. Toutefois, les squelettes 3D ne sont pas tous constitués d’un ensemble de courbes : certains d’entre eux possèdent aussi des parties surfaciques. Notre dernière contribution, pour reconstruire des squelettes 3D surfaciques, est une nouvelle approche pour l’estimation d’un squelette 3D à partir d’images : son principe est de faire grandir le squelette 3D, sous les contraintes données par les images de l’objet

Quels prétraitements pour la stéréophotométrie non calibrée ?

International audienceLa stéréophotométrie est une technique de scannage 3D qui consiste à prendre plusieurs photographies d’un objet sous le même angle, mais sous différents éclairages. Lorsque les éclairages sont inconnus, le problème se complique et sa résolution nécessite de faire plusieurs hypothèses, dont deux sont communes à toutes les méthodes existantes : l’hypothèse lambertienne et la contrainte d’intégrabilité. Nous proposons d’effectuer des prétraitements sur les images, afin de limiter l’influence d’éventuels écarts à ces hypothèses. Nous préconisons pour ce faire de retirer les pixels suspects. Nous validons ces améliorations sur un jeu d’images réelles de visages accessibles sur Internet

Towards Skeleton based Reconstruction : From Projective Skeletonization to Canal Surface Estimation

International audienceWe present a novel approach to reconstruct a 3D object from images corresponding to two different viewpoints: we estimate the skeleton of the object instead of its surface. The originality of the method is to be able to reconstruct a tubular object with a limited number of input images. Unlike classical reconstruction methods, like multi-view stereo or more recently structure-from-motion, this approach does not rely on interest points but estimates the topology of the object and derives its surface. Our contribution are twofold. First, given two perspective images of the 3D shape, the projection of the skeleton is computed in 2D. Secondly the 3D skeleton is reconstructed from the two projections using triangulation and matching. A mesh is finally derived for each skeleton branch

Caractérisation de la projection du squelette d'une surface canal 3D : Application à la reconstruction 3D à partir de deux images

International audienceNous présentons dans cet article une nouvelle approche pour reconstruire un objet 3D à partir de deux images de celui-ci. L'originalité de notre approche vient du fait que nous n'estimons pas directement la surface de l'objet 3D mais son squelette. Ce travail s'appuie sur les deux contributions suivantes. Premièrement, nous décrivons la relation existant entre un squelette 3D et sa projection, orthographique ou perspective, sur un plan image. Ensuite, nous montrons comment retrouver le squelette 3D à partir de deux de ses projections. Contrairement aux méthodes de reconstruction 3D classiques qui génèrent un nuage de points sans maillage, cette approche a pour avantage de reconstruire aussi la topologie de l'objet, c'est-à-dire d'en retrouver un maillage sans traitement annexe. Nous traitons ici des objets représentables par un squelette 3D curviligne et nous supposons aussi que les points de vue sont calibrés

Fusion de données RVB-D par stéréophotométrie colorée

Nous montrons comment utiliser la stéréophotométrie colorée pour améliorer le relief fourni par un capteur RVB-D. Le capteur est équipé de trois LEDs colorées, de telle sorte que l’image RVB permet de retrouver les détails les plus fins du relief, grâce à la stéréophotométrie. Cette estimation fine du relief est fusionnée avec la carte de profondeur fournie par le capteur, grâce à une nouvelle approche variationnelle de la stéréophotométrie adaptée aux sources ponctuelles anisotropes de type LED. Cette approche, qui est à la fois différentielle et variationnelle, permet d’estimer la profondeur directement et de façon robuste, sans estimation préalable des normales et de l’albédo. Elle offre donc un cadre naturel pour la prise en compte d’un a priori sur la profondeur, tel que le relief grossier fourni par le capteur RVB-D

Skeletons for 3D reconstruction : from the estimation of the skeleton projection in a 2D image to the triangulation of the 3D skeleton

La reconstruction 3D consiste à acquérir des images d’un objet, et à s’en servir pour en estimer un modèle 3D. Dans ce manuscrit, nous développons une méthode de reconstruction basée sur la modélisation par squelette. Cette méthode a l’avantage de renvoyer un modèle 3D qui est un objet virtuel complet (i.e. fermé) et aisément éditable, grâce à la structure du squelette. Enfin, l’objet acquis n’a pas besoin d’être texturé, et entre 3 et 5 images sont suffisantes pour la reconstruction. Dans une première partie, nous étudions les aspects 2D de l’étude. En effet, l’estimation d’un squelette 3D nécessite d’étudier la formation de la silhouette de l’objet à partir de son squelette, et donc les propriétés de sa projection perspective, appelée squelette perspectif. Cette étude est suivie par notre première contribution : un algorithme d’estimation de la projection perspective d’un squelette 3D curviligne, constitué d’un ensemble de courbes. Cet algorithme a toutefois tendance, comme beaucoup d’algorithmes estimant un squelette, à générer des branches peu informatives, notamment sur une image rastérisée. Notre seconde contribution est donc un algorithme d’estimation de squelette 2D, capable de prendre en compte la discrétisation du contour de la forme 2D, et d’éviter ces branches peu informatives. Cet algorithme, d’abord conçu pour estimer un squelette classique, est ensuite généralisé à l’estimation d’un squelette perspectif. Dans une seconde partie, nous estimons le squelette 3D d’un objet à partir de ses projections. Tout d’abord, nous supposons que le squelette de l’objet 3D à reconstruire est curviligne. Ainsi, chaque squelette perspectif estimé correspond à la projection du squelette 3D de l’objet, sous différents points de vue. La topologie du squelette étant affectée par la projection, nous proposons notre troisième contribution, l’estimation de la topologie du squelette 3D à partir de l’ensemble de ses projections. Une fois celle-ci estimée, la projection d’une branche 3D du squelette est identifiée sur chaque image, i.e. sur chacun des squelettes perspectifs. Avec cette identification, nous pouvons trianguler les branches du squelette 3D, ce qui constitue notre quatrième contribution : nous sommes donc en mesure d’estimer un squelette curviligne associé à un ensemble d’images d’un objet. Toutefois, les squelettes 3D ne sont pas tous constitués d’un ensemble de courbes : certains d’entre eux possèdent aussi des parties surfaciques. Notre dernière contribution, pour reconstruire des squelettes 3D surfaciques, est une nouvelle approche pour l’estimation d’un squelette 3D à partir d’images : son principe est de faire grandir le squelette 3D, sous les contraintes données par les images de l’objet.The principle of 3D reconstruction is to acquire one or more images of an object, and to use it to estimate a 3D model of the object. In this manuscript, we develop a reconstruction method based on a particular model, the skeleton. The main advantages of our reconstruction approach are: we do reconstruct a whole, complete objet, and thanks to the skeleton structure, easily editable. Moreover, the method we propose allows us to free ourselves from constraints related to more classical reconstruction methods: the reconstructed object does not need to be textured, and between 3 and 5 images are sufficient to perform the reconstruction. In the first part, we focus on the 2D aspects of the work. Indeed, before estimating a 3D skeleton, we study the perspective silhouette of the object, and thus evaluate the properties of the perspective projection of the skeleton. Thus, our first contribution is an algorithm estimating the perspective projection of a curvilinear 3D skeleton, consisting of a set of curves. This algorithm, however, like most skeletonisation algorithms, tends to generate non-informative branches, in particular on a rasterized image. Our second contribution is thus an original 2D skeleton estimation algorithm, able to take into account the noise on the contour of the 2D shape, and to avoid uninformative skeleton branches. This algorithm, first designed to estimate a classical skeleton, is then generalized for computing a perspective skeleton. In a second part, we estimate the 3D skeleton of an object from its projections. First, we assume that the skeleton of the considered object is curvilinear. Thus, each estimated perspective skeleton corresponds to the projection of the 3D skeleton, from several viewpoints. The topology of the skeleton is however affected by the perspective projection, so we propose our third contribution: the estimation of the topology of the 3D skeleton based on its projections. Once this topology is estimated, for any 3D branch of the skeleton we indentify its projections on each image, that is a branch on each of the perspective skeletons. From this identification, we triangulate the branches of the 3D skeleton, which is our fourth contribution. Thus, we are able to estimate a curvilinear skeleton associated with a set of images of a 3D object. However, 3D skeletons are not necessarily made up of a set of curves, and some of them also have surface parts. Our last contribution is a new approach for the estimation of a general 3D skeleton (with surface parts) from images, which principle is to increase the 3D skeleton under the constraints given by the different images of the object

Uncalibrated photometric stereo in presence of outliers to the Lambert’s law

Nous présentons une méthode robuste de résolution du problème de la stéréophotométrie non calibrée dans le cadre lambertien, en présence d’écarts à ce modèle tels que les ombres ou les taches spéculaires. Nous montrons d’abord comment détecter de tels écarts afin d’estimer de façon plus précise les paramètres caractéristiques des sources lumineuses, qui sont supposées de même intensité afin de lever l’ambiguïté de bas-relief généralisée inhérente au problème. Nous montrons ensuite comment estimer la normale et l’albédo en chaque point en prenant en compte les écarts au modèle, ce qui est facilité par l’estimation précise des éclairages. Nous validons notre méthode qualitativement et quantativement par la reconstruction 3D d’objets synthétiques et réels, et nous comparons son efficacité et sa précision aux meilleures méthodes actuelles.In this paper we present a robust method for solving the uncalibrated photometric stereo problem in the Lambertian framework, in presence of outliers such as shadows or specular highlights. We show how to detect such outliers so as to accurately estimate the light sources, which are assumed to have uniform magnitude in order to solve for the generalized bas-relief ambiguity. We then propose a way to recover both the normal and the albedo in every pixel in presence of outliers, which is made possible thanks to the accurate estimation of the light sources. Our method is validated both qualitatively and quantitatively on synthetic and realworld datasets, and we compare its efficiency and accuracy to the most state-of-the-art existing techniques

Texturing and inpainting a complete tubular 3D object reconstructed from partial views

International audienceWe present a novel approach to texture 3D tubular objects reconstructed from partial views. Starting from few images of the object, we rely on a 3D reconstruction approach that provides a representation of the object based on a composition of several parametric surfaces, more specifically canal surfaces. Such representation enables a complete reconstruction of the object even for the parts that are hidden or not visible by the input images. The proposed texturing method maps the input images on the parametric surface of the object and complete parts of the surface not visible in any image through an inpainting process. In particular, we first propose a method to select, for each 3D canal surface, the most suitable images and fuse them together for texturing the surface. This process is regulated by a confidence criterion that selects images based on their position and orientation w.r.t. the surface. We also introduce a global method to fuse the images taking into account their exposure difference. Finally, we propose two methods to complete or inpaint the texture in the hidden parts of the surface according to the type of the texture

A clean, robust 3D medial axis

Computing the medial axis of a 3D surface mesh is challenging. Points on the discrete medial axis can be defined as interior Voronoï vertices of the surface mesh, but the resulting medial structure rarely has clean connectivity and consistent geometry. In this paper, we provide a medial axis computation based on the Voronoï diagram able to generate manifold medial sheets with coherent topology and geometry, generating consistent geometric structures similar to those in the continuous setting. Because of the correspondences between the surface mesh and resulting medial mesh, we also provide an efficient way to separate the shape into coherent regions associated to medial structures. This correspondence allows for a medial-axis-based filtration of surface structures to generate a Hausdorff ε-approximation of the surface points based on a simplified medial axis, thereby providing a robust medial representation with guaranteed surface approximation