Image Registration by Combining Thin-Plate Splines With a 3D Morphable Model

Registering images of a deforming surface is a well-studied problem. It is common practice to describe the image deformation fields with Thin-Plate Splines. This has the advantage to involve small numbers of parameters, but has the drawback that the 3D surface is not explicitly reconstructed. We propose an image deformation model combining Thin-Plate Splines with 3D entities – a 3D control mesh and a camera – overcoming the above mentioned drawback. An original solution to the non-rigid image registration problem using this model is proposed and demonstrated on simulated and real data

Profilométrie par déphasage en mouvement pour applications industrielles

National audienceLa profilométrie par déphasage est une méthode éprouvée pour reconstruire des surfaces de manière dense et précise. Par contre la scène doit rester immobile pendant l'acquisition d'une séquence de plusieurs images. De plus, il existe des méthodes de stéréo active qui s'affranchissent de la contrainte d'immobilité de la scène mais qui imposent d'autres limitations comme par exemple la continuité de la surface et de la texture ou une résolution de reconstruction considérablement réduite. Nous présentons une nouvelle technique de reconstruction aussi dense et précise que la profilométrie par déphasage et qui permet une translation de la scène pendant l'acquisition de la séquence d'images. Cela la rend intéressante pour des applications industrielles. Nous étudions sa performance à l'aide de simulations et donnons une démonstration sur un exemple réel

Multiple-View Threedimensional Paper Sheet Reconstruction

Smoothly bent paper-like surfaces are developable. They are however difficult to minimally parameterize since the number of meaningful parameters is intrinsically dependent on the actual deformation. Previous generative models are either incomplete, i.e. limited to subsets of developable surfaces, or depend on huge parameter sets. Our first contribution is a generative model governed by a quasi-minimal set of intuitive parameters, namely rules and angles. More precisely, a flat mesh is bent along guiding rules, while a number of extra rules controls the level of smoothness. The generated surface is guaranteed to be developable. The second contribution is an automatic multi-camera 3D reconstruction algorithm. First of all, the cameras and a sparse structure are reconstructed from the images using Structure-from-Motion method. A 2D parametrization of the reconstructed points is computed by dimensionality reduction. This parameterization is used to initialize the proposed model since it easily allows us to estimate the surface curvature. The initial model parameters are eventually tuned through model-based bundle-adjustment.Les surfaces de type papier, lorsqu’elles ne présentent pas de pli franc, sont mathématiquement décrites par des surfaces développables. Ces dernières sont difficiles à paramétrer de manière minimale car le nombre de degrés de liberté significatif dépend de la déformation. Les modèles existants sont incomplets ou dépendent de grands jeux de paramètres redondants. Notre première contribution est un modèle génératif contrôlé par un jeu quasi-minimal de paramètres intuitifs. Le principe est de plier une surface plane autour de règles de guidage. Un certain nombre de règles de lissage contrôle la régularité de la surface ainsi générée, qui par construction approche une surface développable. Notre deuxième contribution est un algorithme d’estimation du modèle proposé à partir de plusieurs images. Tout d’abord, les caméras et une structure 3D éparse de la surface de l’objet sont reconstruites. Une paramétrisation 2D de ces points est ensuite calculée par une méthode non-linéaire de réduction des dimensions. Cette paramétrisation est essentielle pour évaluer la courbure d’une surface passant par les points reconstruits, nécessaire à l’initialisation des paramètres du modèle. Enfin, un ajustement de faisceaux ajuste les paramètres du modèle afin de raffiner la surface en minimisant l’erreur de reprojection

Initial examples of the SOLUS multimodal potential

We present initial evidence of the SOLUS potential for the multimodal non-invasive diagnosis of breast cancer by describing the correlation between optical and standard radiological data and analyzing a case study

Uncertainty Ellipsoids Calculations for Complex 3D Reconstruction

Many methods exist for the automatic and optimal 3D reconstruction of camera motion and scene structure from image sequence ('Structure from Motion` or SfM). The solution to this problem is not unique: we obtain an other solution by changing the coordinate system where points and cameras are defined. On the other hand, existing methods provide some measure of confidence or uncertainty for the estimation when the ground truth is not available, using a gauge constraint which settle the reconstruction coordinate system. Here we justify and describe a method which estimate the uncertainty ellipsoids, when previous methods are not straightforward to use due to a huge number of parameters to fit. Many examples are given and discussed for big reconstructions

Paramétrisation et reconstruction des surfaces développables à partir d'images

This thesis deals with the 3D reconstruction of deformable scenes from images. Our methods are based on a mathematical modeling of the scene. The reconstruction is expressed as a parameter estimation problem from images. More precisely, we focus on deformable objects that can be modeled by a developable or an inextensible surface. The developable surfaces are those surfaces are differentiable and isometric to the plane. Our first contribution is a generative model dedicated to those surfaces. The main differences with previous models are its generality and the explicit expression of the object boundary. Our second contribution is an algorithm to reconstruct our model from several synchronized images. Our third contribution is a method to reconstruct inextensible surfaces. It uses the constraints between the points of the surface to recover the 3D surface from a single image and a reference deformation.Cette thèse traite de la reconstruction 3D de scènes déformables à partir d'images. Nos méthodes s'appuient sur un modèle mathématique de la scène. La reconstruction consiste à estimer les paramètres du modèle grâce aux images. Plus particulièrement, nous nous intéressons aux objets déformables pouvant être représentés par des surfaces développables ou inextensibles. Les surfaces développables sont les surfaces régulières isométriques au plan. Notre première contribution est un modèle génératif de ces surfaces. Il se distingue des modèles existants par sa généralité et par l'expression explicite de la frontière de l'objet. Notre deuxième contribution est un algorithme permettant de reconstruire notre modèle à partir de plusieurs images synchronisées. Notre troisième contribution est une méthode de reconstruction des surfaces inextensibles. Elle exploite les contraintes liant les points de la surface pour trouver la surface 3D à partir d'une seule image et d'une déformation de référence

A Single Directrix Quasi-Minimal Model for Paper-Like Surfaces

We are interested in reconstructing paper-like objects from images. These objects are modeled by developable surfaces and are mathematically wellunderstood. They are difcult to minimally parameterize since the number of meaningful parameters is intrinsically dependent on the actual surface. We propose a quasi-minimal model which self-adapts its set of parameters to the actual surface. More precisly, a varying number of rules is used jointly with smoothness constraints to bend a at mesh, generating the sought-after surface. We propose an algorithm for tting this model to multiple images by minimizing the point-based reprojection error. Experimental results are reported, showing that our model ts real images accurately

Uncertainty ellipsoids calculations for complex 3D reconstructions

Many methods exist for the automatic and optimal 3D reconstruction of camera motion and scene structure from image sequence (’Structure from Motion ‘ or SfM). The solution to this problem is not unique: we obtain an other solution by changing the coordinate system where points and cameras are defined. On the other hand, existing methods provide some measure of confidence or uncertainty for the estimation when the ground truth is not available, using a gauge constraint which settle the reconstruction coordinate system. Here we justify and describe a method which estimate the uncertainty ellipsoids, when previous methods are not straightforward to use due to a huge number of parameters to fit. Many examples are given and discussed for big reconstructions

Modélisation et reconstruction de papier à partir de plusieurs images

National audienc

A Quasi-Minimal Model for Paper-Like Surfaces

Smoothly bent paper-like surfaces are developable. They are however difficult to minimally parameterize since the number of meaningful parameters is intrinsically dependent on the actual deformation. Previous generative models are either incomplete, i.e. limited to subsets of developable surfaces, or depend on huge parameter sets. We propose a generative model governed by a quasiminimal set of intuitive parameters, namely rules and angles. More precisely, a flat mesh is bent along guiding rules, while a number of extra rules controls the level of smoothness. The generated surface is guaranteed to be developable. A fully automatic multi-camera threedimensional reconstruction algorithm, including model-based bundleadjustment, demonstrates our model on real images. 1