Reconstruction 3D automatique avec une caméra catadioptrique

Des méthodes pour l'estimation robuste et automatique du mouvement d'une caméra catadioptrique et de points de la scène observée sont proposées. Une premiere estimation de la géométrie complète est obtenue de façon robuste seulement à partir d'une connaissance tres approchée des deux angles qui définissent le champ de vue. Cette approche contraste avec les travaux précédents, qui nécessitent un paramétrage du miroir et calculent seulement (jusqu'à présent) la géométrie des paires successives. Ensuite, la connaissance supplémentaire de la forme du miroir est introduite dans l'estimation. Les deux étapes sont rendues possibles grace à l'introduction d'ajustements de faisceaux pour des caméras à centre unique et centre non-unique. Enfin, le système est présenté dans son ensemble et plusieurs longues séquences d'images sont reconstruites automatiquement pour montrer les qualités de l'approche

Automatic Structure and Motion using a Catadioptric Camera

Methods for the robust and automatic estimation of scene structure and camera motion from image sequences acquired by a catadioptric camera are described. A first estimate of the complete geometry is obtained robustly from a rough knowledge of the two angles which defines the field of view. This approach is in contrast to previous work, which required mirror parameterization and only calculated (until now) the geometry of image pairs. Second, the additional knowledge of the mirror shape is enforced in the estimation. Both steps have become tractable thanks to the introduction of bundle adjustments for central and non-central cameras. Finally, the system is presented as a whole, and many long image sequences are automatically reconstructed to show the qualities of the approach

Fusion GPS-vision à l'aide d'ajustements de faisceaux contraints

Session "Articles"National audienceIl y a deux problèmes lorsque l'on applique un ajustement de faisceaux (AF) sur des séquences d'images longues : le temps de calcul et la dérive (i.e. l'accumulation d'erreurs). Une méthode récente réduit le temps de calcul grâce à un AF local appliqué incrémentalement. De plus, la fusion avec des données GPS devrait permettre de réduire la dérive. Une méthode de fusion existante est un AF minimisant une somme pondérée d'erreurs images et GPS. Cet article introduit deux AFs contraints pour la fusion, qui imposent une limite supérieure sur l'erreur de reprojection. Ces AFs sont des alternatives à l'AF de fusion existant, ce dernier ne garantissant pas une faible erreur de reprojection et nécessitant la donnée d'une pondération. Ensuite, les trois AFs de fusion sont intégrés dans un système de reconstruction visuelle incrémental basé sur l'AF local. Enfin, des résultats de fusion avec un GPS bas coût sont comparés sur une longue séquence d'images monoculaires

Modèles 3d à partir d'un nuage épars de points et une caméra catadioptrique

Session "Articles"National audienceLa majorité des méthodes automatiques de modélisation 3d à partir d'images reconstruisent un ensemble dense de points. Nous proposons ici de reconstruire une surface directement à partir de l'ensemble épars de points reconstruits en estimant la géométrie. Deux méthodes voisines sont présentées, l'une est progressive (la surface est progressivement complétée au fur et à mesure que les images sont lues) et l'autre pas. Il s'agit aussi d'obtenir une variété topologique de dimension 2, pas une simple soupe de triangles mals connectés les uns aux autres. Malgrés le faible nombre de points reconstruits, l'expérience montre que l'on peut obtenir des résultats intéressants pour des environnements extérieurs avec une caméra catadioptrique

Propagations d'erreur pour l'ajustement de faisceaux local

National audiencel'ajustement de faisceaux local (AFL) a été récemment introduit pour estimer la géométrie à partir d'une séquence d'images prise par une caméra calibrée. Son avantage par rapport à la méthode standard d'ajustement de faisceaux (global) est une réduction importante de la complexité, ce qui permet des performances temps réel pour une précision similaire. Cependant, aucune mesure de confiance sur les résultats de l'aFL comme une incertitude ou une covariance n'a été proposée jusqu'à présent. Cet article présente des modèles statistiques et des estimateurs pour le calcul d'incertitude en recherchant deux propriétés : (1) la propagation de l'incertitude tout au long de la séquence et (2) le calcul temps réel. Nous expliquons aussi pourquoi ce problème est plus compliqué qu'il n'y parait, et nous donnons des résultats sur des données réelles

Reconstruction quasi-dense et modèles 3D à partir d'une séquence d'images

National audienceCe papier propose une reconstruction quasi-dense à partir d'une séquence d'images non calibrées ainsi qu'un système associé de reconstruction de modèles 3D. La principale innovation est que toute la géométrie est calculée à partir de mises en correspondances quasi-denses sous-échantillonnées au lieu des points d'intérets épars usuels. Cela produit non seulement une reconstruction plus précise (au sens des incertitudes) et plus robuste grace à des mises en correspondances bien redondantes et réparties dans les images, mais aussi une reconstruction plus adéquate (car plus dense) pour l'application de la reconstruction de surface. Des expériences sur des séquences réelles montrent de meilleures performances des reconstructions quasi-denses par rapport aux reconstructions éparses à la fois en robustesse et incertitudes. De plus, les surfaces des nombreux objets ont été obtenues à partir des points quasi-denses reconstruits

Estimation incrémentale de surface à partir d'un nuage de point épars reconstruit à partir d'images omnidirectionnelles

National audienceCet article introduit une méthode incrémentale de reconstruction de surface (une 2-variété). Elle prend en entrée un nuage de points 3D épars reconstruit à partir d'une séquence d'images, par opposition aux algorithmes habituels denses. De plus, notre méthode est incrémentale : la surface est mise à jour à chaque nouvelle pose de caméra donnée en entrée, et la mise à jour a lieu dans un voisinage restreint de la nouvelle pose. Comparée aux autres méthodes de reconstruction de surface, notre méthode a l'avantage de cumuler toutes ces propriétés (nuage épars en entrée, 2-variété en sortie, calcul incrémental et local). La qualité et le temps d'exécution sont évalués sur une séquence d'images omnidirectionnelles (longue de 2.5 km) prise en environnement urbain, et la méthode est quantitativement évaluée sur une séquence urbaine synthétique

Joint View Triangulation for Two Views

International audienceWe propose the Joint View Triangulation, which coherently models all visible and partially occluded patches within n views of a scene (rigid or not). It is built from an underlying dense matching and can be used for any application requiring discrete and ef cient representation of deformation and displacement between views. First robustness has to deal the unavoidable matching errors. Secondly matched and half occluded areas should be separated in each view to allow different processes on them. Finally, the elements of the structure which represent the matched area of each view pair should be in correspondence. This ensures a global coherence of the data and avoid redundant processes. In fact, we merely expect to an approximate but coherent structure, because of the nite precision of the images and bad matches. This paper deals only with the two view case but also applies the joint view triangulation to morphing between real image pairs with large camera displacement

Automatic 3d modeling of environments (a sparse approach from images taken by a catadioptric camera)

La modélisation 3d automatique d'un environnement à partir d'images est un sujet toujours d'actualité en vision par ordinateur. Ce problème se résout en général en trois temps : déplacer une caméra dans la scène pour prendre la séquence d'images, reconstruire la géométrie, et utiliser une méthode de stéréo dense pour obtenir une surface de la scène. La seconde étape met en correspondances des points d'intérêts dans les images puis estime simultanément les poses de la caméra et un nuage épars de points 3d de la scène correspondant aux points d'intérêts. La troisième étape utilise l'information sur l'ensemble des pixels pour reconstruire une surface de la scène, par exemple en estimant un nuage de points dense.Ici nous proposons de traiter le problème en calculant directement une surface à partir du nuage épars de points et de son information de visibilité fournis par l'estimation de la géométrie. Les avantages sont des faibles complexités en temps et en espace, ce qui est utile par exemple pour obtenir des modèles compacts de grands environnements comme une ville. Pour cela, nous présentons une méthode de reconstruction de surface du type sculpture dans une triangulation de Delaunay 3d des points reconstruits. L'information de visibilité est utilisée pour classer les tétraèdres en espace vide ou matière. Puis une surface est extraite de sorte à séparer au mieux ces tétraèdres à l'aide d'une méthode gloutonne et d'une minorité de points de Steiner. On impose sur la surface la contrainte de 2-variété pour permettre des traitements ultérieurs classiques tels que lissage, raffinement par optimisation de photo-consistance ... Cette méthode a ensuite été étendue au cas incrémental : à chaque nouvelle image clef sélectionnée dans une vidéo, de nouveaux points 3d et une nouvelle pose sont estimés, puis la surface est mise à jour. La complexité en temps est étudiée dans les deux cas (incrémental ou non). Dans les expériences, nous utilisons une caméra catadioptrique bas coût et obtenons des modèles 3d texturés pour des environnements complets incluant bâtiments, sol, végétation ... Un inconvénient de nos méthodes est que la reconstruction des éléments fins de la scène n'est pas correcte, par exemple les branches des arbres et les pylônes électriques.The automatic 3d modeling of an environment using images is still an active topic in Computer Vision. Standard methods have three steps : moving a camera in the environment to take an image sequence, reconstructing the geometry of the environment, and applying a dense stereo method to obtain a surface model of the environment. In the second step, interest points are detected and matched in images, then camera poses and a sparse cloud of 3d points corresponding to the interest points are simultaneously estimated. In the third step, all pixels of images are used to reconstruct a surface of the environment, e.g. by estimating a dense cloud of 3d points. Here we propose to generate a surface directly from the sparse point cloud and its visibility information provided by the geometry reconstruction step. The advantages are low time and space complexities ; this is useful e.g. for obtaining compact models of large and complete environments like a city. To do so, a surface reconstruction method by sculpting 3d Delaunay triangulation of the reconstructed points is proposed.The visibility information is used to classify the tetrahedra in free-space and matter. Then a surface is extracted thanks to a greedy method and a minority of Steiner points. The 2-manifold constraint is enforced on the surface to allow standard surface post-processing such as denoising, refinement by photo-consistency optimization ... This method is also extended to the incremental case : each time a new key-frame is selected in the input video, new 3d points and camera pose are estimated, then the reconstructed surface is updated.We study the time complexity in both cases (incremental or not). In experiments, a low-cost catadioptric camera is used to generate textured 3d models for complete environments including buildings, ground, vegetation ... A drawback of our methods is that thin scene components cannot be correctly reconstructed, e.g. tree branches and electric posts.CLERMONT FD-Bib.électronique (631139902) / SudocSudocFranceF

3D Reconstruction of Complex Structures with Bundle Adjustment: an Incremental Approach

This paper introduces an incremental method for "Structure From Motion" of complex scenes from a video sequence. More precisely, we estimate the 3D positions of the viewed points in images and the camera positions and orientations through the sequence. The method can be seen as a fast but accurate alternative to classical reconstruction methods that use bundle adjustment, and that can become slow and computation time expensive for very long scenes. Our results are compared to the reconstruction obtained by the classical hierarchical bundle adjustment method. They have also been successfully used as a reference sequence for the vision based localization of an autonomous mobile robot