3D Reconstruction of Complex Structures with Bundle Adjustment: an Incremental Approach

This paper introduces an incremental method for "Structure From Motion" of complex scenes from a video sequence. More precisely, we estimate the 3D positions of the viewed points in images and the camera positions and orientations through the sequence. The method can be seen as a fast but accurate alternative to classical reconstruction methods that use bundle adjustment, and that can become slow and computation time expensive for very long scenes. Our results are compared to the reconstruction obtained by the classical hierarchical bundle adjustment method. They have also been successfully used as a reference sequence for the vision based localization of an autonomous mobile robot

Vers la géolocalisation par vision d'une caméra mobile : exploitation d'un modèle 3D de ville et application au recalage visuel temps réel

National audienceNous proposons un algorithme qui corrige a posteriori les dérives des méthodes de SLAM. Celui-ci exploite la connaissance a priori d'un modèle 3D simple de l'environnement. Notre méthode se déroule en deux étapes successives. Tout d'abord, un alignement grossier de la reconstruction SLAM avec le modèle 3D est calculé. Pour cela, nous proposons un algorithme d'ICP non-rigide exploitant un modèle de transformations articulées original et adapté au problème. l'alignement obtenu est ensuite raffiné à l'aide d'un ajustement de faisceaux. Pour cela, nous proposons une nouvelle fonction de coût permettant d'intégrer à la fois la cohérence entre les observations 2D et les points 3D reconstruits et la cohérence géométrique avec le modèle 3D de l'environnement. La méthode complète est validée sur des séquences de synthèse et réelles de grande échelle. Enfin, nous montrons que les reconstructions obtenues sont suffisamment précises pour être directement utilisées dans des applications de localisation globale

Une approche multi-échelle de super-résolution à partir de séquences d'images

- Nous considérons le problème de la reconstruction d'une image de haute résolution à partir d'une séquence d'images de basse résolution et de la mesure du mouvement entre images. Il est posé comme un problème inverse et est résolu à l'aide d'une méthode itérative appelée algorithme de Kaczmarz généralisé. Nous décrivons une implantation à faible coût de calcul basée sur l'estimation d'un modèle paramétrique 2D du mouvement global. Nous proposons également deux améliorations de cet algorithme. La première est l'utilisation d'une carte de détection du mouvement permettant de gérer les régions où le modèle de mouvement global n'est pas valide. La seconde est une approche multi-échelle permettant d'améliorer la qualité de l'estimation de mouvement au fur et à mesure du traitement de super-résolution

Relevé du patrimoine architectural par relevé laser, vision par ordinateur, et exploitation des règles architecturales

Le relevé laser donne la possibilité de scanner un grand nombre de points en peu de temps. Cependant, la création d'un modèle 3D à partir de ces données reste un travail important. Nous présentons une méthode pour faciliter cette tâche de modélisation. Notre approche est basée sur deux étapes. La première consiste à coupler le scanner laser à une caméra afin de guider le relevé par l'image. La deuxième étape consiste à modéliser les connaissances architecturales via une bibliothèque d'objets paramétrés

Real-Time Localization and 3D Reconstruction

In this paper we describe a method that estimates the motion of a calibrated camera (settled on an experimental vehicle) and the tridimensional geometry of the environment. The only data used is a video input. In fact, interest points are tracked and matched between frames at video rate. Robust estimates of the camera motion are computed in real-time, key-frames are selected and permit the features 3D reconstruction. The algorithm is particularly appropriate to the reconstruction of long images sequences thanks to the introduction of a fast and local bundle adjustment method that ensures both good accuracy and consistency of the estimated camera poses along the sequence. It also largely reduces computational complexity compared to a global bundle adjustment. Experiments on real data were carried out to evaluate speed and robustness of the method for a sequence of about one kilometer long. Results are also compared to the ground truth measured with a differential GPS

Restauration de séquences d'images par des approches spatio-temporelles (filtrage et super-résolution par le mouvement)

Nous abordons le développement de nouvelles méthodes pour la restauration de séquences d'images en exploitant explicitement la redondance d'information existant entre les images successives, ce qui implique la connaissance du mouvement apparent.Nous orientons particulièrement notre attention sur l'amélioration du rapport signal-à-bruit de la séquence d'images et sur la création d'une image de résolution supérieure à partir d'une séquence d'images fournies par un capteur (super-résolution). Dans la première partie de ce travail, nous comparons quelques-unes des approches classiques de filtrage de séquences d'images. Cette étape aboutit à la conception d'un schéma de filtrage spatio-temporel adaptatif compensé en mouvement à la fois efficace et rapide. Celui-ci est basé sur un filtrage de Wiener dont le gain est calculé localement. Le coût de calcul est considérablement diminué par le recours, original dans ce contexte, aux modèles paramétriques 2D de mouvement dominant.Nous proposons également un schéma de filtrage spatio-temporel basé sur le seuillage des coefficients de la transformée en ondelettes. Il permet une réduction efficace du bruit, sans faire apparaître les artefacts couramment observés avec les filtres traditionnels.La seconde partie est consacrée aux traitements de super-résolution. Nous avons à nouveau basé nos traitements sur l'estimation robuste d'un modèle paramétrique de mouvement, en utilisant une carte de détection du mouvement qui permet de ne pas introduire d'artefacts dans les zones non conformes au mouvement dominant estimé. Nous proposons également une version multi-échelle temporelle de notre algorithme de super-résolution. Cet algorithme pyramidal permet la réalisation de la restauration et de l'estimation du mouvement de façon conjointe. Nous poursuivons nos travaux sur les traitements conjoints en formalisant le problème par la définition d'une fonctionnelle à minimiser dans un contexte markovien-bayésien.RENNES1-BU Sciences Philo (352382102) / SudocSudocFranceF

Monocular Vision Based SLAM for Mobile Robots

This paper describes a new vision based method for the Simultaneous Localization and Mapping of mobile robots. The only data used is a video input from a moving cali- brated monocular camera. From the detection and match- ing of interest points in images at video rate, robust esti- mates of the camera poses are computed in real-time and a 3D map of the environment is reconstructed. The computed 3D structure is constantly refined thanks to the introduction of a fast and local bundle adjustment method that makes this approach particularly accurate and reliable. Actually, this method can be seen as a new visual tool that may be used in conjunction with usual systems (GPS, inertia sensors, etc) in SLAM applications

Towards geographical referencing of monocular slam reconstruction using 3d city models: Application to real-time accurate vision-based localization

In the past few years, lots of works were achieved on Simultaneous Localization and Mapping (SLAM). It is now possible to follow in real time the trajectory of a moving camera in an unknown environment. However, current SLAM methods are still prone to drift errors, which prevent their use in large-scale applications. In this paper, we propose a solution to reduce those errors a posteriori. Our solution is based on a postprocessing algorithm that exploits additional geometric constraints, relative to the environment, to correct both the reconstructed geometry and the camera trajectory. These geometric constraints are obtained through a coarse 3D modelisation of the environment, similar to those provided by GIS database. First, we propose an original articulated transformation model in order to roughly align the SLAM reconstruction with this 3D model through a non-rigid ICP step. Then, to refine the reconstruction, we introduce a new bundle adjustment cost function that includes, in a single term, the usual 3D point/2D observation consistency constraint as well as the geometric constraints provided by the 3D model. Results on large-scale synthetic and real sequences show that our method successfully improves SLAM reconstructions. Besides, experiments prove that the resulting reconstruction is accurate enough to be directly used for global relocalization applications. 1

Cultural heritage recording with laser Scanning, computer vision and exploitation of Architectural rules

Laser-based survey techniques gives a possibility to scan a large number of points in a short period of time. However, the creation of a 3D model basing on such results remains a cumbersome and uneasy task. We present a method that aims at making this task easier. It proposes, on one hand, to monitor the survey by the image by means of a linkage between the scanner and the camera, and in addition to use morphological models of the objects being surveyed.These models expresses pieces of the architectural knowledge that history reveal. We will hereafter focus on this second aspect. The authors are involved in a research project conducted in the framework of RIAM, i.e. net of Research and Innovation in Audio-visual and Multimedia.Le relevé laser donne la possibilité de scanner un grand nombre de points en peu de temps. Cependant, la création d'une maquette 3D à partir de ces données reste un travail fastidieux et délicat. Nous présentons une méthode pour faciliter cette tâche. Elle consiste d'une part, à guider le relevé par l'image en couplant scanner et caméra et d'autre part, à s'appuyer sur des modèles morphologiques des objets en cours de relevé.Ces modèles expriment la connaissance architecturale qui nous est révélée par l'histoire. C'est ce deuxième aspect que nous développerons principalement ici.Les auteurs sont impliqués dans un projet de recherche réalisé dans le cadre du réseau de Recherche et Innovation en Audiovisuel et Multimédia (RIAM)