Vers une construction collaborative de bases d'amers géo-référencées pour la localisation en ligne d'un véhicule en milieu urbain

National audienceL'aide à la navigation par Réalité Augmentée RA nécessite une estimation précise des six paramètres de la camera. Pour ceci, les solutions de localisation par vision passent par une étape de modélisation hors ligne de l'environnement. Tandis que les solutions existantes exigent des matériels coûteux et/ou un temps d'exécution très important, nous proposons dans cet article un processus qui crée automatiquement une modélisation précise de l'environnement en utilisant uniquement une caméra standard, un GPS bas coût et des modèles SIG Système d'Informations Géographique disponible gratuitement

GPS différentiel basé vision : Amélioration de la fusion SLAM/GPS à l'aide des modèles 3D des bâtiments

National audienceNous proposons dans cet article une solution originale pour la localisation d'un véhicule en zone urbaine. Celleci exploite uniquement des matériels peu couteux : une caméra VGA, un GPS standard et des données issues d'un Système d'Information Géographique (SIG) tel que celui de l'IGN ou d'OpenStreeMap. Comme d'autres auparavant, notre approche repose sur un module de fusion d'un SLAM visuel avec les données GPS. Cependant, en plus de l'estimation du mouvement du véhicule, notre solution se distingue par l'estimation et la correction du biais affectant les données GPS. A la manière d'un GPS différentiel, ce biais est estimé dynamiquement en comparant la reconstruction SLAM avec les modèles 3D de ville. Les données GPS, ainsi corrigées, sont alors utilisées par le module de fusion. Il en résulte une précision de localisation jusqu'ici inaccessible avec un GPS standard. Ceci a permis son exploitation dans des applications de Réalité Augmentée

SLAM contraint pour la localisation dans des environnements partiellement connus

National audienceCet article porte sur la localisation temps réel d'une caméra mobile dans un environnement partiellement connu. Ces travaux reposent sur une solution de type SLAM monoculaire et traitent la problématique de dérive inhérente à ce type de méthode en proposant un nouvel ajustement de faisceaux, dit ajustement de faisceaux contraint. Ce dernier permet d'intégrer des contraintes géométriques apportées par le modèle partiellement connu de la scène. Nous montrons l'apport de cette nouvelle méthode sur des applications de Réalité Augmentée sur de petits et grands environnements

Location of a vehicle using a constrained visual SLAM

Pour se localiser en ville, la majorité des solutions commercialisées se base sur les systèmes GPS. Même si ces systèmes offrent une précision suffisante hors agglomération, celle-ci se dégradent considérablement en villes à cause des phénomènes connus sous le nom du canyon urbain (i.e. réflexion du signal GPS sur les façades des bâtiments). Pour pallier ce problème, les solutions basées sur un SLAM visuel (Simultaneous Localization And Mapping) semblent une alternative prometteuse. En plus de l’estimation des six degrés de liberté de la caméra mobile, il fournit une carte 3D de la scène observée. Toutefois, la localisation assurée par le SLAM visuel n’est pas géo-référencée et présente souvent des dérives (e.g. mauvaise estimation du facteur d’échelle, accumulation des erreurs). Pour faire face à ces limitations et afin de proposer une solution facile à déployer, nous avons étudié la possibilité d’intégrer au SLAM des informations supplémentaires qui pourraient contraindre l’ensemble de la reconstruction fournie. Ces dernières doivent alors être peu couteuses et disponibles en milieux urbains denses et péri-urbains. C’est pour cette raison que nous avons choisi d’exploiter les contraintes fournies par un GPS standard et celles apportées par des modèles issus des Systèmes d’Information Géographique, plus précisément : des modèles 3D des bâtiments et des modèles d’élévation de terrain. La principale contribution de ces travaux réside en l’intégration de ces contraintes au sein de l’ajustement de faisceaux (i.e. processus d’optimisation du SLAM). Ceci n’est pas trivial étant donné que combiner des contraintes agissant sur la trajectoire de la caméra et la reconstruction 3D peut entrainer des problèmes de convergences, en particulier lorsque les informations exploitées ont des incertitudes variées, voire même des données biaisées ou aberrantes (e.g. Pour les mesures du GPS). Différentes solutions Larnaout et al. (2012, 2013a,b,c) permettant de combiner plusieurs de ces contraintes simultanément tout en limitant les problèmes de convergence ont été développées. Les solutions proposées ont été validées sur des séquences de synthèse et d’autres réelles de plusieurs kilomètres enregistrées dans des conditions de circulation normale. Les résultats obtenus montrent que la précision atteinte au niveau de l’estimation des six degrés de liberté de la caméra permet d’assurer des nouvelles applications d’aide à la navigation par le biais de la Réalité Augmentée. En plus de leur précision, nos approches ont l’avantage d’être rapides, peu couteuses et faciles à déployer (ne nécessitant pas un matériel sophistiqué).To ensure a global localization in urban environment, the majority of commercial solutions is based on Global Positioning Systems (GPS). While these systems offer sufficient accuracy in peri-urban or rural areas, their accuracy decreases significantly in cities because of the urban canyon (i.e. reflections of the GPS signal through the facades of buildings). To overcome this problem, vision based solutions such as the visual SLAM (Simultaneous Localization And Mapping) seem to be a promising alternative. In addition to the estimation of the six degrees of freedom of the mobile camera, such approach provides a 3D map of the observed scene. However, the localization provided by the visual SLAM is not geo-referenced and is often subject of drifts (e.g. poor estimate of the scale factor, accumulations errors). To address these limitations and to provide a solution easy to deploy, we studied the possibility of integrating to the SLAM algorithm additional information that could constrain the entire reconstruction. These data must then be inexpensive and available in dense urban and peri-urban areas. For these reasons, we chose to exploit the constraints provided by a standard GPS and those provided by models from Geographic Information Systems, more precisely, the 3D buildings models and the digital elevation models. The main contribution of this work lies in the integration of these constraints in the bundle adjustment (i.e. the optimization process of the SLAM algorithm). This is not trivial since combining constraints acting on the trajectory of the camera and the 3D reconstruction can lead to convergence problems, especially when the information used have various uncertainties and even outliers (e.g. specially GPS measurements). Different solutions Larnaout et al. (2012, 2013a,b,c) to combine these constraints simultaneously while limiting the problems of convergence have been developed. The proposed solutions have been evaluated on synthetic sequences and large scale real sequences recorded in normal traffic conditions. The results show that the accuracy achieved on the six degrees of freedom of the mobile camera is sufficient to ensure new service of aided navigation through Augmented Reality. In addition to the accuracy, our approaches have the advantage of being fast, inexpensive and easy to deploy (not requiring sophisticated equipment)

Localisation d'un véhicule à l'aide d'un SLAM visuel contraint

To ensure a global localization in urban environment, the majority of commercial solutions is based on Global Positioning Systems (GPS). While these systems offer sufficient accuracy in peri-urban or rural areas, their accuracy decreases significantly in cities because of the urban canyon (i.e. reflections of the GPS signal through the facades of buildings). To overcome this problem, vision based solutions such as the visual SLAM (Simultaneous Localization And Mapping) seem to be a promising alternative. In addition to the estimation of the six degrees of freedom of the mobile camera, such approach provides a 3D map of the observed scene. However, the localization provided by the visual SLAM is not geo-referenced and is often subject of drifts (e.g. poor estimate of the scale factor, accumulations errors). To address these limitations and to provide a solution easy to deploy, we studied the possibility of integrating to the SLAM algorithm additional information that could constrain the entire reconstruction. These data must then be inexpensive and available in dense urban and peri-urban areas. For these reasons, we chose to exploit the constraints provided by a standard GPS and those provided by models from Geographic Information Systems, more precisely, the 3D buildings models and the digital elevation models. The main contribution of this work lies in the integration of these constraints in the bundle adjustment (i.e. the optimization process of the SLAM algorithm). This is not trivial since combining constraints acting on the trajectory of the camera and the 3D reconstruction can lead to convergence problems, especially when the information used have various uncertainties and even outliers (e.g. specially GPS measurements). Different solutions Larnaout et al. (2012, 2013a,b,c) to combine these constraints simultaneously while limiting the problems of convergence have been developed. The proposed solutions have been evaluated on synthetic sequences and large scale real sequences recorded in normal traffic conditions. The results show that the accuracy achieved on the six degrees of freedom of the mobile camera is sufficient to ensure new service of aided navigation through Augmented Reality. In addition to the accuracy, our approaches have the advantage of being fast, inexpensive and easy to deploy (not requiring sophisticated equipment).Pour se localiser en ville, la majorité des solutions commercialisées se base sur les systèmes GPS. Même si ces systèmes offrent une précision suffisante hors agglomération, celle-ci se dégradent considérablement en villes à cause des phénomènes connus sous le nom du canyon urbain (i.e. réflexion du signal GPS sur les façades des bâtiments). Pour pallier ce problème, les solutions basées sur un SLAM visuel (Simultaneous Localization And Mapping) semblent une alternative prometteuse. En plus de l’estimation des six degrés de liberté de la caméra mobile, il fournit une carte 3D de la scène observée. Toutefois, la localisation assurée par le SLAM visuel n’est pas géo-référencée et présente souvent des dérives (e.g. mauvaise estimation du facteur d’échelle, accumulation des erreurs). Pour faire face à ces limitations et afin de proposer une solution facile à déployer, nous avons étudié la possibilité d’intégrer au SLAM des informations supplémentaires qui pourraient contraindre l’ensemble de la reconstruction fournie. Ces dernières doivent alors être peu couteuses et disponibles en milieux urbains denses et péri-urbains. C’est pour cette raison que nous avons choisi d’exploiter les contraintes fournies par un GPS standard et celles apportées par des modèles issus des Systèmes d’Information Géographique, plus précisément : des modèles 3D des bâtiments et des modèles d’élévation de terrain. La principale contribution de ces travaux réside en l’intégration de ces contraintes au sein de l’ajustement de faisceaux (i.e. processus d’optimisation du SLAM). Ceci n’est pas trivial étant donné que combiner des contraintes agissant sur la trajectoire de la caméra et la reconstruction 3D peut entrainer des problèmes de convergences, en particulier lorsque les informations exploitées ont des incertitudes variées, voire même des données biaisées ou aberrantes (e.g. Pour les mesures du GPS). Différentes solutions Larnaout et al. (2012, 2013a,b,c) permettant de combiner plusieurs de ces contraintes simultanément tout en limitant les problèmes de convergence ont été développées. Les solutions proposées ont été validées sur des séquences de synthèse et d’autres réelles de plusieurs kilomètres enregistrées dans des conditions de circulation normale. Les résultats obtenus montrent que la précision atteinte au niveau de l’estimation des six degrés de liberté de la caméra permet d’assurer des nouvelles applications d’aide à la navigation par le biais de la Réalité Augmentée. En plus de leur précision, nos approches ont l’avantage d’être rapides, peu couteuses et faciles à déployer (ne nécessitant pas un matériel sophistiqué)

Vision-Based Differential GPS: Improving VSLAM / GPS Fusion in Urban Environment with 3D Building Models

International audienceWe improve in this paper the localization accuracy of visual SLAM (VSLAM) / GPS fusion in dense urban area by using 3D building models provided by Geographic Information System (GIS). GPS inaccuracies are corrected by comparison of the reconstruction resulting from the VSLAM / GPS fusion with 3D building models. These corrected GPS data are thereafter re-injected in the fusion process. Experimental results demonstrate the accuracy improvements achieved through our proposed solution

Fast and automatic city-scale environment modelling using hard and/or weak constrained bundle adjustments

International audienceTo provide high-quality augmented reality service in a car navigation system, accurate 6 degrees of freedom (DoF) localization is required. To ensure such accuracy, most current vision-based solutions rely on an off-line large-scale modelling of the environment. Nevertheless, while existing solutions to model the environment require expensive equipments and/or a prohibitive computation time, we propose in this paper a complete framework that automatically builds an accurate large-scale database of landmarks using only a standard camera, a low-cost global positioning system (GPS) and a geographic information system (GIS). As illustrated in the experiments, only few minutes are required to model large-scale environments. The resulting databases can then be used by an on-line localization algorithm to ensure high-quality augmented reality experiences

Vehicle 6-DoF localization based on SLAM constrained by GPS and digital elevation model information

International audienceVehicle geo-localization based on monocular visual Simultaneous Localization And Mapping (SLAM) remains a challenging issue mainly due to the accumulation errors and scale factor drift. To tackle these limitations, a common solution is to introduce geo-referenced information into the visual SLAM algorithm. In this paper, we propose two different bundle adjustment processes that merge both GPS measurements and “Digital Elevation Model” (DEM) data. Proposed solutions are devoted to ensure an accurate and robust geo-localization in both rural and urban environment. Experiments on synthetic and large scale real sequences show that, in addition to the real-time (i.e. about 30 Hz) performances, we obtain an accurate 6DoF localization

Driving in an augmented-city: from fast and automatic large scale environment modeling to on-line 6DOF vehicle localization

International audienceTo provide high quality Augmented Reality service in a car navigation system, accurate 6DoF localization is required. To ensure such accuracy, most of current vision-based solutions rely on an off-line large scale modeling of the environment. Nevertheless, while existing solutions require expensive equipments and/or a prohibitive computation time, we propose in this paper a complete framework that automatically builds an accurate city scale database of landmarks using only a standard camera, a GPS and Geographic Information System (GIS). As illustrated in the experiments, only few minutes are required to model large scale environments. Then, a localization algorithm can use the resulting databases for a high quality Augmented Reality experience

Fast and automatic city-scale environment modeling for an accurate 6DOF vehicle localization

International audienceTo provide high quality augmented reality service in a car navigation system, accurate 6DoF localization is required. To ensure such accuracy, most of current vision-based solutions rely on an off-line large scale modeling of the environment. Nevertheless, while existing solutions require expensive equipments and/or a prohibitive computation time, we propose in this paper a complete framework that automatically builds an accurate city scale database using only a standard camera, a GPS and Geographic Information System (GIS). As illustrated in the experiments, only few minutes are required to model large scale environments. The resulting databases can then be used during a localization algorithm for high quality Augmented Reality experiences