What can be done with an embedded stereo-rig in urban environments?

International audienceThe development of the Autonomous Guided Vehicles (AGVs) with urban applications are now possible due to the recent solutions (DARPA Grand Challenge) developed to solve the Simultaneous Localization And Mapping (SLAM) problem: perception, path planning and control. For the last decade, the introduction of GPS systems and vision have been allowed the transposition of SLAM methods dedicated to indoor environments to outdoor ones. When the GPS data are unavailable, the current position of the mobile robot can be estimated by the fusion of data from odometer and/or Inertial Navigation System (INS). We detail in this article what can be done with an uncalibrated stereo-rig, when it is embedded in a vehicle which is going through urban roads. The methodology is based on features extracted on planes: we mainly assume the road at the foreground as the plane common to all the urban scenes but other planes like vertical frontages of buildings can be used if the features extracted on the road are not enough relevant. The relative motions of the coplanar features tracked with both cameras allow us to stimate the vehicle ego-motion with a high precision. Futhermore, the features which don't check the relative motion of the considered plane can be assumed as obstacles

Vehicle Trajectory from an Uncalibrated Stereo-Rig with Super-Homography

International audienceWe present in this article an original manner to estimate the trajectory of a vehicle running in urban-like areas. The method consists in extracting then tracking features (points, lines) with an uncalibrated stereo-rig from the road assumed as a plane to compute homographies relative to the camera(s) motions. The purposed method copes with the dense traffic conditions: the free space required (first ten meters in front of the vehicle) is slightly equivalent to the security distance between two vehicles. Experimental issues from real data are presented and discussed

Obstacle Detection from IPM and Super-Homography

International audienceWe present in this article a simple method to estimate an IPM view from an embedded camera. The method is based on the tracking of the road markers assuming that the road is locally planar. Our aim is the development of a free-space estimator which can be implemented in an Autonomous Guided Vehicle to allow a safe path planning. Opposite to most of the obstacle detection methods which make assumptions on the shape or height of the obstacles, all the scene elements above the road plane (particularly kerbs and poles) have to be detected as obstacles. Combined with the IPM tranformation, this obstacle detection stage can be viewed as the first stage of a free-space estimator dedicated to AGV in the complex urban environments

Homography from a Vanishing Point in Urban Scenes

In this paper, we address the problem of computing the ego-motion of a vehicle in an urban environment using dynamic vision. We assume a planar piecewise world where the planes are mainly distributed along three principal directions corresponding to the axes of a reference frame linked to the ground plane with a vertical z-axis. We aim to estimate both the motion of the car and the principal planes in the scene corresponding to the road and the frontages of the building from a sequence of images provided by an on-board uncalibrated camera. In this paper, we present preliminary results concerning the robust segmentation of the road using projective properties of the scene. We develop a two-stage algorithm in order to increase robustness. The first stage detects the borders of the road using a contour-based approach and primarily allows us to estimate the Dominant Vanishing Point (DVP). The DVP and the borders of the road are then used to constrain the region where the points of interest, corresponding to the road lane markers, can be extracted. The second stage uses a robust technique based on projective invariant to match the lines and points between two consecutive images in the sequence. Finally, we compute the homography relating the points and lines lying on the road into the two images

Trajectography of an Uncalibrated Stereo Rig in Urban Environments

This paper describes an original method to compute the relative motion of an uncalibrated stereo rig in urban environments from features lying on the road. The extraction of significant reliable features on the road remains the critical step of this method. We nevertheless detect them according to the stereo constraints and an a priori knowledge on the scene. The motion between two frames of the stereo rig is considered as rigid: the homography computation is enforced by the redundancy of the feature locations in multiple views. The method has been tested on video sequences recorded from a test vehicle that was driven in an urban environments. Promising results from these experiments will be presented

Détection robuste du plan de la route en milieu urbain

Cet article décrit un algorithme de segmentation du plan de la route dans des images de scènes urbaines. Nous supposons que l'environnement contient une majorité de contours alignés selon les 3 directions principales. L'algorithme se décompose en deux étapes. La première détecte conjointement les lignes de fuite qui convergent vers le point de fuite dominant. Les lignes de fuite sont issues d'une détection de contours à laquelle nous appliquons des contraintes spécifiques aux scènes urbaines. Nous recherchons alors des points d'intérêts dans la région de l'image délimitée par les lignes de fuite coplanaires. Lors de la deuxième étape, nous mettons en correspondance l'ensemble des caractéristiques détectées (points d'intérêts et lignes de fuite) en utilisant les propriétés d'invariance projective entre deux prises de vues d'une même scène de façon à estimer l'homographie induite par le plan de la route

Reconstruction of the road plane with an embedded stereo-rig in urban environment

Abstract — We present in this article an original method to reconstruct the road in the specific context of urban environment thanks to the data provided by an uncalibrated stereo-vision system. The method consists on extracting then tracking features (points, lines) from the road and estimate the homography induced by the plane between two poses. The purposed method copes with the dense traffic conditions: the free space required (first ten meters in front of the vehicle) is slightly equivalent to the security distance between two vehicles. Experimental issues from real data are presented and discussed. I

Localisation robuste d'un véhicule en environnement urbain à partir d'un système de stéréo-vision

M. Tarek Hamel, Professeur à l'Université de Nice/Sophia-Antipolis; M. Didier Aubert, Chargé de Recherche LIVIC, Versailles; M. Eric Marchand, Chargé de Recherche IRISA, Rennes; M. Michel Parent, Responsable du projet IMARA, INRIA Rocquencourt; M. François Peyret, Directeur de Recherche LCPC, Nantes;The thesis deals with mobile robots in the specific context of urban environment. We want to extract the maximum of data on the motion of an uncalibrated stereo-rig embedded in a vehicle with in a structured environment. The aim of this study is to estimate the motion of a vehicle when the localization is impossible with a satellite position system due to the occlusion of the free space.A polyhedrical model of the streets, which is the considered environment in this study, allows the segmentation of three main planes : the road and the vertical façades which represent the frontier of the navigation area. We assume that the white lanes which split the differents ways and the kerbs which delimit the road are all parallel in the scene, at least on the foreground. Therefore the detection of these induced edges in image is easy because they all converge in a dominant vanishing point.The lighting conditions and the dynamical obstacles which occlude the vision field make the tracking task of the segmented planes difficult. The use of a stereo-vision system allows the segmentation in image of the coplanar area of the scene assuming that each plane induces a homography between both images of the stereo-rig. The vehicle motion is assumed to be plane, the pan and tilt rotation motions have low contributions on the computed homographies. We hence possess a reliable tool to segment the main planes which structure the environment.The motion of the cameras between two poses are obtained with the homography induced by the relative motion of one plane. The homography computation requires the matching of features (lines, points) detected in the coplanar regions of images. The precision and the reliability of the result highly depends on the spatial distribution of the matched features.The introduction of the notion of super-homography improves the robustness of the homography computation by computing in one shot all the homographies induced by the same plane in several images. The redundancy of the constraints imposed by the relative motion of the matched coplanar features increases the constraints of the plane projection in each image. The super-homography has two advantages: it allows the detection of mismatched features and supplies coordinates with a sub-pixellic precision. When the calibration of the stereo-rig is available, the extraction of the homography induced by the relative motion of a camera from the super-homography supplies the trajectory of the vehicle.Cette thèse s'inscrit dans le contexte de la robotique mobile et plus précisément dans le cadre de la localisation de véhicules en environnement urbain. Notre tâche a consisté à extraire le maximum d'informations sur le déplacement d'un système de stéréo-vision non-calibré embarqué à bord d'un véhicule en s'appuyant sur l'environnement structuré que forme les rues. L'objectif de cette étude est d'estimer le déplacement d'un véhicule lorsque la configuration de l'environnement s'oppose à sa localisation par un système de géo-référencement satellitaire.Une modélisation polyhédrique des rues qui forment l'environnement urbain de cette étude permet de segmenter trois plans principaux : la route et les façades verticales des bâtiments qui délimitent l'espace de navigation. La segmentation du plan de la route est facilitée par la matérialisation des voies de navigation et autres trottoirs ou terre-pleins, parallèles entre eux au premier plan, qui sont à l'origine dans les images de contours qui convergent vers un point de fuite dominant.Les conditions d'illumination et la présence d'obstacles dynamiques qui obstruent le champ de vision compliquent la tâche de suivi des plans segmentés. L'emploi d'une paire stéréo permet à chaque nouvelle pose de déterminer quelles sont les régions des images qui correspondent aux plans segmentés en calculant l'homographie induite par chaque plan entre les deux images de la paire. Le déplacement du véhicule étant supposé plan, ses mouvements d'inclinaison et de lacet influent peu sur chacune des homographies estimées entre les images de la paire stéréo. Nous possédons ainsi un outil fiable de segmentation des plans principaux qui forment l'environnement.L'estimation du déplacement entre deux poses de chaque caméra consiste à estimer l'homographie induite par le mouvement relatif du plan considéré. Le calcul est entrepris grâce à la mise en correspondance des primitives (points, droites) détectées dans les régions planaires segmentées. La précision et la fiabilité des résultats dépendent essentiellement de la répartition spatiale des primitives mises en correspondance.L'introduction de la notion de super-homographie permet de robustifier les estimations des homographies en calculant de manière simultanée toutes les homographies induites par un même plan, observé dans plusieurs images. La redondance des contraintes imposées par le mouvement relatif des primitives coplanaires mises en correspondance améliore l'estimation du mouvement de la projection du plan dans les différentes images. L'apport de la super-homographie est double : elle permet de détecter d'éventuelles erreurs de mise en correspondance et fournit une estimée des coordonnées des primitives coplanaires avec une précision sub-pixellique. Lorsque la calibration de la paire stéréo est connue, la trajectographie du véhicule peut être estimée en décomposant l'homographie relative au mouvement d'une des caméras, extraite de la super-homographie

Localisation robuste d'un véhicule en environnement urbain à l'aide d'un système de stéréo-vision

Cette thèse s inscrit dans le contexte de la robotique mobile et plus précisément dans le cadre de la localisation de véhicules en environnement urbain. Notre tâche a consisté à extraire le maximum d informations sur le déplacement d un système stéréo-vision non calibré embarqué à bord d un véhicule en s appuyant sur l environnement structuré que forme les rues. L objectif de cette étude est d estimer le déplacement d un véhicule lorsque la configuration de l environnement s oppose à sa localisation par un système de géo-référencement satellitaire. Une modélisation polyhédriques des rues qui forment l environnement urbain de cette étude permet de segmenter trois plans principaux : la route et les façades verticales des bâtiments qui délimitent l espace de navigation. La segmentation du plan de la route est facilitée par la matérialisation des voies de navigation et autres trottoirs ou terre-pleins, parallèles entre eux au premier plan, qui sont à l origine dans les images de contours qui convergent vers un point de fuite dominant. Les conditions d illumination et la présence d obstacles dynamiques qui obstruent le champ de vision compliquent la tâche de suivi des plans segmentés. L emploi d une paire stéréo permet à chaque nouvelle pose de déterminer quelles sont les régions des images qui correspondent aux plans segmentés en calculant l homographie induite par chaque plan entre les deux images de la paire. Le déplacement du véhicule étant supposé plan, ses mouvements d inclinaison et de lacet influent peu sur chacune des homographies estimées entre les images de la paire stéréo. Nous possédons ainsi un outil fiable de segmentation des plans principaux qui forment l environnement. L estimation du déplacement entre deux poses de chaque caméra consiste à estimer l homographie induite par le mouvement relatif du plan considéré. Le calcul est entrepris grâce à la mise en correspondance des primitives (points, droites) détectées dans les régions planaires segmentées. La précision et la fiabilité des résultats dépendent essentiellement de la répartition spatiale des primitives mises en correspondance. L introduction de la notion de super-homographie permet de robustifier les estimations des homographies en calculant de manière simultanée toutes les homographies induites par un même plan, observé dans plusieurs images. La redondance des contraintes imposées par le mouvement relatif des primitives coplanaires mises en correspondance améliore l estimation du mouvement de la projection du plan dans les différentes images. L apport de la super-homographie est double : elle permet de détecter d éventuelles erreurs de mise en correspondance et fournit une estimée des coordonnées des primitives coplanaires avec une précision sub-pixellique. Lorsque la calibration de la paire stéréo est connue, la trajectographie du véhicule peut être estimée en décomposant l homographie relative au mouvement d une des caméras, extraite de la super-homographie.The thesis deals with mobile robots in the specific context of urban environment. We want to extract the maximum of data on the motion of an uncalibrated stereo-rig embedded in a vehicle with in a structured environment. The aim of this study is to estimate the motion of a vehicle when the localization is impossible with a satellite position system due to the occlusion of the free space. A polyhedrical model of the streets, which is the considered environment in this study, allows the segmentation of three main plane : the road and the vertical facades which represent the frontier of the navigation area. We assume that the while lanes which split the different ways and the kerbs which delimit the road are all parallel in the scene, at least on the foreground. Therefore the detection of these induced edges in image is easy because they all converge in a dominant vanishing point. The lighting conditions and the dynamical obstacles which occlude the vision field make the tracking task of the segmented planes difficult. The use of a stereo-vision allows the segmentation in image of the coplanar area of the scene assuming that each plane induces a homography between both images of the stereo-rig. The vehicle motion is assumed to be plane, the pan and tilt rotation motions have low contributions on the computed homographies. We hence possess a reliable tool to segment the main planes which structure the environment. The motion of the cameras between two poses is obtained with the homography induced by the relative motion of one plane. The homography computation requires the matching of features (lines, points) detected in the coplanar regions of images. The precision and the reliability of the result highly depends on the spatial distribution of the matched features. The introduction of the motion of super-homography improves the robustness of the homography computation by computing in one shot all the homographies induced by the same plane in several images. The redundancy of the constraints imposed by the relative motion of the matched coplanar features increases the constraints of the plane projection in each image. The super-homography has two advantages : it allows the detection of mismatched features and supplies coordinates with a sub-pixellic precision. When the calibration of the stereo-rig is available, the extraction of the homography induced by the relative motion of a camera from the super-homography supplies the trajectography of the vehicle.NICE-BU Sciences (060882101) / SudocSudocFranceF

Utilisation de la simulation dans des projets de robotique

Le département GEII de l'iut de Sarcelles propose à ses étudiants un projet universitaire durant leur première année de formation, qui débouche sur une compétition amicale de robotique. Dans ce cadre, les auteurs ont développé un simulateur simple de stratégie de robot afin d'aider à la compréhension des mécanismes de prise de décision. Ce simulateur, basé sur le logiciel de calcul scientifique SciLab, est disponible en téléchargement sur le site : http://www.tauvel.net rubrique téléchargement. L'expérience pédagogique menée est proche de celle de l'iut de Cachan, mais s'en différencie en ce que le projet n'est pas le support unique de l'enseignement scientifique et technologique