Real-time robot location by monocular vision and multi-sensor fusion

Ce mémoire présente un système de localisation par vision pour un robot mobile circulant dans un milieu urbain. Pour cela, une première phase d’apprentissage où le robot est conduit manuellement est réalisée pour enregistrer une séquence vidéo. Les images ainsi acquises sont ensuite utilisées dans une phase hors ligne pour construire une carte 3D de l’environnement. Par la suite, le véhicule peut se déplacer dans la zone, de manière autonome ou non, et l’image reçue par la caméra permet de le positionner dans la carte. Contrairement aux travaux précédents, la trajectoire suivie peut être différente de la trajectoire d’apprentissage. L’algorithme développé permet en effet de conserver la localisation malgré des changements de point de vue importants par rapport aux images acquises initialement. Le principe consiste à modéliser les points de repère sous forme de facettes localement planes, surnommées patchs plan, dont l’orientation est connue. Lorsque le véhicule se déplace, une prédiction de la position courante est réalisée et la déformation des facettes induite par le changement de point de vue est reproduite. De cette façon la recherche des amers revient à comparer des images pratiquement identiques, facilitant ainsi leur appariement. Lorsque les positions sur l’image de plusieurs amers sont connues, la connaissance de leur position 3D permet de déduire la position du robot. La transformation de ces patchs plan est complexe et demande un temps de calcul important, incompatible avec une utilisation temps-réel. Pour améliorer les performances de l’algorithme, la localisation a été implémentée sur une architecture GPU offrant de nombreux outils permettant d’utiliser cet algorithme avec des performances utilisables en temps-réel. Afin de prédire la position du robot de manière aussi précise que possible, un modèle de mouvement du robot a été mis en place. Il utilise, en plus de la caméra, les informations provenant des capteurs odométriques. Cela permet d’améliorer la prédiction et les expérimentations montrent que cela fournit une plus grande robustesse en cas de pertes d’images lors du traitement. Pour finir ce mémoire détaille les différentes performances de ce système à travers plusieurs expérimentations en conditions réelles. La précision de la position a été mesurée en comparant la localisation avec une référence enregistrée par un GPS différentiel.This dissertation presents a vision-based localization system for a mobile robot in an urban context. In this goal, the robot is first manually driven to record a learning image sequence. These images are then processed in an off-line way to build a 3D map of the area. Then vehicle can be —either automatically or manually— driven in the area and images seen by the camera are used to compute the position in the map. In contrast to previous works, the trajectory can be different from the learning sequence. The algorithm is indeed able to keep localization in spite of important viewpoint changes from the learning images. To do that, the features are modeled as locally planar features —named patches— whose orientation is known. While the vehicle is moving, its position is predicted and patches are warped to model the viewpoint change. In this way, matching the patches with points in the image is eased because their appearances are almost the same. After the matching, 3D positions of the patches associated with 2D points on the image are used to compute robot position. The warp of the patch is computationally expensive. To achieve real-time performance, the algorithm has been implemented on GPU architecture and many improvements have been done using tools provided by the GPU. In order to have a pose prediction as precise as possible, a motion model of the robot has been developed. This model uses, in addition to the vision-based localization, information acquired from odometric sensors. Experiments using this prediction model show that the system is more robust especially in case of image loss. Finally many experiments in real situations are described in the end of this dissertation. A differential GPS is used to evaluate the localization result of the algorithm

Localisation temps-réel d'un robot par vision monoculaire et fusion multicapteurs

This dissertation presents a vision-based localization system for a mobile robot in an urban context. In this goal, the robot is first manually driven to record a learning image sequence. These images are then processed in an off-line way to build a 3D map of the area. Then vehicle can be —either automatically or manually— driven in the area and images seen by the camera are used to compute the position in the map. In contrast to previous works, the trajectory can be different from the learning sequence. The algorithm is indeed able to keep localization in spite of important viewpoint changes from the learning images. To do that, the features are modeled as locally planar features —named patches— whose orientation is known. While the vehicle is moving, its position is predicted and patches are warped to model the viewpoint change. In this way, matching the patches with points in the image is eased because their appearances are almost the same. After the matching, 3D positions of the patches associated with 2D points on the image are used to compute robot position. The warp of the patch is computationally expensive. To achieve real-time performance, the algorithm has been implemented on GPU architecture and many improvements have been done using tools provided by the GPU. In order to have a pose prediction as precise as possible, a motion model of the robot has been developed. This model uses, in addition to the vision-based localization, information acquired from odometric sensors. Experiments using this prediction model show that the system is more robust especially in case of image loss. Finally many experiments in real situations are described in the end of this dissertation. A differential GPS is used to evaluate the localization result of the algorithm.Ce mémoire présente un système de localisation par vision pour un robot mobile circulant dans un milieu urbain. Pour cela, une première phase d’apprentissage où le robot est conduit manuellement est réalisée pour enregistrer une séquence vidéo. Les images ainsi acquises sont ensuite utilisées dans une phase hors ligne pour construire une carte 3D de l’environnement. Par la suite, le véhicule peut se déplacer dans la zone, de manière autonome ou non, et l’image reçue par la caméra permet de le positionner dans la carte. Contrairement aux travaux précédents, la trajectoire suivie peut être différente de la trajectoire d’apprentissage. L’algorithme développé permet en effet de conserver la localisation malgré des changements de point de vue importants par rapport aux images acquises initialement. Le principe consiste à modéliser les points de repère sous forme de facettes localement planes, surnommées patchs plan, dont l’orientation est connue. Lorsque le véhicule se déplace, une prédiction de la position courante est réalisée et la déformation des facettes induite par le changement de point de vue est reproduite. De cette façon la recherche des amers revient à comparer des images pratiquement identiques, facilitant ainsi leur appariement. Lorsque les positions sur l’image de plusieurs amers sont connues, la connaissance de leur position 3D permet de déduire la position du robot. La transformation de ces patchs plan est complexe et demande un temps de calcul important, incompatible avec une utilisation temps-réel. Pour améliorer les performances de l’algorithme, la localisation a été implémentée sur une architecture GPU offrant de nombreux outils permettant d’utiliser cet algorithme avec des performances utilisables en temps-réel. Afin de prédire la position du robot de manière aussi précise que possible, un modèle de mouvement du robot a été mis en place. Il utilise, en plus de la caméra, les informations provenant des capteurs odométriques. Cela permet d’améliorer la prédiction et les expérimentations montrent que cela fournit une plus grande robustesse en cas de pertes d’images lors du traitement. Pour finir ce mémoire détaille les différentes performances de ce système à travers plusieurs expérimentations en conditions réelles. La précision de la position a été mesurée en comparant la localisation avec une référence enregistrée par un GPS différentiel

Mise en correspondance rapide de patchs plan pour la localisation d'un robot en utilisant le GPU

National audienceMatching image features between an image and a map of landmarks is usually a time consuming process in mobile robot localization or Simultaneous Localisation And Mapping algorithms. The main problem is being able to match features in spite of viewpoint changes. Methods based on interest point descriptors such as SIFT have been implemented on GPUs to reach real time performance. In this paper, we present another way to match features with the use of a local 3D model of the features and a motion model of the robot. This matching algorithm dedicated to robot localization would be much too slow if executed on a CPU. Thanks to a GPU implementation, we show that it is possible to achieve real-time performance while offering more robustness than descriptor based methods.L'appariement entre des amers visuels et une carte est généralement un processus assez lourd à mettre en oeuvre au sein d'algorithme de localisation de robot mobile ou de SLAM. Le principal problème est de pouvoir reconnaitre des objets vus depuis des points de vue différents. Plusieurs méthodes basées sur des descripteurs de points d'intérêt tels que SIFT ont été portées sur GPU pour être utilisables dans un contexte temps-réel. Dans ce papier, nous présentons une autre façon d'apparier des amers en utilisant une modélisation 3D des points d'intérêt ainsi qu'un modèle de mouvement du robot. Cet algorithme d'appariement conçu pour la localisation de robot mobile est toutefois beaucoup trop lent pour être exécuté sur CPU. Grâce à son implémentation sur GPU, nous avons montré qu'il est possible d'atteindre des performances temps-réel tout en conservant un algorithme plus robuste que les méthodes basées sur les descripteurs

Localisation temps-réel d'un robot par vision monoculaire et fusion multicapteurs

Ce mémoire présente un système de localisation par vision pour un robot mobile circulant dans un milieu urbain. Pour cela, une première phase d apprentissage où le robot est conduit manuellement est réalisée pour enregistrer une séquence vidéo. Les images ainsi acquises sont ensuite utilisées dans une phase hors ligne pour construire une carte 3D de l environnement. Par la suite, le véhicule peut se déplacer dans la zone, de manière autonome ou non, et l image reçue par la caméra permet de le positionner dans la carte. Contrairement aux travaux précédents, la trajectoire suivie peut être différente de la trajectoire d apprentissage. L algorithme développé permet en effet de conserver la localisation malgré des changements de point de vue importants par rapport aux images acquises initialement. Le principe consiste à modéliser les points de repère sous forme de facettes localement planes, surnommées patchs plan, dont l orientation est connue. Lorsque le véhicule se déplace, une prédiction de la position courante est réalisée et la déformation des facettes induite par le changement de point de vue est reproduite. De cette façon la recherche des amers revient à comparer des images pratiquement identiques, facilitant ainsi leur appariement. Lorsque les positions sur l image de plusieurs amers sont connues, la connaissance de leur position 3D permet de déduire la position du robot. La transformation de ces patchs plan est complexe et demande un temps de calcul important, incompatible avec une utilisation temps-réel. Pour améliorer les performances de l algorithme, la localisation a été implémentée sur une architecture GPU offrant de nombreux outils permettant d utiliser cet algorithme avec des performances utilisables en temps-réel. Afin de prédire la position du robot de manière aussi précise que possible, un modèle de mouvement du robot a été mis en place. Il utilise, en plus de la caméra, les informations provenant des capteurs odométriques. Cela permet d améliorer la prédiction et les expérimentations montrent que cela fournit une plus grande robustesse en cas de pertes d images lors du traitement. Pour finir ce mémoire détaille les différentes performances de ce système à travers plusieurs expérimentations en conditions réelles. La précision de la position a été mesurée en comparant la localisation avec une référence enregistrée par un GPS différentiel.This dissertation presents a vision-based localization system for a mobile robot in an urban context. In this goal, the robot is first manually driven to record a learning image sequence. These images are then processed in an off-line way to build a 3D map of the area. Then vehicle can be either automatically or manually driven in the area and images seen by the camera are used to compute the position in the map. In contrast to previous works, the trajectory can be different from the learning sequence. The algorithm is indeed able to keep localization in spite of important viewpoint changes from the learning images. To do that, the features are modeled as locally planar features named patches whose orientation is known. While the vehicle is moving, its position is predicted and patches are warped to model the viewpoint change. In this way, matching the patches with points in the image is eased because their appearances are almost the same. After the matching, 3D positions of the patches associated with 2D points on the image are used to compute robot position. The warp of the patch is computationally expensive. To achieve real-time performance, the algorithm has been implemented on GPU architecture and many improvements have been done using tools provided by the GPU. In order to have a pose prediction as precise as possible, a motion model of the robot has been developed. This model uses, in addition to the vision-based localization, information acquired from odometric sensors. Experiments using this prediction model show that the system is more robust especially in case of image loss. Finally many experiments in real situations are described in the end of this dissertation. A differential GPS is used to evaluate the localization result of the algorithm.CLERMONT FD-Bib.électronique (631139902) / SudocSudocFranceF

Automatic Traffic Monitoring from an Airborne Wide Angle Camera System

We present an automatic traffic monitoring approach using data of an airborne wide angle camera system. This camera, namely the “3K-Camera”, was recently developed at the German Aerospace Center (DLR). It has a coverage of 8 km perpendicular to the flight direction at a flight height of 3000 m with a resolution of 45 cm and is capable to take images at a frame rate of up to 3 fps. Based on georeferenced images obtained from this camera system, a near real-time processing chain containing road extraction, vehicle detection, and vehicle tracking was developed and tested. The road extraction algorithms handle a-priori information provided by a road database for a first guess of the location of the roads. Two different techniques can be used for road extraction. In the first method, roadside features are found by using an edge detector based on ISEF filtering, selecting the steepest edge, which is normally the edge between the tarry roads and the vegetation. The second method extracts roads by searching the roadside markings using a dynamical threshold operator and a line detector. Vehicle detection then is limited to the road areas found by the road extraction algorithms. It is based on an edge detector, a k-means clustering of the edges, and on geometrical constraints, e.g. vehicle size. Vehicle tracking is performed by matching detected vehicles in pairs of consecutive images. For this matching the normalized cross correlation is calculated for each detected car within a limited search area. The algorithms for road extraction, vehicle detection and vehicle tracking proved to be quite sophisticated, enabling car detection and tracking rates with a completeness of 70 % and a correctness of up to 90 % on images obtained from a flight height of 1000 m

Vision-based robot localization based on the efficient matching of planar features

International audienc

Automatic traffic monitoring with an airborne wide-angle digital camera system for estimation of travel times

Knowledge of accurate travel times between various origins and destinations is a valuable information for daily commuters as well as for security related organizations (BOS) during emergencies, disasters, or big events. In this paper, we present a method for automatic estimation of travel times based on image series acquired from the recently developed optical wide angle frame sensor system (3K = “3-Kopf”), which consists of three non-metric off-the-shelf cameras (Canon EOS 1Ds Mark II, 16 MPixel). For the calculation of overall travel times, we sum up averaged travel times derived from individual vehicle velocities to pass defined road segments. The vehicle velocities are derived from vehicle positions in two consecutive geocoded images by calculating its distance covered over time elapsed. In this context, we present an automatic image analysis method to derive vehicle positions and vehicle distances involving knowledge based road detection algorithm followed by vehicle detection and vehicle tracking algorithms. For road detection, we combine an edge detector based on Deriche filters with information from a road database. The extracted edges combined with the road database information have been used for road surface masking. Within these masked segments, we extract vehicle edges to obtain small vehicle shapes and we select those lying on the road. For the vehicle tracking, we consider the detected vehicle positions and the movement direction from the road database which leads to many possible matching pairs on consecutive images. To find correct vehicle pairs, a matching in the frequency domain (phase correlation) is used and those pairs with the highest correlation are accepted. For the validation of the proposed methods, a flight and ground truth campaign along a 16 km motorway segment in the south of Munich was conducted in September 2006 during rush hour