Appearance-based localization for mobile robots using digital zoom and visual compass

This paper describes a localization system for mobile robots moving in dynamic indoor environments, which uses probabilistic integration of visual appearance and odometry information. The approach is based on a novel image matching algorithm for appearance-based place recognition that integrates digital zooming, to extend the area of application, and a visual compass. Ambiguous information used for recognizing places is resolved with multiple hypothesis tracking and a selection procedure inspired by Markov localization. This enables the system to deal with perceptual aliasing or absence of reliable sensor data. It has been implemented on a robot operating in an office scenario and the robustness of the approach demonstrated experimentally

Qualitative visual servoing for navigation

We propose in this article a novel approach for vision-based control of a robotic system during a navigation task. This technique is based on a topological representation of the environment in which the scene is directly described within the sensor space, by an image database acquired off-line. Before each navigation task, a preliminary step consists in localizing the current position of the robotic system. This is realized through an image retrieval scheme, by searching within the database the views that are the most similar to the one given by the camera. Then a classical shortest path finding algorithm enables to extract from the database a sequence of views that visually describe the environment the robot has to go through in order to reach the desired position. This article mainly focuses on the control law that is used for controlling the motions of the robotic system, by comparing the visual information extracted from the current view and from the image path. This control law does not need a CAD model of the environment, and does not perform a temporal path planning. Furthermore, the images from the path are not considered as successive desired positions that have to be consecutively reached by the camera. The qualitative visual servoing scheme proposed, based on cost functions, ensures that the robotic system is always able to observe some visual features initially detected on the image path. Experiments realized in simulation and with a real system demonstrate that this formalism enables to control a camera moving in a 3D environment.Dans cet article, une nouvelle méthode est proposée pour contrôler les mouvements d'un système robotique à l'aide d'un capteur de vision monoculaire durant une tâche de navigation. Cette approche s'appuie sur une représentation topologique de l'environnement, où la scène est directement décrite dans l'espace du capteur par une base d'images acquises hors-ligne. Lors de la navigation, une étape préalable de recherche d'images permet de localiser la position courante du robot, en mettant en relation la vue que sa caméra fournit avec celles stockées dans la base. Un algorithme classique de recherche de plus-court chemin permet alors d'extraire de la base un ensemble de vues caractérisant l'espace à parcourir afin de rejoindre la position désirée. Cet article se concentre principalement sur la loi de commande permettant de déduire les mouvements du robot en fonction des informations extraites de ce chemin et de la vue courante de la caméra. Notre méthode ne s'appuie pas sur un modèle 3D de la scène, et n'effectue pas une planification temporelle de la trajectoire à réaliser. De plus, les images du chemin ne sont pas considérées comme des positions désirées intermédiaires vers lesquelles doit converger la caméra. Le schéma d'asservissement visuel proposé, qualifié de qualitatif, repose sur des fonctions de coût, et assure que le robot peut toujours observer les amers visuels initialement détectés sur le chemin d'images. Des expériences réalisées en simulation et avec un système réel montrent que le formalisme proposé permet de contrôler les mouvements d'une caméra dans un environnement 3D

Vision dynamique pour la navigation d'un robot mobile

Les travaux présentés dans cette thèse concernent l’étude des fonctionnalités visuelles sur des scènes dynamiques et ses applications à la robotique mobile. Ces fonctionnalités visuelles traitent plus précisément du suivi visuel d’objets dans des séquences d’images. Quatre méthodes de suivi visuel ont été étudiées, dont trois ont été développées spécifiquement dans le cadre de cette thèse. Ces méthodes sont : (1) le suivi de contours par un snake, avec deux variantes permettant son application à des séquences d’images couleur ou la prise en compte de contraintes sur la forme de l’objet suivi, (2) le suivi de régions par différences de motifs, (3) le suivi de contours par corrélation 1D, et enfin (4) la méthode de suivi d’un ensemble de points, fondée sur la distance de Hausdorff, développée lors d’une thèse précédente. Ces méthodes ont été analysées pour différentes tâches relatives à la navigation d’un robot mobile; une comparaison dans différents contextes a été effectuée, donnant lieu à une caractérisation des cibles et des conditions pour lesquelles chaque méthode donne de bons résultats. Les résultats de cette analyse sont pris en compte dans un module de planification perceptuelle, qui détermine quels objets (amers plans) le robot doit suivre pour se guider le long d’une trajectoire. Afin de contrôler l’exécution d’un tel plan perceptuel, plusieurs protocoles de collaboration ou d’enchaînement entre méthodes de suivi visuel ont été proposés. Finalement, ces méthodes, ainsi qu’un module de contrôle d’une caméra active (site, azimut, zoom), ont été intégrées sur un robot. Trois expérimentations ont été effectuées: a) le suivi de route en milieu extérieur, b) le suivi de primitives pour la navigation visuelle en milieu intérieur, et c) le suivi d’amers plans pour la navigation fondée sur la localisation explicite du robot. ABSTRACT : The work presented on this thesis concerns the study of visual functionalities over dynamic scenes and their applications to mobile robotics. These visual functionalities consist on visual tracking of objects on image sequences. Four methods of visual tracking has been studied, from which tree of them has been developed specifically for the context of this thesis. These methods are: (1) snakes contours tracking, with two variants, the former, to be able to applying it to a sequence of color images and the latter to consider form constraints of the followed object, (2) the tracking of regions by templates differences, (3) contour tracking by 1D correlation, and (4) the tracking method of a set of points, based on Hausdorff distance, developed on a previous thesis. These methods have been analyzed for different tasks, relatives to mobile robot’s navigation. A comparison for different contexts has been done, given to a characterization of objects and conditions for which each method gives the best results. Results from this analysis has been take into account on a perceptual planification module, that determines which objects (plane landmarks) must be tracked by the robot, to drive it over a trajectory. In order to control the execution of perceptual plan, a lot of collaboration or chaining protocols have been proposed between methods. Finally, these methods and a control module of an active camera (pan, tilt, zoom), has been integrated on a robot. Three experiments have been done: a) road tracking over natural environments, b) primitives tracking for visual navigation over human environments and c) landmark tracking for navigation based on explicit localization of robo