Exploration visuelle d'environnement intérieur par détection et modélisation d'objets saillants

Un robot compagnon doit comprendre le lieu de vie de l'homme pour satisfaire une requête telle que "Va chercher un verre dans la cuisine" avec un haut niveau d'autonomie. Pour cela, le robot doit acquérir un ensemble de représentations adaptées aux différentes tâches à effectuer. Dans cette thèse, nous proposons d'apprendre en ligne un modèle d'apparence de structures locales qui pourront être nommées par l'utilisateur. Cela permettra ensuite de caractériser un lieu topologique (ex: la cuisine) par un ensemble de structures locales ou d'objets s'y trouvant (réfrigérateur, cafetière, evier, ...). Pour découvrir ces structures locales, nous proposons une approche cognitive, exploitant des processus visuels pré-attentif et attentif, mis en oeuvre à partir d'un système sensoriel multi-focal. Le processus pré-attentif a pour rôle la détection de zones d'intérêt, supposées contenir des informations visuelles discriminantes: basé sur le modèle de 'saillance' de Itti et Koch, il détecte ces zones dans une carte de saillance, construite à partir d'images acquises avec une caméra large champ; une zone détectée est ensuite suivie sur quelques images afin d'estimer grossièrement la taille et la position 3D de la structure locale de l'environnement qui lui correspond. Le processus attentif se focalise sur la zone d'intérêt: le but est de caractériser chaque structure locale, par un modèle d'apparence sous la forme de mémoires associatives vues-patches-aspects. De chaque image sont extraits des points d'intérêt, caractérisés par un descripteur d'apparence local. Après cette phase d'exploration, l'homme peut annoter le modèle en segmentant les structures locales en objets, en nommant ces objets et en les regroupant dans des zones (cuisine). Ce modèle d'apparence sera ensuite exploité pour la reconnaissance et la localisation grossière des objets et des lieux perçus par le robot. ABSTRACT : A robot companion has to understand a domotic environment in order to execute requests like « Search a glass in the kitchen » with a high level of autonomy. So the robot must acquire several representations adapted to the tasks to be executed. This thesis proposes an on line learning method of an environment model expressed as a set of local structures described by appearance-based characteristics, and possibly named by a tutor. Such descriptions could be used in order to define a topological area (e.g. the kitchen) by a set of local structures or objects that could be found here (e.g. glasses, fridge, pans). For the construction of such a representation, it is proposed a cognitive mehod, based on attentive and preattentive visual processes, acquiring images from a multifocal sensor. The preattentive process aims at detect interest regions, that could contain discriminant visual information ; based on the saliency concept proposed initially bu Itti and Koch, interest regions are extracted from a saliency map, built from images acquired by a short lens or panoramic camera (large view field). Such a region is then tracked on several successive images acquired while the robot is moving, so that the size and the 3D position of the corresponding local structure could be coarsely estimated. Then the attentive process exploits attentionam mechanisms in order to be focused successively on each interest region : it aims to characterize each local structure by an appearance-based model defined by an associative memort views-patches-aspects. Salient scaled patches or SIFT features are extracted from every image. After this exploration step is over, the robot tutor could annotated the model, segmenting local structures in objects, naming objects and grouping them in areas (kitchen). Then, the robot exploits this environment model for the recognition and the coarse localization of objects and areas

Méthodes probabilistes basées sur les mots visuels pour la reconnaissance de lieux sémantiques par un robot mobile.

Les êtres humains définissent naturellement leur espace quotidien en unités discrètes. Par exemple, nous sommes capables d'identifier le lieu où nous sommes (e.g. le bureau 205) et sa catégorie (i.e. un bureau), sur la base de leur seule apparence visuelle. Les travaux récents en reconnaissance de lieux sémantiques, visent à doter les robots de capacités similaires. Ces unités, appelées "lieux sémantiques", sont caractérisées par une extension spatiale et une unité fonctionnelle, ce qui distingue ce domaine des travaux habituels en cartographie. Nous présentons nos travaux dans le domaine de la reconnaissance de lieux sémantiques. Ces derniers ont plusieurs originalités par rapport à l'état de l'art. Premièrement, ils combinent la caractérisation globale d'une image, intéressante car elle permet de s'affranchir des variations locales de l'apparence des lieux, et les méthodes basées sur les mots visuels, qui reposent sur la classification non-supervisée de descripteurs locaux. Deuxièmement, et de manière intimement reliée, ils tirent parti du flux d'images fourni par le robot en utilisant des méthodes bayésiennes d'intégration temporelle. Dans un premier modèle, nous ne tenons pas compte de l'ordre des images. Le mécanisme d'intégration est donc particulièrement simple mais montre des difficultés à repérer les changements de lieux. Nous élaborons donc plusieurs mécanismes de détection des transitions entre lieux qui ne nécessitent pas d'apprentissage supplémentaire. Une deuxième version enrichit le formalisme classique du filtrage bayésien en utilisant l'ordre local d'apparition des images. Nous comparons nos méthodes à l'état de l'art sur des tâches de reconnaissance d'instances et de catégorisation, en utilisant plusieurs bases de données. Nous étudions l'influence des paramètres sur les performances et comparons les différents types de codage employés sur une même base.Ces expériences montrent que nos méthodes sont supérieures à l'état de l'art, en particulier sur les tâches de catégorisation.Human beings naturally organize their space as composed of discrete units. Those units, called "semantic places", are characterized by their spatial extend and their functional unity. Moreover, we are able to quickly recognize a given place (e.g. office 205) and its category (i.e. an office), solely on their visual appearance. Recent works in semantic place recognition seek to endow the robot with similar capabilities. Contrary to classical localization and mapping work, this problem is usually tackled as a supervised learning problem. Our contributions are two fold. First, we combine global image characterization, which captures the global organization of the image, and visual words methods which are usually based unsupervised classification of local signatures. Our second but closely related, contribution is to use several images for recognition by using Bayesian methods for temporal integration. Our first model don't use the natural temporal ordering of images. Temporal integration is very simple but has difficulties when the robot moves from one place to another.We thus develop several mechanisms to detect place transitions. Those mechanisms are simple and don't require additional learning. A second model augment the classical Bayesian filtering approach by using the local order among images. We compare our methods to state-of-the-art algorithms on place recognition and place categorization tasks.We study the influence of system parameters and compare the different global characterization methods on the same dataset. These experiments show that our approach while being simple leads to better results especially on the place categorization task.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

Asservissement d’un système de navigation autonime par réseaux de neurones

Un système de navigation autonome ou robot mobile autonome doit être capable de percevoir son environnement, générer et exécuter une trajectoire en réaction appropriée à l’information perçue. Il faut pour cela le doter d'un système de navigation robuste. Ce mémoire présente une étude sur le contrôle du cap et de la vitesse d'un véhicule au moyen d'un perceptron multicouche entrainé avec l'algorithme de rétro-propagation du gradient. L'objectif est d’évaluer la capacité de ce type de réseau de neurones à contrôler le cap et la vitesse que doit adopter un robot mobile en fonction de ses entrées perceptives pour éviter d’entrer en collision avec les obstacles présents dans son voisinage. Pour ce faire, une stratégie de perception et de planification du déplacement a été développée et sa capacité à contrôler un mobile autonome a été montrée. Cette stratégie utilise deux réseaux de neurones fonctionnant en parallèle, l'un pour la commande du cap et l'autre pour la commande de la vitesse exploitant les deux le même système perceptif. Les résultats de la simulation sur Matlab sont présentés et analysés au regard de ce qu'est l'apprentissage statistique et de ce qu'on peut en attendre dans le cadre de la navigation autonome. Cette approche a l'avantage d'être simple et d'indiquer avec précision les degrés de rotation et la vitesse nécessaire avec une vision à long terme empêchant les blocages ou divergences de parcours contrairement aux approches habituelles rencontrées dans la littérature

Vers un modèle biologiquement plausible de la sélection de l'action pour un robot mobile

This thesis aims at studying the different mechanisms involved in action selection and de-cision making processes, according to animal experiments and neurobiological recordings. Forthat matter, we propose several biologically plausible models for action selection. The goal is toachieve a better understanding of the animal’s brain functions. This gives us the opportunity todevelop bioinspired control architectures for robots that are more robust and adaptative to a realenvironement. These models are based on Artificial Neural Networks, allowing us to test ourhypotheses on simulations of different brain regions and function, implemented on robots andvirtual agents.Action selection for mobile robots can be approached from different angles. This processcan be seen as the selection between two possibilities, e.g. go left or go right. Those mechanismsinvolve the ability to learn and categorize specific events, encoding contexts where a change inthe perception is perceived, a change in the behavior is noticed or the decision is made. There-fore, this thesis studies those capacities of acquisition, categorisation and coding of differentevents that can be relevant for action selection.We also, approach the action selection as a strategy selection. The different behaviors areguided consciously or through automated behavior learned as habits. We investigate differentpossibilities allowing a robot to develop those capacities. Also, we aim at studying interactionsthat can emerge between those mechanisms during navigational behaviors.The work presented in this these is based on the modelisation of the hippocampo-cotico-basal loops involved in the navigational behaviors, the action selection and the multimodal cat-egorisation of events. We base our models on a previous model of the hippocampus for thelearning of spatio-temporal associations and for multimodal conditionning of perceptive events.It is based on sensorimotor associations between place cells and actions to achieve navigationalbehaviors. The model involves also a specific type of hippocampic cells, named transition cells,for temporal prediction of future events. This capacity allows the model to learn spatio-temporalsequences, and it represents the neural substrate for the learning of a cognitive map, hypoth-esised to be localized in prefrontal and/or parietal areas. This kind of topological map allowsto plan the behavior of the robot according to its motivations, which is used in goal orientedexperiments to achieve goals and capture rewardsCette thèse étudie les mécanismes de sélection de l’action et de choix de stratégie tels qu’ilsapparaissent à travers des expériences animales et des enregistrements neurobiologiques. Nousproposons ensuite des modèles biologiquement plausibles de la sélection de l’action. L’objectifest de mieux comprendre le fonctionnement du cerveau chez les êtres vivants et de pouvoir endéduire des architectures de contrôle bio-inspirées, plus robustes et adaptées à l’environnement.Les modèles étudiés sont réalisés avec des réseaux de neurones artificiels, permettant de mod-éliser des régions cérébrales et ainsi pouvoir simuler le fonctionnement du cerveau, ce qui permetde tester nos hypothèses sur des robots et des agents virtuels.L’étude de la sélection de l’action pour des robots mobiles implique plusieurs approches. Lasélection de l’action peut être étudiée du point de vue du choix entre plusieurs actions basiques,e.g. un choix binaire aller à gauche ou à droite.Ceci passe forcément par l’acquisition et la catégorisation d’instants et d’événements spéciaux,perçus ou effectués, qui représentent des contextes dans lesquels la perception change, le com-portement est modifié ou bien la sélection est réalisée. Ainsi, la thèse traite aussi de l’acquisition,la catégorisation et l’encodage de ces événements importants dans la sélection de l’action.Enfin, on s’intéressera à la sélection de l’action du point de vue de la sélection de stratégie.Les différents comportements peuvent être dirigés consciemment ou bien être des automatismesacquis avec l’habitude. Le but ici est d’explorer différentes approches pour que le robot puissedévelopper ces deux capacités, mais aussi d’étudier les interactions entre ces types de mécan-ismes dans la cadre de tâches de navigation.Les travaux de cette thèse se basent sur la modélisation du fonctionnement de différentesboucles hippocampo-cortico-basales impliquées dans des tâches de navigation, de sélection del’action et de catégorisations multimodales. En particulier, nous avons un modèle de l’hippocampepermettant d’apprendre des associations spatio-temporelles et des conditionnements multimodauxentre des événements perceptifs. Il se base sur des associations sensorimotrices entre des cellulesappelées cellules de lieu qui sont associées avec des actions pour définir des comportements co-hérents. Le modèle fait aussi intervenir des cellules de transition hippocampiques, permettant defaire des prédictions temporelles sur les événements futurs. Celles-ci permettent l’apprentissagede séquences spatio-temporelles, notamment du fait qu’elles représentent le substrat neuronal àl’apprentissage d’une carte cognitive, située elle au niveau du cortex préfrontal et/ou pariétal.Ce type de carte permet de planifier des chemins à suivre en fonction des motivations du robot,ce qui permet de rejoindre différents buts précédemment découverts dans l’environnement

Sélection et contrôle de modes de déplacement pour un robot mobile autonome en environnements naturels

Le déplacement entièrement autonome d'un robot mobile en environnements naturels est un problème encore loin d'être résolu. Il nécessite la mise en oeuvre de fonctionnalités permettant de réaliser le cycle perception/décision/action, que nous distinguons en deux catégories : navigation (perception et décision sur le mouvement à réaliser) et locomotion (réalisation du mouvement). Pour pouvoir faire face à la grande diversité de situations que le robot peut rencontrer en environnement naturel, il peut être primordial de disposer de plusieurs types de fonctionnalités complémentaires, constituant autant de modes de déplacement possibles. En effet, de nombreuses réalisations de ces derniers ont été proposées dans la littérature ces dernières années mais aucun ne peut prétendre permettre d'exécuter un déplacement autonome en toute situation. Par conséquent, il semble judicieux de doter un robot mobile d'extérieur de plusieurs modes de déplacement complémentaires. Dès lors, ce dernier doit également disposer de moyens de choisir en ligne le mode le plus approprié. Dans ce cadre, cette thèse propose une mise en oeuvre d'un tel système de sélection de mode de déplacement, réalisée à partir de deux types de données : une observation du contexte pour déterminer dans quel type de situation le robot doit réaliser son déplacement et une surveillance du comportement du mode courant, effectuée par des moniteurs, et qui influence les transitions vers d'autres modes lorsque le comportement du mode actuel est jugé non satisfaisant. Ce manuscrit présente donc : un formalisme probabiliste d'estimation du mode à appliquer, des modes de navigation et de locomotion exploités pour réaliser le déplacement autonome, une méthode de représentation qualitative du terrain (reposant sur l'évaluation d'une difficulté calculée après placement de la structure du robot sur un modèle numérique de terrain), et des moniteurs surveillant le comportement des modes de déplacement utilisés (évaluation de l'efficacité de la locomotion par roulement, surveillance de l'attitude et de la conguration du robot...). Quelques résultats expérimentaux de ces éléments intégrés à bord de deux robots d'extérieur différents sont enfin présentés et discutés. ABSTRACT : Autonomous navigation and locomotion of a mobile robot in natural environments remain a rather open issue. Several functionalities are required to complete the usual perception/decision/action cycle. They can be divided in two main categories : navigation (perception and decision about the movement) and locomotion (movement execution). In order to be able to face the large range of possible situations in natural environments, it is essential to make use of various kinds of complementaryfunctionalities, defining various navigation and locomotion modes. Indeed, a number of navigation and locomotion approaches have been proposed in the litterature for the last years, but none can pretend being able to achieve autonomous navigation and locomotion in every situation. Thus, it seems relevant to endow an outdoor mobile robot with several complementary navigation and locomotion modes. Accordingly, the robot must also have means to select the most appropriate mode to apply. This thesis proposes the development of such a navigation/locomotion mode selection system, based on two types of data : an observation of the context to determine in what kind of situation the robot has to achieve its movement and an evaluation of the behavior of the current mode, made by monitors which inuence the transitions towards other modes when the behavior of the current one is considered as non satisfying. Hence, this document introduces a probabilistic framework for the estimation of the mode to be applied, some navigation and locomotion modes used, a qualitative terrain representation method (based on the evaluation of a diculty computed from the placement of the robot's structure on a digital elevation map), and monitors that check the behavior of the modes used (evaluation of rolling locomotion efficiency, robot's attitude and conguration watching. . .). Some experimental results obtained with those elements integrated on board two different outdoor robots are presented and discussed

Modélisation bayésienne et robotique

This document describes my research around Bayesian modeling and robotics. My work started with the modeling of biological processes before evolving towards robotics. In both cases, I was interested in both perception and action. I first proposed a model of human perception of planar surfaces with optic flow which fuses in a single framework two concurrent hypotheses of the literature. I also proposed and compared several models of eye movement selection in a Multiple Object Tracking task. I was able to show that the model with explicit uncertainty was the closest to the subjects eye movements.In robotics, I worked on the state estimation of several robots with classical filtering techniques but also including fusion of multiple sources of information of various nature and characteristics. I also discuss the Iterative Closest Point algorithm for which we proposed a more rigorous method for evaluating the different variants. The last piece of work I present deals with online three-dimensional path planning and execution of a tracked robot with significant climbing capabilities.I conclude this document with perspectives on what I call situated robotics, that is robots not taken in isolation but embedded in a sensorized environment shared with humans.Ce document décrit mes travaux de recherche autour de la modélisation bayésienne et de la robotique. Mon travail a commencé par la modélisation de processus biologiques avant, dans un deuxième temps, d'évoluer vers la robotique. Dans les deux cas, je me suis intéressé à la fois à la perception et à l'action. J'ai donc proposé un modèle de la perception humaine de plans par le flux optique qui réunit deux hypothèses de la littérature dans un cadre unique. J'ai aussi proposé et comparé différents modèle de la sélection de mouvement oculaire dans une tâche de suivi multi-cibles, et montré que le modèle prenant en compte explicitement l'incertitude proposait des mouvements plus proches de ceux des sujets.Du côté robotique, j'ai travaillé sur l'estimation d'état de plusieurs robots avec des techniques classiques de filtrage mais en incluant la fusion de plusieurs sources d'informations de nature et caractéristiques différentes. Je discute aussi de l'algorithme d'Iterative Closest Point pour proposer une méthode plus rigoureuse d'évaluation des différentes variantes. Le dernier travail que je présente concerne la planification en ligne et l'exécution de chemin pour un robot à chenille avec des capacités de franchissement importantes.Je conclus ce document par des perspectives de travail sur ce que j'appelle la robotique située, c'est-à-dire des robots non plus isolés mais plongés dans un environnement équipé de capteurs et partagé avec des humains

Formalisme et mesure de la perception : Intérêt de la dynamique sensori-motrice chez un agent robotique

Notre objectif est de proposer une définition de la perception et de montrer comment un agent autonome peut apprendre à construire sa propre perception de son environnement. Nous présentons cette formalisation dans un cas concret de robotique : un robot Koala muni d'une caméra a pour tâche de se diriger vers un objet précédemment appris. Des outils de visualisation d'une mesure de la perception sont mis en oeuvre. Ceux-ci sont basés sur l'exploitation des sensations et des actions de l'agent enregistrées au cours d'expériences. L'apprentissage sensori-moteur réalisé par l'agent permet à ce dernier de déformer sa perception : du point de vue comportemental, un invariant est créé. Enfin l'observation de l'évolution temporelle de la perception est révélatrice de l'importance des dynamiques des boucles sensori-motrices

Détection et reconnaissance de cibles en ligne pour des UAV autonomes avec un modèle de type POMDP

Cet article présente une mission pour la détection et reconnaissance de cibles menée par un véhicule aérien inhabité (UAV) autonome. La mission est modélisée par un Processus de Markov Partiellement Observable (POMDP). Le modèle POMDP traite dans un cadre unique des actions de perception (comme l'angle de prise de vue de la caméra) et des actions qui mènent à l'accomplissement de la mission (changement de zone, altitude de vol, atterrissage). La mission consiste à atterrir dans la zone qui contient une voiture dont le modèle reconnu est celui recherché, avec un état de croyance suffisant. Nous expliquons comment nous avons appris le modèle d'observation probabiliste du POMDP à partir d'une étude statistique des sorties de l'algorithme de traitement d'image. Cet algorithme utilisé pour reconnaître des objets dans la scène est embarquée sur notre UAV. Nous présentons aussi notre cadre \emph{optimize-while-executing}, qui administre un sous-planificateur POMDP pour optimiser et exécuter en parallèle la politique avec des contraintes de temps associées à la durée des actions, et qui raisonne sur les états futurs possibles du système robotique. Finalement, nos résultats expérimentaux sont présentés. Ils démontrent que des techniques d'intelligence artificielle comme les POMDP peuvent être appliquées avec succès pour contrôler automatiquement des actions de perception et d'accomplissement de mission pour des missions complexes en temps contraint pour un UAV autonome