Interactions entre robots : aspects dynamiques et sensoriels

La vision pour les robots mobiles -- Planification de chemin pour les robots mobiles -- Les régions atteignalbles d'un système dynamique -- La coopération et l'interaction de robots mobiles -- Concept de carte dynamique -- Utilisation des cartes dynamiques pour la planification -- Apprentissage des cartes dynamiques -- Banc d'essai expérimental -- Système d'odométrie simulée -- Protocole de communication entre les stations de travail -- Système de vision active -- Implantation du système de planification basée sur les cartes dynamiques sur le banc d'essai expérimental

Gestion de mémoire pour la détection de fermeture de boucle pour la cartographie temps réel par un robot mobile

Pour permettre à un robot autonome de faire des tâches complexes, il est important qu'il puisse cartographier son environnement pour s'y localiser. À long terme, pour corriger sa carte globale, il est nécessaire qu'il détecte les endroits déjà visités. C'est une des caractéristiques les plus importantes en localisation et cartographie simultanée (SLAM), mais aussi sa principale limitation. La charge de calcul augmente en fonction de la taille de l'environnement, et alors les algorithmes n'arrivent plus à s'exécuter en temps réel. Pour résoudre cette problématique, l'objectif est de développer un nouvel algorithme de détection en temps réel d'endroits déjà visités, et qui fonctionne peu importe la taille de l'environnement. La détection de fermetures de boucle, c'est-à-dire la reconnaissance des endroits déjà visités, est réalisée par un algorithme probabiliste robuste d'évaluation de la similitude entre les images acquises par une caméra à intervalles réguliers. Pour gérer efficacement la charge de calcul de cet algorithme, la mémoire du robot est divisée en mémoires à long terme (base de données), à court terme et de travail (mémoires vives). La mémoire de travail garde les images les plus caractéristiques de l'environnement afin de respecter la contrainte d'exécution temps réel. Lorsque la contrainte de temps réel est atteinte, les images des endroits vus les moins souvent depuis longtemps sont transférées de la mémoire de travail à la mémoire à long terme. Ces images transférées peuvent être récupérées de la mémoire à long terme à la mémoire de travail lorsqu'une image voisine dans la mémoire de travail reçoit une haute probabilité que le robot soit déjà passé par cet endroit, augmentant ainsi la capacité de détecter des endroits déjà visités avec les prochaines images acquises. Le système a été testé avec des données préalablement prises sur le campus de l'Université de Sherbrooke afin d'évaluer sa performance sur de longues distances, ainsi qu'avec quatre autres ensembles de données standards afin d'évaluer sa capacité d'adaptation avec différents environnements. Les résultats suggèrent que l'algorithme atteint les objectifs fixés et permet d'obtenir des performances supérieures que les approches existantes. Ce nouvel algorithme de détection de fermeture de boucle peut être utilisé directement comme une technique de SLAM topologique ou en parallèle avec une technique de SLAM existante afin de détecter les endroits déjà visités par un robot autonome. Lors d'une détection de boucle, la carte globale peut alors être corrigée en utilisant la nouvelle contrainte créée entre le nouveau et l'ancien endroit semblable

Commande locale décentralisée de robots mobiles en formation en milieu naturel

This thesis focuses on the issue of the control of a formation of wheeled mobile robots travelling in off-road conditions. The goal of the application is to follow a reference trajectory (entirely or partially) known beforehand. Each robot of the fleet has to track this trajectory while coordinating its motion with the other robots in order to maintain a formation described as a set of desired distances between vehicles. The off-road context has to be considered thoroughly as it creates perturbations in the motion of the robots. The contact of the tire on an irregular and slippery ground induces significant slipping and skidding. These phenomena are hardly measurable with direct sensors, therefore an observer is set up in order to get an estimation of their value. The skidding effect is included in the evolution of each robot as a side-slip angle, thus creating an extended kinematic model of evolution. From this model, adaptive control laws on steering angle and velocity for each robot are designed independently. These permit to control respectively the lateral distance to the trajectory and the curvilinear interdistance of the robot to a target. Predictive control techniques lead then to extend these control laws in order to account for the actuators behavior so that positioning errors due to the delay of the robot response to the commands are cancelled. The elementary control law on the velocity control ensures an accurate longitudinal positioning of a robot with respect to a target. It serves as a base for a global fleet control strategy which declines the overall formation maintaining goal in local positioning objective for each robot. A bidirectionnal control strategy is designed, in which each robot defines 2 targets, the immediate preceding and following robot in the fleet. The velocity control of a robot is finally defined as a linear combination of the two velocity commands obtained by the elementary control law for each target. The linear combination parameters are investigated, first defining constant parameters for which the stability of the formation is proved through Lyapunov techniques, then considering the effect of variable coefficients in order to adapt in real time the overall behavior of the formation. The formation configuration can indeed be prone to evolve, for application purposes and to guarantee the security of the robots. To fulfill this latter requirement, each robot of the fleet estimates in real time a minimal stopping distance in case of emergency and two avoidance trajectories to get around the preceding vehicle if this one suddenly stops. Given the initial configuration of the formation and the emergency behaviors calculated, the desired distances between the robots can be adapted so that the new configuration thus described ensures the security of each and every robot of the formation against potential collisions.La problématique étudiée dans cette thèse concerne le guidage en formation d’une flotte de robots mobiles en environnement naturel. L’objectif poursuivi par les robots est de suivre une trajectoire connue (totalement ou partiellement) en se coordonnant avec les autres robots pour maintenir une formation décrite comme un ensemble de distances désirées entre les véhicules. Le contexte d’évolution en environnement naturel doit être pris en compte par les effets qu’il induit sur le déplacement des robots. En effet, les conditions d’adhérence sont variables et créent des glissements significatifs des roues sur le sol. Ces glissements n’étant pas directement mesurables, un observateur est mis en place, permettant d’obtenir une estimation de leur valeur. Les glissements sont alors intégrés au modèle d’évolution, décrivant ainsi un modèle cinématique étendu. En s’appuyant sur ce modèle, des lois de commande adaptatives sur l’angle de braquage et la vitesse d’avance d’un robot sont alors conçues indépendamment, asservissant respectivement son écart latéral à la trajectoire et l’interdistance curviligne de ce robot à une cible. Dans un second temps, ces lois de commande sont enrichies par un algorithme prédictif, permettant de prendre en compte le comportement de réponse des actionneurs et ainsi d’éviter les erreurs conséquentes aux retards de la réponse du système aux commandes. À partir de la loi de commande élémentaire en vitesse permettant d’assurer un asservissement précis d’un robot par rapport à une cible, une stratégie de commande globale au niveau de la flotte est établie. Celle-ci décline l’objectif de maintien de la formation en consigne d’asservissement désiré pour chaque robot. La stratégie de commande bidirectionnelle conçue stipule que chaque robot définit deux cibles que sont le robot immédiatement précédent et le robot immédiatement suivant dans la formation. La commande de vitesse de chaque robot de la formation est obtenue par une combinaison linéaire des vitesses calculées par la commande élémentaire par rapport à chacune des cibles. L’utilisation de coefficients de combinaison constants au sein de la flotte permet de prouver la stabilité de la commande en formation, puis la définition de coefficients variables est envisagée pour adapter en temps réel le comportement de la flotte. La formation peut en effet être amenée à évoluer, notamment en fonction des impératifs de sécurisation des véhicules. Pour répondre à ce besoin, chaque robot estime en temps réel une distance d’arrêt minimale en cas d’urgence et des trajectoires d’urgence pour l’évitement du robot précédent. D’après la configuration de la formation et les comportements d’urgence calculés, les distances désirées au sein de la flotte peuvent alors être modifiées en ligne afin de décrire une configuration sûre de la formation

Navigation autonome sans collision pour robots mobiles nonholonomes

Cette thèse traite de la navigation autonome en environnement encombré pour des véhicules à roues soumis à des contraintes cinématiques de type nonholonome. Les applications de ces travaux sont par exemple l'automatisation de véhicules ou l'assistance au parking. Notre contribution porte sur le développement de méthodes qui réalisent certaines des fonctionnalités de la navigation autonome et sur l'intégration de ces différentes fonctionnalités au sein d'une architecture générique, en tenant compte des spécificités des systèmes considérés. Nous présentons une méthode d'évitement réactif d'obstacles pour systèmes nonholonomes et nous proposons une méthode de parking référencé sur des amers pour de tels systèmes. Ensuite nous présentons une architecture générique pour l'intégration des fonctionnalités de localisation, d'évitement d'obstacles et de suivi de trajectoire. Enfin nous illustrons l'ensemble de ces travaux par des résultatsexpérimentaux obtenus avec plusieurs robots. ABSTRACT : This work deals with autonomous navigation in cluttered environments for wheeled mobile robots subject to nonholonomic kinematic constraints. The potential applications of this work are for instance the development of autonomous cars and of parking assistance systems. Our contribution lies in the development of original methods to solve some of the functionalities of autonomous navigation and in their integration into a generic software architecture, while taking into account the specificities of the systems we deal with. We present an obstacle avoidance method for nonholonomic systems and we propose a landmark-based parking method for such systems. Then, we present a generic architecture for the integration of the functionalities of localisation, obstacle avoidance and trajectory following. Eventually, we illustrate this work with some experimental results obtained with several robots

Planification interactive de trajectoire en Réalité Virtuelle sur la base de données géométriques, topologiques et sémantiques

Pour limiter le temps et le coût de développement de nouveaux produits, l’industrie a besoin d’outils pour concevoir, tester et valider le produit avec des prototypes virtuels. Ces prototypes virtuels doivent permettre de tester le produit à toutes les étapes du Product Lifecycle Management (PLM). Beaucoup d’opérations du cycle de vie du produit impliquent la manipulation par un humain des composants du produit (montage, démontage ou maintenance du produit). Du fait de l’intégration croissante des produits industriels, ces manipulations sont réalisées dans un environnement encombré. La Réalité Virtuelle (RV) permet à des opérateurs réels d’exécuter ces opérations avec des prototypes virtuels. Ce travail de recherche introduit une nouvelle architecture de planification de trajectoire permettant la collaboration d’un utilisateur de RV et d’un système de planification de trajectoire automatique. Cette architecture s’appuie sur un modèle d’environnement original comprenant des informations sémantiques, topologiques et géométriques. Le processus de planification automatique de trajectoire est scindé en deux phases. Une planification grossière d’abord exploitant les données sémantiques et topologiques. Cette phase permet de définir un chemin topologique. Une planification fine ensuite exploitant les données sémantiques et géométriques détermine un trajectoire géométrique dans le chemin topologique défini lors de la planification grossière. La collaboration entre le système de planification automatique et l’utilisateur de RV s’articule autour de deux modes : en premier lieu, l’utilisateur est guidé sur une trajectoire pré-calculée à travers une interface haptique ; en second lieu, l’utilisateur peut quitter la solution proposée et déclencher ainsi une re-planification. L’efficacité et l’ergonomie des ces deux modes d’interaction est enrichie grâce à des méthodes de partage de contrôle : tout d’abord, l’autorité du système automatique est modulée afin de fournir à la fois un guidage prégnant lorsque l’utilisateur le suit, et plus de liberté à l’utilisateur (un guidage atténué) lorsque celui-ci explore des chemins alternatifs potentiellement meilleurs. Ensuite, lorsque l’utilisateur explore des chemins alternatifs, ses intentions sont prédites (grâce aux données géométriques associées aux éléments topologiques) et intégrées dans le processus de re-planification pour guider la planification grossière. Ce mémoire est organisé en cinq chapitres. Le premier expose le contexte industriel ayant motivé ces travaux. Après une description des outils de modélisation de l’environnement, le deuxième chapitre introduit le modèle multi-niveaux de l’environnement proposé. Le troisième chapitre présente les techniques de planification de trajectoire issues de la robotique et détaille le processus original de planification de trajectoire en deux phases développé. Le quatrième introduit les travaux précurseurs de planification interactive de trajectoire et les techniques de partage de contrôle existantes avant de décrire les modes d’interaction et les techniques de partage de contrôle mises en œuvre dans notre planificateur interactif de trajectoire. Enfin le dernier chapitre présente les expérimentations menées avec le planificateur de trajectoire et en analyse leurs résultats. ABSTRACT : To save time and money while designing new products, industry needs tools to design, test and validate the product using virtual prototypes. These virtual prototypes must enable to test the product at all Product Lifecycle Management (PLM) stages. Many operations in product’s lifecycle involve human manipulation of product components (product assembly, disassembly or maintenance). Cue to the increasing integration of industrial products, these manipulations are performed in cluttered environment. Virtual Reality (VR) enables real operators to perform these operations with virtual prototypes. This research work introduces a novel path planning architecture allowing collaboration between a VR user and an automatic path planning system. This architecture is based on an original environment model including semantic, topological and geometric information. The automatic path planning process split in two phases. First, coarse planning uses semantic and topological information. This phase defines a topological path. Then, fine planning uses semantic and geometric information to define a geometrical trajectory within the topological path defined by the coarse planning. The collaboration between VR user and automatic path planner is made of two modes: on one hand, the user is guided along a pre-computed path through a haptic device, on the other hand, the user can go away from the proposed solution and doing it, he starts a re-planning process. Efficiency and ergonomics of both interaction modes is improved thanks to control sharing methods. First, the authority of the automatic system is modulated to provide the user with a sensitive guidance while he follows it and to free the user (weakened guidance) when he explores possible better ways. Second, when the user explores possible better ways, his intents are predicted (thanks to geometrical data associated to topological elements) and integrated in the re-planning process to guide the coarse planning. This thesis is divided in five chapters. The first one exposes the industrial context that motivated this work. Following a description of environment modeling tools, the second chapter introduces the multi-layer environment model proposed. The third chapter presents the path planning techniques from robotics research and details the two phases path planning process developed. The fourth introduce previous work on interactive path planning and control sharing techniques before to describe the interaction modes and control sharing techniques involved in our interactive path planner. Finally, last chapter introduces the experimentations performed with our path planner and analyses their results

Navigation visuelle d'un robot mobile dans un environnement d'extérieur semi-structuré

Cette thèse porte sur le traitement automatique d'images couleur, et son application à la robotique dans des environnements semi-structurés d'extérieur. Nous proposons une méthode de navigation visuelle pour des robots mobiles en utilisant une caméra couleur. Les domaines d'application de ce travail se situent dans l'automatisation de machines agricoles, en vue de la navigation automatique dans un réseau de chemins (pour aller d'une ferme à un champ par exemple). Nous présentons tout d'abord une analyse des principaux travaux de recherche dans la littérature sur la navigation visuelle. Une chaîne de pré-traitement pour le rendu couleur d'images numériques mono-capteur dotées d'un filtre Bayer est présentée ; elle se base sur une étude des techniques de démosaïquage, le calibrage chromatique d'images (balance de blancs) et la correction gamma. Une méthode d'interprétation monoculaire de la scène courante permet d'extraire les régions navigables et un modèle 2D de la scène. Nous traitons de la segmentation d'une image couleur en régions, puis de la caractérisation de ces régions par des attributs de texture et de couleur, et enfin, de l'identification des diverses entités de la scène courante (chemin, herbe, arbre, ciel, champ labouré,. . . ). Pour cela, nous exploitons deux méthodes de classification supervisée : la méthode de Support Vector Machine (SVM) et celle des k plus proches voisins (k-PPV). Une réduction d'information redondante par une analyse en composantes indépendantes (ACI) a permis d'améliorer le taux global de reconnaissance. Dans un réseau de chemins, le robot doit reconnaître les intersections de chemins lui permettant (a) dans une phase d'apprentissage, de construire un modèle topologique du réseau dans lequel il va devoir se déplacer et (b) dans une phase de navigation, de planifier et exécuter une trajectoire topologique définie dans ce réseau. Nous proposons donc une méthode de détection et classification du chemin : ligne droite, virage gauche, virage droite, carrefour en X, en T ou en Y. Une approche pour la représentation de la forme et de la catégorisation des contours (Shape Context) est utilisée à cet effet. Une validation a été effectuée sur une base d'images de routes ou chemins de campagne. En exploitant cette méthode pour détecter et classifier les noeuds du réseau de chemins, un modèle topologique sous forme d'un graphe est construit ; la méthode est validée sur une séquence d'images de synthèse. Enfin, dans la dernière partie de la thèse, nous décrivons des résultats expérimentaux obtenus sur le démonstrateur Dala du groupe Robotique et IA du LAAS-CNRS. Le déplacement du robot est contrôlé et guidé par l'information fournie par le système de vision à travers des primitives de déplacement élémentaires (Suivi-Chemin, Suivi-Objet, Suivi-Bordure,. . . ). Le robot se place au milieu du chemin en construisant une trajectoire à partir du contour de cette région navigable. étant donné que le modèle sémantique de la scène est produit à basse fréquence (de 0,5 à 1 Hz) par le module de vision couleur, nous avons intégré avec celui-ci, un module de suivi temporel des bords du chemin (par Snakes), pour augmenter la fréquence d'envoi des consignes (de 5 à 10 Hz) au module de locomotion. Modules de vision couleur et de suivi temporel doivent être synchronisés de sorte que le suivi puisse être réinitialisé en cas de dérive. Après chaque détection du chemin, une trajectoire sur le sol est planifiée et exécutée ; les anciennes consignes qui ne sont pas encore exécutées sont fusionnées et filtrées avec les nouvelles, donnant de la stabilité au système. ABSTRACT : This thesis deals with the automatic processing of color images, and its application to robotics in outdoor semi-structured environments. We propose a visual-based navigation method for mobile robots by using an onboard color camera. The objective is the robotization of agricultural machines, in order to navigate automatically on a network of roads (to go from a farm to a given field). Firstly, we present an analysis of the main research works about visual-based navigation literature. A preprocessing chain for color rendering on mono-sensor digital images equipped with a Bayer filter, is presented ; it is based on the analysis of the demosaicking techniques, the chromatic calibration of images (white point balance) and the correction gamma. Our monocular scene interpretation method makes possible to extract the navigable regions and a basic 2D scene modeling. We propose functions for the segmentation of the color images, then for the characterization of the extracted regions by texture and color attributes, and at last, for their classification in order to recognize the road and other entities of the current scene (grass, trees, clouds, hedges, fields,. . . ). Thus, we use two supervised classification methods : Support Vector Machines (SVM) and k nearest neighbors (k-NN). A redundancy reduction by using independent components analysis (ICA) was performed in order to improve the overall recognition rate. In a road network, the robot needs to recognize the roads intersections in order to navigate and to build a topological model from its trajectory. An approach for the road classification is proposed to recognize : straight ahead, turn-left, turn-right, road intersections and road bifurcations. An approach based on the road shape representation and categorization (shape context) is used for this purpose. A validation was carried out on an image dataset of roads or country lanes. By exploiting this method to detect and classify the nodes of a road network, a topological model based on a graph is built ; the method is validated on a sequence of synthetic images. Finally, Robot displacement is controlled and guided by the information provided by the vision system through elementary displacement primitives (Road-Follow, Follow-Object, Follow-Border,. . . ). Robot Dala is placed in the middle of the road by computing a trajectory obtained from the navigable region contours. As retrieving semantic information from vision is computationally demanding (low frequency 0.5 ¼ 1 Hz), a Snakes tracking process was implemented to speed up the transfer of instructions (5 ¼ 10 Hz) to the locomotion module. Both tasks must be synchronized, so the tracking can be re-initialized if a failure is detected. Locomotion tasks are planned and carried out while waiting for new data from the vision module ; the instructions which are not yet carried out, are merged and filtered with the new ones, which provides stability to the system

Navigation semi-autonome d'un fauteuil roulant motorisé en environnements restreints

RÉSUMÉ Ce travail introduit un système de navigation semi-autonome pour fauteuil roulant motorisé (FRM) visant à assister les personnes à mobilité réduite dans leurs déplacements quotidiens. Différentes fonctionnalités d’assistance à la navigation sont offertes, telles que l’assistance d’évitement de collision et de déblocage lors d’impasses, puis l’exécution de manoeuvres automatiques : de mouvements rectilignes, de suivi de murs, de suivi de personnes, de traversée de passages étroits et de stationnement. Élaboré avec l’appui de professionnels en réadaptation et d’usagers de FRM, le système de navigation proposé se distingue par sa facilité d’appropriation attribuable à des fonctionnalités simples à maîtriser, par sa navigation intuitive, confortable et sécuritaire, puis par ses aptitudes à opérer en environnements restreints, variés et inconnus. Le système est validé à l’aide du WST (Wheelchair Skills Test) en collaboration avec des professionnels en réadaptation du centre Lucie-Bruneau de Montréal. Huit usagers sains et neuf usagers handicapés ont exécuté le test. Les 8.8 kilomètres parcourus sur vingt-cinq heures d’expérimentation ont démontré l’efficacité et la fiabilité de la solution proposée. Les commentaires positifs des usagers confirment l’intérêt des différentes facettes du système. Les expériences ont, en outre, démontré une aptitude exceptionnelle à la réalisation automatique de manoeuvres en environnements restreints, comme lors de passage de portes standards (moins de 90 cm de large) et de stationnement. Ces performances sont rendues possibles en redéfinissant comment une plate-forme mobile doit se mouvoir dans l’espace, réagir aux obstacles, gérer l’incertitude des mesures, compenser l’erreur d’exécution, établir des stratégies valides dans la plupart des contextes liés aux fonctionnalités et, enfin, organiser l’ensemble des fonctionnalités sous une architecture de contrôle facilitant leur développement. Ce travail contribue ainsi à la robotique mobile par l’apport d’approches de suivi de séquence de points (et de trajectoires), d’évitement stratégique de collisions et d’impasses, de stationnement parallèle, de traversée de passages étroits, d’autolocalisation en environnement partiellement inconnu et par une architecture de contrôle sous laquelle opère l’ensemble des fonctionnalités. Ces méthodes se distinguent par leur capacité à s’adapter à des contextes variés et restreints, puis par leur simplicité d’utilisation. Chaque approche est étudiée individuellement, puis conjointement dans l’application de fauteuil roulant semi-autonome.----------ABSTRACT This work presents a semi-autonomous navigation system for powered wheelchairs which provides assistance to people with mobility impairments during their activities of daily living. The system has various functionalities such as collision assistance, anti-deadlock assistance, automatic maneuvers including moving on a distance, following a wall, following a person, passing through a narrow passage and parking in restrained areas. Built in regard to the advices of clinicians and wheelchair users, the proposed navigation system is especially easy to run due to a set of easy to- understand functions providing an intuitive, comfortable and secure navigation. It is capable to operate in various restrained and unknown environments. The system has been validated using the Wheelchair Skills Test (WST) by clinicians from the Lucie-Bruneau rehabilitation center in Montreal. Eight healty users and nine impaired users have done the test. The 8.8 kilometers covered in 25 hours of experimentation have shown the efficiency and the reliability of the proposed solution. The positive user comments point out the relevance of the different system features. Specifically, the experiments have demonstrated the system’s exceptional skills in carrying out automatic maneuvers in restrained environments, such as passing standard doors (width less than 90 cm) and parking. The special system’s efficiency to perform in various restrained environments is made possible by redefining how a mobile platform should move, react to obstacles, deal with measurement uncertainties, compensate for execution errors, set up strategies that are applicable in most operation contexts and organize the overall functionalities into an efficient control architecture. The work resulting from this investigation contributes to the mobile robotic field by proposing novel approaches for the problems of waypoint-following (and path-following), collision assistance, deadlock avoidance, parallel parking, narrow passages and self-localization, as well as for a special control architecture that underlies all functionalities. All these approaches differ from previous ones in their adaptability to varied and restrained contexts, and for their simplicity of use. The approaches are first studied separately, next jointly in the semi-autonomous navigation system

Grasp planning for object manipulation by an autonomous robot

L'évolution autonome d'un robot dans un environnement évolutif nécessite qu'il soit doté de capacités de perception, d'action et de décision suffisantes pour réaliser la tâche assignée. Une tâche essentielle en robotique est la manipulation d'objets et d'outils. Elle intervient non seulement pour un robot seul mais également dans des situations d'interaction avec un humain ou un autre robot quand il s’agit d’échanger des objets ou de les manipuler conjointement.\ud Cette thèse porte sur la planification de tâches de manipulation d'objets pour un robot autonome dans un environnement humain. Une architecture logicielle susceptible de résoudre ce type de problèmes au niveau géométrique est proposée. Généralement, une tâche de manipulation commence par une opération de saisie dont la qualité conditionne fortement la réussite de la tâche et pour laquelle nous proposons un planificateur basé sur les propriétés inertielles de l'objet et une décomposition en éléments quasi-convexes tout en prenant en compte les contraintes imposées par le système mobile complet dans un environnement donné.\ud Les résultats sont validés en simulation et sur le robot sur la base d’une extension des outils de planification développés au LAAS-CNRS. Le modèle géométrique 3D de l’objet peut être connu a priori ou bien acquis en ligne. Des expérimentations menées sur un robot manipulateur mobile équipé d'une pince à trois points de contacts, de capteurs de force et d'une paire de caméras stéréoscopiques ont montré la validité de l'approche.\ud The autonomous robot performance in a dynamic environment requires advanced perception, action and decision capabilities. Interaction with the environment plays a key role for a robot and it is well illustrated in object and/or tool manipulation. Interaction with humans or others robots can consist in object exchanges.\ud This thesis deals with object manipulation planning by an autonomous robot in human environments. A software architecture is proposed that is capable to solve such problems at the geometrical level. In general, a manipulation task starts by a grasp operation which quality influences strongly the success of the overall task. We propose a planner based on object inertial properties and an approximate convex decomposition. The whole mobile system taken into account in the planning process.\ud The planner has been completely implemented as an extension of the planning tools developed at LAAS-CNRS. Its results have been tested in simulation and on a robotic platform. Object models may be known a priori or acquired on-line. Experiments have been carried out with a mobile manipulator equipped with a three fingers gripper, a wrist force sensor and a stereo camera system in order to validate the approach.\ud \ud \u

La géosimulation orientée agent : un support pour la planification dans le monde réel

La planification devient complexe quand il s’agit de gérer des situations incertaines. Prédire de façon précise est une tâche fastidieuse pour les planificateurs humains. L’approche Simulation-Based Planning consiste à associer la planification à la simulation. Chaque plan généré est simulé afin d’être testé et évalué. Le plan le plus approprié est alors retenu. Cependant, le problème est encore plus complexe lorsque viennent s’ajouter des contraintes spatiales. Par exemple, lors d’un feu de forêt, des bulldozers doivent construire une ligne d’arrêt pour arrêter la propagation des feux. Ils doivent alors tenir compte non seulement de l’avancée des feux mais aussi des caractéristiques du terrain afin de pouvoir avancer plus facilement. Nous proposons une approche de géosimulation basée sur les agents et qui a pour but d’assister la planification dans un espace réel, à large échelle géographique et surtout à forte composante spatiale. Un feu de forêt est un problème typique nécessitant une planification dans un monde réel incertain et soumis à de fortes contraintes spatiales. Nous illustrons donc notre approche (nommée ENCASMA) sur le problème des feux de forêts. L’approche consiste à établir un parallélisme entre l’Environnement Réel ER (p.ex. une forêt incendiée) et un Environnement de Simulation ES (p.ex. une reproduction virtuelle de la forêt incendiée). Pour garantir un niveau acceptable de réalisme, les données spatiales utilisées dans l’ES doivent absolument provenir d’un SIG (Système d’information Géographique). Les planificateurs réels comme les pompiers ou les bulldozers sont simulés par des agents logiciels qui raisonnent sur l’espace modélisé par l’ES. Pour une meilleure sensibilité spatiale (pour tenir compte de toutes les contraintes du terrain), les agents logiciels sont dotés de capacités avancées telles que la perception. En utilisant une approche par géosimulation multiagent, nous pouvons générer une simulation réaliste du plan à exécuter. Les décideurs humains peuvent visualiser les conséquences probables de l’exécution de ce plan. Ils peuvent ainsi évaluer le plan et éventuellement l’ajuster avant son exécution effective (sur le terrain). Quand le plan est en cours d’exécution, et afin de garantir la cohérence des données entre l’ER et l’ES, nous gardons trace sur l’ES des positions (sur l’ER) des planificateurs réels (en utilisant les technologies du positionnement géoréférencé). Nous relançons la planification du reste du plan à partir de la position courante de planificateur réel, et ce de façon périodique. Ceci est fait dans le but d’anticiper tout problème qui pourrait survenir à cause de l’aspect dynamique de l’ER. Nous améliorons ainsi le processus classique de l’approche DCP (Distributed Continual Planning). Enfin, les agents de l’ES doivent replanifier aussitôt qu’un événement imprévu est rapporté. Étant donné que les plans générés dans le cas étudié (feux de forêts) sont essentiellement des chemins, nous proposons également une approche basée sur la géosimulation orientée agent pour résoudre des problèmes particuliers de Pathfinding (recherche de chemin). De plus, notre approche souligne les avantages qu’apporte la géosimulation orientée agent à la collaboration entre agents humains et agents logiciels. Plus précisément, elle démontre : • Comment la cognition spatiale des agents logiciels sensibles à l’espace peut être complémentaire avec la cognition spatiale des planificateurs humains. • Comment la géosimulation orientée agent peut complémenter les capacités humaines de planification lors de la résolution de problèmes complexes. Finalement, pour appliquer notre approche au cas des feux de forêts, nous avons utilisé MAGS comme plate-forme de géosimulation et Prometheus comme simulateur du feu. Les principales contributions de cette thèse sont : 1. Une architecture (ENCASMA) originale pour la conception et l’implémentation d’applications (typiquement des applications de lutte contre les désastres naturels) dans un espace géographique réel à grande échelle et dynamique. 2. Une approche basée sur les agents logiciels pour des problèmes de Pathfinding (recherche de chemin) particuliers (dans un environnement réel et à forte composante spatiale, soumis à des contraintes qualitatives). 3. Une amélioration de l’approche de planification DCP (plus particulièrement le processus de continuité) afin de remédier à certaines limites de la DCP classique. 4. Une solution pratique pour un problème réel et complexe : la lutte contre les feux de forêts. Cette nouvelle solution permet aux experts du domaine de mieux planifier d’avance les actions de lutte et aussi de surveiller l’exécution du plan en temps réel.Planning becomes complex when addressing uncertain situations. Accurate predictions remain a hard task for human planners. The Simulation-Based Planning approach consists in associating planning and simulation. Each generated plan is simulated in order to be tested and evaluated. The most appropriate plan is kept. The problem is even more complex when considering spatial constraints. For example, when fighting a wildfire, dozers build a firebreak to stop fire propagation. They have to take into account not only the fire spread but also the terrain characteristics in order to move easily. We propose an agent-based geosimulation approach to assist such planners with planning under strong spatial constraints in a real large-scale space. Forest fire fighting is a typical problem involving planning within an uncertain real world under strong spatial constraints. We use this case to illustrate our approach (ENCASM). The approach consists in drawing a parallel between the Real Environment RE (i.e. a forest in fire) and the Simulated Environment SE (i.e. a virtual reproduction of the forest). Spatial data within the SE should absolutely come from a GIS (Geographic Information System) for more realism. Real planners such as firefighters or dozers are simulated using software agents which reason about the space of the SE. To achieve a sufficient spatial awareness (taking into account all terrain’s features), agents have advanced capabilities such as perception. Using a multiagent geosimulation approach, we can generate a realistic simulation of the plan so that human decision makers can visualize the probable consequences of its execution. They can thus evaluate the plan and adjust it before it can effectively be executed. When the plan is in progress and in order to maintain coherence between RE and SE, we keep track in the SE of the real planners’ positions in the RE (using georeferencing technologies). We periodically replan the rest of the plan starting from the current position of the real planner. This is done in order to anticipate any problem which could occur due to the dynamism of the RE. We thus enhance the process of the classical Distributed Continual Planning DCP. Finally, the agents must replan as soon as an unexpected event is reported by planners within the RE. Since plans in the studied case (forest fires) are mainly paths, we propose a new approach based on agent geosimulation to solve particular Pathfinding problems. Besides, our approach highlights the benefits of the agent-based geo-simulation to the collaboration of both humans and agents. It thus shows: • How spatial cognitions of both spatially aware agents and human planners can be complementary. • How agent-based geo-simulation can complement human planning skills when addressing complex problems. Finally, when applying our approach on firefighting, we use MAGS as a simulation platform and Prometheus as a fire simulator. The main contributions of this thesis are: 1. An original architecture (ENCASMA) for the design and the implementation of applications (typically, natural disasters applications) in real, dynamic and large-scale geographic spaces. 2. An agent-based approach for particular Pathfinding problems (within real and spatially constrained environments and under qualitative constraints). 3. An enhancement of the DCP (particularly, the continual process) approach in order to overcome some limits of the classical DCP. 4. A practical solution for a real and complex problem: wildfires fighting. This new solution aims to assist experts when planning firefighting actions and monitoring the execution of these plans

Navigation référencée multi-capteurs d'un robot mobile en environnement encombré

Dans ce travail, nous nous intéressons à la navigation référencée vision d'un robot mobile équipé d'une caméra dans un environnement encombré d'obstacles possiblement occultants. Pour réaliser cette tâche, nous nous sommes appuyés sur l'asservissement visuel 2D. Cette technique consiste à synthétiser une loi de commande basée sur les informations visuelles renvoyées par la caméra embarquée. Le robot atteint la situation désirée lorsque les projections dans l'image de l'amer d'intérêt, appelés indices visuels, atteignent des valeurs de consigne prédéfinies. La navigation par asservissement visuel 2D nécessite de s'intéresser à trois problèmes : garantir l'intégrité du robot vis-à-vis des obstacles, gérer les occultations des amers d'intérêts et réaliser de longs déplacements. Nos contributions portent sur les deux derniers problèmes mentionnés. Dans un premier temps nous nous sommes intéressés à l'estimation des indices visuels lorsque ceux-ci ne sont plus disponibles à cause d'une occultation. La profondeur étant un paramètre déterminant dans ce processus, nous avons développé une méthode permettant de l'estimer. Celle-ci est basée sur une paire prédicteur/correcteur et permet d'obtenir des résultats exploitables malgré la présence de bruits dans les mesures. Dans un second temps, nous nous sommes attachés à la réalisation de longs déplacements par asservissement visuel. Cette technique nécessitant de percevoir l'amer d'intérêt dès le début de la tâche, la zone de navigation est limitée par la portée de la caméra. Afin de relaxer cette contrainte, nous avons élaboré un superviseur que nous avons ensuite couplé à une carte topologique intégrant un ensemble d'amers caractéristiques de l'environnement. La tâche de navigation globale peut alors être décomposée sous la forme d'une séquence d'amers à atteindre successivement, la sélection et l'enchainement des mouvements nécessaires étant effectués au sein du superviseur. Les travaux ont été validés par le biais de simulations et d'expérimentations, démontrant la pertinence et l'efficacité de l'approche retenue.This work focuses on the navigation of a mobile robot equipped with a camera in a cluttered environment. To perform such a task, we propose to use the image based visual servoing (IBVS). This method consists in designing a control law using visual features provided by the camera. These features are defined by the projection of a characteristic landmark on the image plane. The IBVS based navigation requires to address three issues : the robot security with respect to the obstacles, the management of the occlusions and the long range navigation realization. Our contributions are mainly focused on the two last mentioned problems. First, we have dealt with the visual features estimation problem during occlusions. As the visual features depth is an important parameter in this process, we have developed a predictor/corrector pair able to estimate its value on-line. This method has provided nice results, even when the used measures are noisy. Second, we have considered the problem of performing a long range navigation with an IBVS. However, classically, using this kind of controller greatly limits the realizable displacement because the reference landmark must be seen from the beginning to the end of the mission. To relax this constraint, we have developed a topological map and a supervision algorithm which have then been coupled. The first one contains the most characteristic landmarks of the environment. Using this information, it is possible to divide the global navigation task into a sequence of landmarks which must be successively reached. The supervision algorithm then allows to select the right task at the right instant and to guarantee a smooth switch between the different motions. Our works have been validated by simulations and experimentations, demonstrating the efficiency of our approach