Folding Assembly by Means of Dual-Arm Robotic Manipulation

In this paper, we consider folding assembly as an assembly primitive suitable for dual-arm robotic assembly, that can be integrated in a higher level assembly strategy. The system composed by two pieces in contact is modelled as an articulated object, connected by a prismatic-revolute joint. Different grasping scenarios were considered in order to model the system, and a simple controller based on feedback linearisation is proposed, using force torque measurements to compute the contact point kinematics. The folding assembly controller has been experimentally tested with two sample parts, in order to showcase folding assembly as a viable assembly primitive.Comment: 7 pages, accepted for ICRA 201

VISION-BASED URBAN NAVIGATION PROCEDURES FOR VERBALLY INSTRUCTED ROBOTS

The work presented in this thesis is part of a project in instruction based learning (IBL) for mobile robots were a robot is designed that can be instructed by its users through unconstrained natural language. The robot uses vision guidance to follow route instructions in a miniature town model. The aim of the work presented here was to determine the functional vocabulary of the robot in the form of "primitive procedures". In contrast to previous work in the field of instructable robots this was done following a "user-centred" approach were the main concern was to create primitive procedures that can be directly associated with natural language instructions. To achieve this, a corpus of human-to-human natural language instructions was collected and analysed. A set of primitive actions was found with which the collected corpus could be represented. These primitive actions were then implemented as robot-executable procedures. Natural language instructions are under-specified when destined to be executed by a robot. This is because instructors omit information that they consider as "commonsense" and rely on the listener's sensory-motor capabilities to determine the details of the task execution. In this thesis the under-specification problem is solved by determining the missing information, either during the learning of new routes or during their execution by the robot. During learning, the missing information is determined by imitating the commonsense approach human listeners take to achieve the same purpose. During execution, missing information, such as the location of road layout features mentioned in route instructions, is determined from the robot's view by using image template matching. The original contribution of this thesis, in both these methods, lies in the fact that they are driven by the natural language examples found in the corpus collected for the IDL project. During the testing phase a high success rate of primitive calls, when these were considered individually, showed that the under-specification problem has overall been solved. A novel method for testing the primitive procedures, as part of complete route descriptions, is also proposed in this thesis. This was done by comparing the performance of human subjects when driving the robot, following route descriptions, with the performance of the robot when executing the same route descriptions. The results obtained from this comparison clearly indicated where errors occur from the time when a human speaker gives a route description to the time when the task is executed by a human listener or by the robot. Finally, a software speed controller is proposed in this thesis in order to control the wheel speeds of the robot used in this project. The controller employs PI (Proportional and Integral) and PID (Proportional, Integral and Differential) control and provides a good alternative to expensive hardware

Design and implementation of a vision system for microassembly workstation

Rapid development of micro/nano technologies and the evolvement of biotechnology have led to the research of assembling micro components into complex microsystems and manipulation of cells, genes or similar biological components. In order to develop advanced inspection/handling systems and methods for manipulation and assembly of micro products and micro components, robust micromanipulation and microassembly strategies can be implemented on a high-speed, repetitive, reliable, reconfigurable, robust and open-architecture microassembly workstation. Due to high accuracy requirements and specific mechanical and physical laws which govern the microscale world, micromanipulation and microassembly tasks require robust control strategies based on real-time sensory feedback. Vision as a passive sensor can yield high resolutions of micro objects and micro scenes along with a stereoscopic optical microscope. Visual data contains useful information for micromanipulation and microassembly tasks, and can be processed using various image processing and computer vision algorithms. In this thesis, the initial work on the design and implementation of a vision system for microassembly workstation is introduced. Both software and hardware issues are considered. Emphasis is put on the implementation of computer vision algorithms and vision based control techniques which help to build strong basis for the vision part of the microassembly workstation. The main goal of designing such a vision system is to perform automated micromanipulation and microassembly tasks for a variety of applications. Experiments with some teleoperated and semiautomated tasks, which aim to manipulate micro particles manually or automatically by microgripper or probe as manipulation tools, show quite promising results

Vision numérique et modèles 3D pour imagerie moléculaire sur petits animaux par tomographie optique

Typiquement, en tomographie optique diffuse (TOD), les mesures optiques sont prises en amenant des fibres optiques en contact avec le sujet ou en faisant baigner le sujet dans un fluide adaptateur d'indice. Ces deux approches simplifient grandement le problème inverse pour la reconstruction tomographique, car seule la propagation de la lumière dans les tissus biologiques doit être considérée. Dans le cas de l'imagerie sur petits animaux, il est très difficile d'amener des fibres optiques en contact avec le sujet de façon automatisée sans l'écraser et sans changer sa géométrie. L'utilisation de fluides adaptateurs d'indice simplifie la géométrie du problème à celle du contenant, généralement de forme cylindrique, où se trouve l'animal. Par contre, il n'est pas pratique d'avoir à entretenir un tel système et il est difficile de mettre l'animal dans un fluide sans le noyer. L'utilisation de fluides adaptateurs d'indice atténue le signal optique menant à des mesures plus bruitées. Les sytèmes sans contact permettent d'éviter tous les problèmes mentionnés précédemment, mais nécessitent la mesure de la forme extérieure du sujet. Dans le cadre des présents travaux de recherche, un système de vision numérique utilisant une paire de caméras et un laser pour mesurer la forme extérieure 3D de sujets est présenté. La conception du système de vision numérique 3D vise à faciliter son intégration au système de TOD qui est présentement développé au sein du groupe TomOptUS. Le principal avantage du système de vision numérique est de minimiser la complexité du système de TOD en utlisant le même laser pour les mesures tomographiques optiques et pour les mesures 3D, permettant simultanément l'acquisition de modèles 3D et de données optiques. Cette approche permet de mesurer la position exacte à laquelle la lumière du laser est injectée dans le sujet, alors que cette postion est habituellement déduite et non mesurée par les autres systèmes. Cette information est extrêmement importante pour la reconstruction tomographique. Des mesures 3D précises (<1mm) sont obtenues à l'aide d'algorithmes pour l'étalonnage de l'axe de rotation et de translation. Des mesures 3D d'une forme de référence et d'une souris sont présentées démontrant la précision et l'efficacité du système

Video See-Through Augmented Reality Application on a Mobile Computing Platform Using Position Based Visual POSE Estimation

A technique for real time object tracking in a mobile computing environment and its application to video see-through Augmented Reality (AR) has been designed, verified through simulation, and implemented and validated on a mobile computing device. Using position based visual position and orientation (POSE) methods and the Extended Kalman Filter (EKF), it is shown how this technique lends itself to be flexible to tracking multiple objects and multiple object models using a single monocular camera on different mobile computing devices. Using the monocular camera of the mobile computing device, feature points of the object(s) are located through image processing on the display. The relative position and orientation between the device and the object(s) is determined recursively by an EKF process. Once the relative position and orientation is determined for each object, three dimensional AR image(s) are rendered onto the display as if the device is looking at the virtual object(s) in the real world. This application and the framework presented could be used in the future to overlay additional informational onto displays in mobile computing devices. Example applications include robotic aided surgery where animations could be overlaid to assist the surgeon, in training applications that could aid in operation of equipment or in search and rescue operations where critical information such as floor plans and directions could be virtually placed onto the display. Current approaches in the field of real time object tracking are discussed along with the methods used for video see-through AR applications on mobile computing devices. The mathematical framework for the real time object tracking and video see-through AR rendering is discussed in detail along with some consideration to extension to the handling of multiple AR objects. A physical implementation for a mobile computing device is proposed detailing the algorithmic approach along with design decisions. The real time object tracking and video see-through AR system proposed is verified through simulation and details around the accuracy, robustness, constraints, and an extension to multiple object tracking are presented. The system is then validated using a ground truth measurement system and the accuracy, robustness, and its limitations are reviewed. A detailed validation analysis is also presented showing the feasibility of extending this approach to multiple objects. Finally conclusions from this research are presented based on the findings of this work and further areas of study are proposed

MARIE, une architecture d'intégration de composants logiciels hétérogènes pour le développement de systèmes décisionnels en robotique mobile et autonome

""Aujourd'hui, la création de systèmes décisionnels en robotique mobile et autonome requiert l'intégration de nombreuses capacités motrices, sensorielles et cognitives au sein de chacun des projets réalisés. Ces capacités sont généralement issues de différents domaines de recherche, comme par exemple la navigation autonome, la planification, les interactions humain-machine, la localisation, la vision artificielle et le contrôle d'actionneurs, pour ne nommer que ceux-ci. D'un point de vue logiciel, deux défis de taille sont issus de ce besoin d'intégration : 1) la complexification de l'analyse des requis pour choisir, construire et interconnecter les différents composants logiciels qui permettent la réalisation de ces capacités, et 2) l'interconnectivité limitée des composants logiciels disponibles dans la communauté robotique causée par le fait qu'ils sont typiquement hétérogènes, c'est-à-dire qu'ils ne sont pas complètement compatibles ou interopérables. Cette thèse propose une solution principalement au défi d'interconnectivité limité en se basant sur la création d'une architecture d'intégration logicielle appelée MARIE, qui permet d'intégrer des composants logiciels hétérogènes utilisant une approche de prototypage rapide pour le développement de systèmes décisionnels en robotique mobile et autonome. Grâce à cette approche, la réalisation de systèmes décisionnels complets pourrait se faire plus tôt dans le cycle de développement, et ainsi favoriser l'analyse des requis nécessaires à l'intégration de chacun des composants logiciels du système. Les résultats montrent que grâce au développement de l'architecture d'intégration logicielle MARIE, plus de 15 composants logiciels provenant de sources indépendantes ont été intégrées au sein de plusieurs applications robotiques (réelles et simulées), afin de réaliser leurs systèmes décisionnels respectifs. L'adaptation des composants déjà existants dans la communauté robotique a permis notamment d'éviter la tâche souvent ardue de réécrire le code nécessaire pour chacun des composants dans un seul et même environnement de développement. Les résultats montrent également que grâce à une méthodologie d'évaluation logicielle appelée ARID, nous avons pu recueillir de l'information utile et pertinente à propos des risques associés à l'utilisation de MARIE pour réaliser une application choisie, sans devoir construire une application de test et sans avoir recours à de la documentation complète de l'architecture logicielle ni celle de l'application à créer. Cette méthode s'inscrit ainsi dans la liste des outils qui permettent de faciliter l'analyse des requis d'intégration reliés à la création de systèmes décisionnels en robotique mobile et autonome."

Contributions to Localization, Mapping and Navigation in Mobile Robotics

This thesis focuses on the problem of enabling mobile robots to autonomously build world models of their environments and to employ them as a reference to self–localization and navigation. For mobile robots to become truly autonomous and useful, they must be able of reliably moving towards the locations required by their tasks. This simple requirement gives raise to countless problems that have populated research in the mobile robotics community for the last two decades. Among these issues, two of the most relevant are: (i) secure autonomous navigation, that is, moving to a target avoiding collisions and (ii) the employment of an adequate world model for robot self-referencing within the environment and also for locating places of interest. The present thesis introduces several contributions to both research fields. Among the contributions of this thesis we find a novel approach to extend SLAM to large-scale scenarios by means of a seamless integration of geometric and topological map building in a probabilistic framework that estimates the hybrid metric-topological (HMT) state space of the robot path. The proposed framework unifies the research areas of topological mapping, reasoning on topological maps and metric SLAM, providing also a natural integration of SLAM and the “robot awakening” problem. Other contributions of this thesis cover a wide variety of topics, such as optimal estimation in particle filters, a new probabilistic observation model for laser scanners based on consensus theory, a novel measure of the uncertainty in grid mapping, an efficient method for range-only SLAM, a grounded method for partitioning large maps into submaps, a multi-hypotheses approach to grid map matching, and a mathematical framework for extending simple obstacle avoidance methods to realistic robots

Des cartes combinatoires pour la construction automatique de modèles d'environnement par un robot mobile

Ce travail s'inscrit dans la problématique classique de localisation et de cartographie simultanées pour un robot mobile évoluant en milieu intérieur supposé inconnu. Son originalité réside dans la définition d'un modèle de carte très structuré fondé sur un outil algébrique appelé « carte combinatoire », qui combine plusieurs types de représentations géométriques (modèles surfaciques et cartes basées sur des primitives géométriques) et fournit des informations topologiques telles que les liens d'adjacence. Nous détaillons la chaîne algorithmique permettant de construire des cartes en ligne suivant ce modèle, avec un robot équipé d'un télémètre laser à balayage : il s'agit d'adapter les techniques habituelles basées sur le filtrage de Kalman afin de gérer les relations d'adjacence (appariement de chaînes polygonales, définition de points de cassure virtuels, mises à jour géométrique et topologique spécifiques). Des résultats expérimentaux illustrent et valident les divers mécanismes mis en oeuvre. ABSTRACT : This thesis focuses on the well-known Simultaneous Localization And Map-building (SLAM) problem for indoor mobile robots. The novelty of this work lies in the definition of a well-structured map model based on an algebraic tool called « combinatorial map » which combines different kinds of geometric representations (space-based, grid-based as well as feature-based formats) and provides topological information such as adjacency links between map elements. We describe the whole algorithm designed to build maps on line according to this model, using a robot equipped with a laser scanner. Classical techniques relying on Kalman filtering are adapted in order to deal with adjacency relationships (via polyline matching, the use of virtual break-points and specific geometric and topological update operations). Exeprimental results are presented to illustrate and validate the various mecanisms involved in this process