Cooperative SLAM-based object transportation by two humanoid robots in a cluttered environment

International audienceIn this work, we tackle the problem of making two humanoid robots navigate in a cluttered environment while transporting a very large object that simply can not be moved by a single robot. We present a complete navigation scheme, from the incremental construction of a map of the environment and the computation of collision-free trajectories to the control to execute those trajectories. We present experiments conducted on real Nao robots, equipped with RGB-D sensors mounted on their heads, moving an object around obstacles. Our experiments show that a significantly large object can be transported without changing the robot's main hardware, and therefore enacting the capacity of humanoid robots in real-life situations

Transport coopératif d'un objet par deux robots humanoïdes dans un environnement encombré

Il y a présentement de la demande dans plusieurs milieux cherchant à utiliser des robots afin d'accomplir des tâches complexes, par exemple l'industrie de la construction désire des travailleurs pouvant travailler 24/7 ou encore effectuer des operation de sauvetage dans des zones compromises et dangereuses pour l'humain. Dans ces situations, il devient très important de pouvoir transporter des charges dans des environnements encombrés. Bien que ces dernières années il y a eu quelques études destinées à la navigation de robots dans ce type d'environnements, seulement quelques-unes d'entre elles ont abordé le problème de robots pouvant naviguer en déplaçant un objet volumineux ou lourd. Ceci est particulièrement utile pour transporter des charges ayant de poids et de formes variables, sans avoir à modifier physiquement le robot. Un robot humanoïde est une des plateformes disponibles afin d'effectuer efficacement ce type de transport. Celui-ci a, entre autres, l'avantage d'avoir des bras et ils peuvent donc les utiliser afin de manipuler précisément les objets à transporter. Dans ce mémoire de maîtrise, deux différentes techniques sont présentées. Dans la première partie, nous présentons un système inspiré par l'utilisation répandue de chariots de fortune par les humains. Celle-ci répond au problème d'un robot humanoïde naviguant dans un environnement encombré tout en déplaçant une charge lourde qui se trouve sur un chariot de fortune. Nous présentons un système de navigation complet, de la construction incrémentale d'une carte de l'environnement et du calcul des trajectoires sans collision à la commande pour exécuter ces trajectoires. Les principaux points présentés sont : 1) le contrôle de tout le corps permettant au robot humanoïde d'utiliser ses mains et ses bras pour contrôler les mouvements du système à chariot (par exemple, lors de virages serrés) ; 2) une approche sans capteur pour automatiquement sélectionner le jeu approprié de primitives en fonction du poids de la charge ; 3) un algorithme de planification de mouvement qui génère une trajectoire sans collisions en utilisant le jeu de primitive approprié et la carte construite de l'environnement ; 4) une technique de filtrage efficace permettant d'ignorer le chariot et le poids situés dans le champ de vue du robot tout en améliorant les performances générales des algorithmes de SLAM (Simultaneous Localization and Mapping) défini ; et 5) un processus continu et cohérent d'odométrie formés en fusionnant les informations visuelles et celles de l'odométrie du robot. Finalement, nous présentons des expériences menées sur un robot Nao, équipé d'un capteur RGB-D monté sur sa tête, poussant un chariot avec différentes masses. Nos expériences montrent que la charge utile peut être significativement augmentée sans changer physiquement le robot, et donc qu'il est possible d'augmenter la capacité du robot humanoïde dans des situations réelles. Dans la seconde partie, nous abordons le problème de faire naviguer deux robots humanoïdes dans un environnement encombré tout en transportant un très grand objet qui ne peut tout simplement pas être déplacé par un seul robot. Dans cette partie, plusieurs algorithmes et concepts présentés dans la partie précédente sont réutilisés et modifiés afin de convenir à un système comportant deux robot humanoides. Entre autres, nous avons un algorithme de planification de mouvement multi-robots utilisant un espace d'états à faible dimension afin de trouver une trajectoire sans obstacle en utilisant la carte construite de l'environnement, ainsi qu'un contrôle en temps réel efficace de tout le corps pour contrôler les mouvements du système robot-objet-robot en boucle fermée. Aussi, plusieurs systèmes ont été ajoutés, tels que la synchronisation utilisant le décalage relatif des robots, la projection des robots sur la base de leur position des mains ainsi que l'erreur de rétroaction visuelle calculée à partir de la caméra frontale du robot. Encore une fois, nous présentons des expériences faites sur des robots Nao équipés de capteurs RGB-D montés sur leurs têtes, se déplaçant avec un objet tout en contournant d'obstacles. Nos expériences montrent qu'un objet de taille non négligeable peut être transporté sans changer physiquement le robot

Humanoid navigation and heavy load transportation in a cluttered environment

International audienceAlthough in recent years several studies aimed at the navigation of robots in cluttered environments, just a few have addressed the problem of robots navigating while moving a large or heavy object. This is especially useful when transporting loads with variable weights and shapes without having to change the robot hardware. On one hand, a major advantage of using a humanoid robot to move an object is that it has arms to firmly grasp it and control it. On the other hand, humanoid robots tend to have higher drift than their wheeled counterparts as well as having significant lateral swing while walking, which propagates to anything they carry. In this work, we present algorithms for a humanoid robot navigating in a cluttered environment while pushing a cart-like object. In addition, the algorithms make use of the hands and arms to articulate the cart when executing tight turns using whole body control scheme to reduce the lateral swing effect on the load and ensure a safe transport. Experiments conducted on a real Nao robot assessed the proposed approach and algorithms, they show that the payload of a humanoid robot can be significantly increased without changing the humanoid robot's hardware, and therefore enact the capacity of humanoid robots in real-life situations

Transport collaboratif d’une charge par deux robots humanoïdes

La structure bipède des robots humanoïdes leur confère une grande agilité et la capacité de se déplacer dans des environnements encombrés qui ne sont pas accessibles à des robots à roues plus traditionnelles. Cette particularité fait en sorte que ce type de robot est le mieux adapté pour évoluer dans des environnements conçus pour et par l’homme. Cette grande agilité a toutefois un prix puisque les humanoïdes sont plus complexes à contrôler étant donné l’instabilité inhérente à la marche bipède. Dans ce projet de recherche, on s’intéresse au contrôle de robots humanoïdes dans le cadre de tâches très communes et intéressantes à reléguer aux robots, soit le transport d’objet. Le cas d’intérêt est le transport collaboratif d’une charge par deux humanoïdes étant donné que ça ne nécessite aucun outil externe et est ainsi applicable en toute circonstance. En premier lieu, un estimateur d’état applicable pour les robots humanoïdes de petite taille est proposé, permettant ainsi d’estimer les interactions entre le robot et son environnement. Ensuite, une stratégie de contrôle permettant à un humanoïde d’utiliser un chariot de transport pour déplacer un objet lourd est présentée. Finalement, le transport collaboratif par deux robots humanoïdes est abordé. Le système développé utilise un contrôleur externe qui planifie la trajectoire des robots et valide la stabilité des déplacements à l’aide d’un modèle dynamique simple du système basé sur des pendules inversés. Tous les algorithmes développés ont été validés et testés sur des robots humanoïdes NAO. Les résultats démontrent qu’il est possible de transporter un objet lourd sans modifier les composantes matérielles des robots, soit en utilisant un chariot ou bien en coopérant avec un autre robot. Les résultats obtenus pourraient s’avérer utiles dans certaines situations réelles telles que les tâches de manutention dans un domaine manufacturier ou bien le transport de blessé sur une civière

Transport collaboratif d'une charge par un couple humain-robot

Les robots humanoïdes sont particulièrement adaptés à collaborer avec des humains. En effet, leur ressemblance avec l'être humain facilite leur acceptation sociale, et leur structure bipède les aide à fonctionner dans des environements conçus pour les humains. Par contre, cette même structure les rend instables et diffcile à contrôler, particulièrement lors d'interactions physiques avec d'autres acteurs. Ce projet de recherche s'attarde au contrôle de robots humanoïdes impliqués dans de telles tâches collaboratives. On s'intéresse plus particulièrement au transport d'objets lourds par un robot humanoïde et un humain. Pour ce faire, un modèle dynamique simplifié prenant en compte la dynamique de la tâche à accomplir ainsi que les forces appliquées sur le robot est proposé. Celui-ci permet une intégration directe de la compliance des bras et l'utilisation de contraintes dynamiques sur les forces d'interactions. Ce modèle est implémenté à l'aide d'un contrôleur de type Model Predictive Control. Un robot humanoïde de taille humaine (HRP-4) et un robot humanoïde de petite taille (NAO) ont été utilisés en simulation pour montrer les performances et la polyvalence de la méthode proposée, chacun transportant collaborativement des charges surpassant leur masse respective

Exploring Natural User Abstractions For Shared Perceptual Manipulator Task Modeling & Recovery

State-of-the-art domestic robot assistants are essentially autonomous mobile manipulators capable of exerting human-scale precision grasps. To maximize utility and economy, non-technical end-users would need to be nearly as efficient as trained roboticists in control and collaboration of manipulation task behaviors. However, it remains a significant challenge given that many WIMP-style tools require superficial proficiency in robotics, 3D graphics, and computer science for rapid task modeling and recovery. But research on robot-centric collaboration has garnered momentum in recent years; robots are now planning in partially observable environments that maintain geometries and semantic maps, presenting opportunities for non-experts to cooperatively control task behavior with autonomous-planning agents exploiting the knowledge. However, as autonomous systems are not immune to errors under perceptual difficulty, a human-in-the-loop is needed to bias autonomous-planning towards recovery conditions that resume the task and avoid similar errors. In this work, we explore interactive techniques allowing non-technical users to model task behaviors and perceive cooperatively with a service robot under robot-centric collaboration. We evaluate stylus and touch modalities that users can intuitively and effectively convey natural abstractions of high-level tasks, semantic revisions, and geometries about the world. Experiments are conducted with \u27pick-and-place\u27 tasks in an ideal \u27Blocks World\u27 environment using a Kinova JACO six degree-of-freedom manipulator. Possibilities for the architecture and interface are demonstrated with the following features; (1) Semantic \u27Object\u27 and \u27Location\u27 grounding that describe function and ambiguous geometries (2) Task specification with an unordered list of goal predicates, and (3) Guiding task recovery with implied scene geometries and trajectory via symmetry cues and configuration space abstraction. Empirical results from four user studies show our interface was much preferred than the control condition, demonstrating high learnability and ease-of-use that enable our non-technical participants to model complex tasks, provide effective recovery assistance, and teleoperative control

Towards Collaborative Simultaneous Localization and Mapping: a Survey of the Current Research Landscape

Motivated by the tremendous progress we witnessed in recent years, this paper presents a survey of the scientific literature on the topic of Collaborative Simultaneous Localization and Mapping (C-SLAM), also known as multi-robot SLAM. With fleets of self-driving cars on the horizon and the rise of multi-robot systems in industrial applications, we believe that Collaborative SLAM will soon become a cornerstone of future robotic applications. In this survey, we introduce the basic concepts of C-SLAM and present a thorough literature review. We also outline the major challenges and limitations of C-SLAM in terms of robustness, communication, and resource management. We conclude by exploring the area's current trends and promising research avenues.Comment: 44 pages, 3 figure

Secure indoor navigation and operation of mobile robots

In future work environments, robots will navigate and work side by side to humans. This raises big challenges related to the safety of these robots. In this Dissertation, three tasks have been realized: 1) implementing a localization and navigation system based on StarGazer sensor and Kalman filter; 2) realizing a human-robot interaction system using Kinect sensor and BPNN and SVM models to define the gestures and 3) a new collision avoidance system is realized. The system works on generating the collision-free paths based on the interaction between the human and the robot.In zukünftigen Arbeitsumgebungen werden Roboter navigieren nebeneinander an Menschen. Das wirft Herausforderungen im Zusammenhang mit der Sicherheit dieser Roboter auf. In dieser Dissertation drei Aufgaben realisiert: 1. Implementierung eines Lokalisierungs und Navigationssystem basierend auf Kalman Filter: 2. Realisierung eines Mensch-Roboter-Interaktionssystem mit Kinect und AI zur Definition der Gesten und 3. ein neues Kollisionsvermeidungssystem wird realisiert. Das System arbeitet an der Erzeugung der kollisionsfreien Pfade, die auf der Wechselwirkung zwischen dem Menschen und dem Roboter basieren

Mobile Robots Navigation

Mobile robots navigation includes different interrelated activities: (i) perception, as obtaining and interpreting sensory information; (ii) exploration, as the strategy that guides the robot to select the next direction to go; (iii) mapping, involving the construction of a spatial representation by using the sensory information perceived; (iv) localization, as the strategy to estimate the robot position within the spatial map; (v) path planning, as the strategy to find a path towards a goal location being optimal or not; and (vi) path execution, where motor actions are determined and adapted to environmental changes. The book addresses those activities by integrating results from the research work of several authors all over the world. Research cases are documented in 32 chapters organized within 7 categories next described