Scaled Autonomy for Networked Humanoids

Humanoid robots have been developed with the intention of aiding in environments designed for humans. As such, the control of humanoid morphology and effectiveness of human robot interaction form the two principal research issues for deploying these robots in the real world. In this thesis work, the issue of humanoid control is coupled with human robot interaction under the framework of scaled autonomy, where the human and robot exchange levels of control depending on the environment and task at hand. This scaled autonomy is approached with control algorithms for reactive stabilization of human commands and planned trajectories that encode semantically meaningful motion preferences in a sequential convex optimization framework. The control and planning algorithms have been extensively tested in the field for robustness and system verification. The RoboCup competition provides a benchmark competition for autonomous agents that are trained with a human supervisor. The kid-sized and adult-sized humanoid robots coordinate over a noisy network in a known environment with adversarial opponents, and the software and routines in this work allowed for five consecutive championships. Furthermore, the motion planning and user interfaces developed in the work have been tested in the noisy network of the DARPA Robotics Challenge (DRC) Trials and Finals in an unknown environment. Overall, the ability to extend simplified locomotion models to aid in semi-autonomous manipulation allows untrained humans to operate complex, high dimensional robots. This represents another step in the path to deploying humanoids in the real world, based on the low dimensional motion abstractions and proven performance in real world tasks like RoboCup and the DRC

Legged Robots for Object Manipulation: A Review

Legged robots can have a unique role in manipulating objects in dynamic, human-centric, or otherwise inaccessible environments. Although most legged robotics research to date typically focuses on traversing these challenging environments, many legged platform demonstrations have also included "moving an object" as a way of doing tangible work. Legged robots can be designed to manipulate a particular type of object (e.g., a cardboard box, a soccer ball, or a larger piece of furniture), by themselves or collaboratively. The objective of this review is to collect and learn from these examples, to both organize the work done so far in the community and highlight interesting open avenues for future work. This review categorizes existing works into four main manipulation methods: object interactions without grasping, manipulation with walking legs, dedicated non-locomotive arms, and legged teams. Each method has different design and autonomy features, which are illustrated by available examples in the literature. Based on a few simplifying assumptions, we further provide quantitative comparisons for the range of possible relative sizes of the manipulated object with respect to the robot. Taken together, these examples suggest new directions for research in legged robot manipulation, such as multifunctional limbs, terrain modeling, or learning-based control, to support a number of new deployments in challenging indoor/outdoor scenarios in warehouses/construction sites, preserved natural areas, and especially for home robotics.Comment: Preprint of the paper submitted to Frontiers in Mechanical Engineerin

Cooperative SLAM-based object transportation by two humanoid robots in a cluttered environment

International audienceIn this work, we tackle the problem of making two humanoid robots navigate in a cluttered environment while transporting a very large object that simply can not be moved by a single robot. We present a complete navigation scheme, from the incremental construction of a map of the environment and the computation of collision-free trajectories to the control to execute those trajectories. We present experiments conducted on real Nao robots, equipped with RGB-D sensors mounted on their heads, moving an object around obstacles. Our experiments show that a significantly large object can be transported without changing the robot's main hardware, and therefore enacting the capacity of humanoid robots in real-life situations

Desarrollo de algoritmo para detección y comando de robots humanoides en tareas de recolección

This article presents an algorithm which commands a group of Bioloid humanoid robots in order to organize them around an object of interest, previously detected by an external vision system. The robots form a Multi-Agent System (MAS) oriented towards cooperative gathering tasks. Development of the MAS, as well as each of the organization algorithm’s components and simulation inside a virtual environment, are all detailed. The algorithm is subdivided in two dedicated threads: one of which handles machine vision (filtering, contour detection and classification achieved through EmguCV libraries) and operational space calculations; while the other operates ZigBee wireless communication with the robots. Furthermore, the robots possess their own embedded code which enables them to translate a sequence of received instructions into gait patterns which allow them to move towards the object of interest. Total execution time for the gathering task is chosen as the global performance measure to evaluate.Este artículo presenta un algoritmo para comandar un grupo de robots humanoides Bioloid, organizándolos alrededor de un objeto de interés, detectado previamente por un sistema de visión externa. Los robots conforman un Sistema Multi-Agente (SMA) orientado hacia tareas de recolección cooperativa. Se detalla el desarrollo del SMA, así como cada componente del algoritmo de organización y la simulación en ambiente virtual. El algoritmo se subdivide en dos hilos dedicados: uno se encarga de visión de máquina (filtrado, detección de contornos y clasificación logrados a través de librerías de EmguCV) y cálculos en el espacio operacional, y el otro opera la comunicación inalámbrica ZigBee con los robots. Adicionalmente, los robots poseen su propio código embebido que les permite traducir una secuencia de instrucciones recibidas a patrones de marcha que los dirigen hacia el objeto de interés. El tiempo total de ejecución es tomado como la medida global de desempeño de interés

Software Architecture and Development for Controlling a Hubo Humanoid Robot

Due to their human-like structure, humanoid robots are capable of doing some complex tasks. Since a humanoid robot has a large number of actuators and sensors, controlling it is a difficult task. For various tasks like balancing, driving a car, and interacting with humans, real-time response of the robot is essential. Efficiently controlling a humanoid robot requires a software that guarantees real-time interface and control mechanism so that real-time response of the robot is possible. Addition- ally, to reduce the development effort and time, the software should be open-source, multi-lingual and should have high-level constructs inbuilt in it. Currently Robot Operating System (ROS) and Microsoft Robotics Developer Studio (MRDS) are most commonly used software packages for controlling robots. Since ROS uses Transmission Control Protocol (TCP) for inter-process communication, the latency in communication is high. Therefore, if ROS is used, the robot cannot respond in real-time. On the other hand, MRDS is not an open-source but a proprietary soft- ware package. Therefore it cannot be optimized for a particular robot. Thus, there is an urgent need to develop a real-time, open-source, modular, and thin software for controlling humanoid robots. This thesis describes the design and architecture of two software packages developed to fill this gap. It is expected that in the near future a large number of humanoid robots will be used all around the world. The humanoid robots will be used to perform various tasks. The developed software packages have the potential to be the most commonly used software packages for controlling humanoid robots. These packages will assist humans in controlling and monitoring humanoid robots to perform search-and-rescue operations, explore the universe, assist in household chores, etc

Transport collaboratif d’une charge par deux robots humanoïdes

La structure bipède des robots humanoïdes leur confère une grande agilité et la capacité de se déplacer dans des environnements encombrés qui ne sont pas accessibles à des robots à roues plus traditionnelles. Cette particularité fait en sorte que ce type de robot est le mieux adapté pour évoluer dans des environnements conçus pour et par l’homme. Cette grande agilité a toutefois un prix puisque les humanoïdes sont plus complexes à contrôler étant donné l’instabilité inhérente à la marche bipède. Dans ce projet de recherche, on s’intéresse au contrôle de robots humanoïdes dans le cadre de tâches très communes et intéressantes à reléguer aux robots, soit le transport d’objet. Le cas d’intérêt est le transport collaboratif d’une charge par deux humanoïdes étant donné que ça ne nécessite aucun outil externe et est ainsi applicable en toute circonstance. En premier lieu, un estimateur d’état applicable pour les robots humanoïdes de petite taille est proposé, permettant ainsi d’estimer les interactions entre le robot et son environnement. Ensuite, une stratégie de contrôle permettant à un humanoïde d’utiliser un chariot de transport pour déplacer un objet lourd est présentée. Finalement, le transport collaboratif par deux robots humanoïdes est abordé. Le système développé utilise un contrôleur externe qui planifie la trajectoire des robots et valide la stabilité des déplacements à l’aide d’un modèle dynamique simple du système basé sur des pendules inversés. Tous les algorithmes développés ont été validés et testés sur des robots humanoïdes NAO. Les résultats démontrent qu’il est possible de transporter un objet lourd sans modifier les composantes matérielles des robots, soit en utilisant un chariot ou bien en coopérant avec un autre robot. Les résultats obtenus pourraient s’avérer utiles dans certaines situations réelles telles que les tâches de manutention dans un domaine manufacturier ou bien le transport de blessé sur une civière

Transport coopératif d'un objet par deux robots humanoïdes dans un environnement encombré

Il y a présentement de la demande dans plusieurs milieux cherchant à utiliser des robots afin d'accomplir des tâches complexes, par exemple l'industrie de la construction désire des travailleurs pouvant travailler 24/7 ou encore effectuer des operation de sauvetage dans des zones compromises et dangereuses pour l'humain. Dans ces situations, il devient très important de pouvoir transporter des charges dans des environnements encombrés. Bien que ces dernières années il y a eu quelques études destinées à la navigation de robots dans ce type d'environnements, seulement quelques-unes d'entre elles ont abordé le problème de robots pouvant naviguer en déplaçant un objet volumineux ou lourd. Ceci est particulièrement utile pour transporter des charges ayant de poids et de formes variables, sans avoir à modifier physiquement le robot. Un robot humanoïde est une des plateformes disponibles afin d'effectuer efficacement ce type de transport. Celui-ci a, entre autres, l'avantage d'avoir des bras et ils peuvent donc les utiliser afin de manipuler précisément les objets à transporter. Dans ce mémoire de maîtrise, deux différentes techniques sont présentées. Dans la première partie, nous présentons un système inspiré par l'utilisation répandue de chariots de fortune par les humains. Celle-ci répond au problème d'un robot humanoïde naviguant dans un environnement encombré tout en déplaçant une charge lourde qui se trouve sur un chariot de fortune. Nous présentons un système de navigation complet, de la construction incrémentale d'une carte de l'environnement et du calcul des trajectoires sans collision à la commande pour exécuter ces trajectoires. Les principaux points présentés sont : 1) le contrôle de tout le corps permettant au robot humanoïde d'utiliser ses mains et ses bras pour contrôler les mouvements du système à chariot (par exemple, lors de virages serrés) ; 2) une approche sans capteur pour automatiquement sélectionner le jeu approprié de primitives en fonction du poids de la charge ; 3) un algorithme de planification de mouvement qui génère une trajectoire sans collisions en utilisant le jeu de primitive approprié et la carte construite de l'environnement ; 4) une technique de filtrage efficace permettant d'ignorer le chariot et le poids situés dans le champ de vue du robot tout en améliorant les performances générales des algorithmes de SLAM (Simultaneous Localization and Mapping) défini ; et 5) un processus continu et cohérent d'odométrie formés en fusionnant les informations visuelles et celles de l'odométrie du robot. Finalement, nous présentons des expériences menées sur un robot Nao, équipé d'un capteur RGB-D monté sur sa tête, poussant un chariot avec différentes masses. Nos expériences montrent que la charge utile peut être significativement augmentée sans changer physiquement le robot, et donc qu'il est possible d'augmenter la capacité du robot humanoïde dans des situations réelles. Dans la seconde partie, nous abordons le problème de faire naviguer deux robots humanoïdes dans un environnement encombré tout en transportant un très grand objet qui ne peut tout simplement pas être déplacé par un seul robot. Dans cette partie, plusieurs algorithmes et concepts présentés dans la partie précédente sont réutilisés et modifiés afin de convenir à un système comportant deux robot humanoides. Entre autres, nous avons un algorithme de planification de mouvement multi-robots utilisant un espace d'états à faible dimension afin de trouver une trajectoire sans obstacle en utilisant la carte construite de l'environnement, ainsi qu'un contrôle en temps réel efficace de tout le corps pour contrôler les mouvements du système robot-objet-robot en boucle fermée. Aussi, plusieurs systèmes ont été ajoutés, tels que la synchronisation utilisant le décalage relatif des robots, la projection des robots sur la base de leur position des mains ainsi que l'erreur de rétroaction visuelle calculée à partir de la caméra frontale du robot. Encore une fois, nous présentons des expériences faites sur des robots Nao équipés de capteurs RGB-D montés sur leurs têtes, se déplaçant avec un objet tout en contournant d'obstacles. Nos expériences montrent qu'un objet de taille non négligeable peut être transporté sans changer physiquement le robot

A Retro-Projected Robotic Head for Social Human-Robot Interaction

As people respond strongly to faces and facial features, both con- sciously and subconsciously, faces are an essential aspect of social robots. Robotic faces and heads until recently belonged to one of the following categories: virtual, mechatronic or animatronic. As an orig- inal contribution to the field of human-robot interaction, I present the R-PAF technology (Retro-Projected Animated Faces): a novel robotic head displaying a real-time, computer-rendered face, retro-projected from within the head volume onto a mask, as well as its driving soft- ware designed with openness and portability to other hybrid robotic platforms in mind. The work constitutes the first implementation of a non-planar mask suitable for social human-robot interaction, comprising key elements of social interaction such as precise gaze direction control, facial ex- pressions and blushing, and the first demonstration of an interactive video-animated facial mask mounted on a 5-axis robotic arm. The LightHead robot, a R-PAF demonstrator and experimental platform, has demonstrated robustness both in extended controlled and uncon- trolled settings. The iterative hardware and facial design, details of the three-layered software architecture and tools, the implementation of life-like facial behaviours, as well as improvements in social-emotional robotic communication are reported. Furthermore, a series of evalua- tions present the first study on human performance in reading robotic gaze and another first on user’s ethnic preference towards a robot face

Designing Embodied Interactive Software Agents for E-Learning: Principles, Components, and Roles

Embodied interactive software agents are complex autonomous, adaptive, and social software systems with a digital embodiment that enables them to act on and react to other entities (users, objects, and other agents) in their environment through bodily actions, which include the use of verbal and non-verbal communicative behaviors in face-to-face interactions with the user. These agents have been developed for various roles in different application domains, in which they perform tasks that have been assigned to them by their developers or delegated to them by their users or by other agents. In computer-assisted learning, embodied interactive pedagogical software agents have the general task to promote human learning by working with students (and other agents) in computer-based learning environments, among them e-learning platforms based on Internet technologies, such as the Virtual Linguistics Campus (www.linguistics-online.com). In these environments, pedagogical agents provide contextualized, qualified, personalized, and timely assistance, cooperation, instruction, motivation, and services for both individual learners and groups of learners. This thesis develops a comprehensive, multidisciplinary, and user-oriented view of the design of embodied interactive pedagogical software agents, which integrates theoretical and practical insights from various academic and other fields. The research intends to contribute to the scientific understanding of issues, methods, theories, and technologies that are involved in the design, implementation, and evaluation of embodied interactive software agents for different roles in e-learning and other areas. For developers, the thesis provides sixteen basic principles (Added Value, Perceptible Qualities, Balanced Design, Coherence, Consistency, Completeness, Comprehensibility, Individuality, Variability, Communicative Ability, Modularity, Teamwork, Participatory Design, Role Awareness, Cultural Awareness, and Relationship Building) plus a large number of specific guidelines for the design of embodied interactive software agents and their components. Furthermore, it offers critical reviews of theories, concepts, approaches, and technologies from different areas and disciplines that are relevant to agent design. Finally, it discusses three pedagogical agent roles (virtual native speaker, coach, and peer) in the scenario of the linguistic fieldwork classes on the Virtual Linguistics Campus and presents detailed considerations for the design of an agent for one of these roles (the virtual native speaker)