Teleoperating a mobile manipulation using a UAV camera without robot self-occlusions

[Abstract] The paper presents a novel teleoperation system that allows the simultaneous command of a mo- bile manipulator and a free ying camera, im- plemented using a UAV, from which the opera- tor can monitor the task execution in real-time. A novel use of the kinematic redundancy is pre- sented to prevent the robot parts from occluding the end-e ector to the operator view. Following an obstacle avoidance approach, an input is fed to the null space that keeps the robot links away from the end-e ector in the image plane as a sec- ondary task. Simulations and the implementation in a real setup show the goodness of the proposed approach.Ministerio de Economía, Industria y Competitividad; DPI2016-80077-

Using an UAV to guide the teleoperation of a mobile manipulator

[Abstract] In this paper, a new teleoperation system consisting on the integration of a mobile manipulator, an UAV, and a haptic is presented. The camera of the UAV is used to give visual feedback to the operator. An algorithm is presented to allow the operator to command both the UAV and the mobile manipulator while keeping the point of view pointing towards the robot by only using a single haptic device. The presented algorithm combines a position-position and a position-velocity workspace mapping from the haptic to the mobile manipulator and the UAV, both in position and orientation. Further, a solution is presented that takes advantage of the null space of the mobile manipulator to keep the body and the arm of the mobile manipulator from occluding its own TCP and the object it is carrying, thus easing the teleoperation task. Experimentation has been carried on the system, both in a virtual and a real scenario, showing its potential in teleoperation scenarios. Overall, a novel teleoperation system and the ongoing progress towards its implementation in real situations is presented in this work.Gobierno de España; DPI2013-40882-PGobierno de España; DPI2014-57757-RGobierno de España; DPI2016-80077-RGobierno de España; BES-2012-05489

Exploiting the robot kinematic redundancy for emotion conveyance to humans as a lower priority task

Current approaches do not allow robots to execute a task and simultaneously convey emotions to users using their body motions. This paper explores the capabilities of the Jacobian null space of a humanoid robot to convey emotions. A task priority formulation has been implemented in a Pepper robot which allows the specification of a primary task (waving gesture, transportation of an object, etc.) and exploits the kinematic redundancy of the robot to convey emotions to humans as a lower priority task. The emotions, defined by Mehrabian as points in the pleasure–arousal–dominance space, generate intermediate motion features (jerkiness, activity and gaze) that carry the emotional information. A map from this features to the joints of the robot is presented. A user study has been conducted in which emotional motions have been shown to 30 participants. The results show that happiness and sadness are very well conveyed to the user, calm is moderately well conveyed, and fear is not well conveyed. An analysis on the dependencies between the motion features and the emotions perceived by the participants shows that activity correlates positively with arousal, jerkiness is not perceived by the user, and gaze conveys dominance when activity is low. The results indicate a strong influence of the most energetic motions of the emotional task and point out new directions for further research. Overall, the results show that the null space approach can be regarded as a promising mean to convey emotions as a lower priority task.Postprint (author's final draft

Teleoperating a mobile manipulator and a free-flying camera from a single haptic device

© 2016 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other worksThe paper presents a novel teleoperation system that allows the simultaneous and continuous command of a ground mobile manipulator and a free flying camera, implemented using an UAV, from which the operator can monitor the task execution in real-time. The proposed decoupled position and orientation workspace mapping allows the teleoperation from a single haptic device with bounded workspace of a complex robot with unbounded workspace. When the operator is reaching the position and orientation boundaries of the haptic workspace, linear and angular velocity components are respectively added to the inputs of the mobile manipulator and the flying camera. A user study on a virtual environment has been conducted to evaluate the performance and the workload on the user before and after proper training. Analysis on the data shows that the system complexity is not an obstacle for an efficient performance. This is a first step towards the implementation of a teleoperation system with a real mobile manipulator and a low-cost quadrotor as the free-flying camera.Accepted versio

Searching a valid hand configuration to perform a given grasp

Peer ReviewedPostprint (published version

Determinació de configuracions d'un conjunt robot/mà-mecànica per a la presa d'objectes

En aquest treball s’explica la implementació d’un algoritme per a resoldre la cinemàtica inversa amb col·lisions d’una mà mecànica de quatre dits i trenta graus de llibertat. Així, l’objectiu consisteix en, donats quatre punts de contacte sobre un objecte i les orientaciones de les potencials forces de pressió, obtenir una configuració de la mà que fa que els dits els assoleixin, i garantint que no existeix cap col·lisió en la mà. El model cinemàtic de la mà emprat en el projecte correspon a la mà mecànica MA-I, disponible en el laboratori de robòtica de l’Institut d’Organització i Control (IOC) de la UPC. L’enfoc emprat en el projecte es basa en l’ús del jacobià de la mà. Inicialment, s’obté una configuració inicial de la mà; a continuació es van obtenint, de forma iterativa i mitjançant el jacobià, noves configuracions que apropen els dits als punts de contacte. I així fins a obtenir una configuració satisfactòria o fins que la progressió s’estabilitza; en aquest darrer cas es genera una nova configuració inicial i s’itera de nou; i així fins que s’assoleix una configuració vàlida. Pel que fa a les configuracions inicials, en totes elles el polze satisfà les condicions del seu punt de contacte, deixant variable el grau d’obertura de la mà. Per tal de determinar la millor seqüència d’obertures es va realitzar un estudi estadístic offline que optimitza l’algoritme, permetent emprar una sola comprovació de col·lisions per cada posició inicial. També es presenta una interfície gràfica que permet graficar una seqüència de configuracions i comprovar visualment si es produeixen col·lisions. Tot el codi incloent la interfície s’ha desenvolupat en C/C++, fent-lo multiplataforma. El resultat és una eina que resol fins el 97.71% dels casos, en un temps mitjà aproximat de 41 ms, i permet una visualització gràfica; aquesta eina es presum adaptable a qualsevol tipus de mà mecànica. Aquest treball no queda tancat, obre més possibilitats d’optimització i nous enfocs, podent incorporar-lo en el marc d’altres projectes de més envergadura

Impulsar els microcrèdits a la regió peruana de Santiago

Postprint (published version

Determinació de configuracions d'un conjunt robot/mà-mecànica per a la presa d'objectes

En aquest treball s’explica la implementació d’un algoritme per a resoldre la cinemàtica inversa amb col·lisions d’una mà mecànica de quatre dits i trenta graus de llibertat. Així, l’objectiu consisteix en, donats quatre punts de contacte sobre un objecte i les orientaciones de les potencials forces de pressió, obtenir una configuració de la mà que fa que els dits els assoleixin, i garantint que no existeix cap col·lisió en la mà. El model cinemàtic de la mà emprat en el projecte correspon a la mà mecànica MA-I, disponible en el laboratori de robòtica de l’Institut d’Organització i Control (IOC) de la UPC. L’enfoc emprat en el projecte es basa en l’ús del jacobià de la mà. Inicialment, s’obté una configuració inicial de la mà; a continuació es van obtenint, de forma iterativa i mitjançant el jacobià, noves configuracions que apropen els dits als punts de contacte. I així fins a obtenir una configuració satisfactòria o fins que la progressió s’estabilitza; en aquest darrer cas es genera una nova configuració inicial i s’itera de nou; i així fins que s’assoleix una configuració vàlida. Pel que fa a les configuracions inicials, en totes elles el polze satisfà les condicions del seu punt de contacte, deixant variable el grau d’obertura de la mà. Per tal de determinar la millor seqüència d’obertures es va realitzar un estudi estadístic offline que optimitza l’algoritme, permetent emprar una sola comprovació de col·lisions per cada posició inicial. També es presenta una interfície gràfica que permet graficar una seqüència de configuracions i comprovar visualment si es produeixen col·lisions. Tot el codi incloent la interfície s’ha desenvolupat en C/C++, fent-lo multiplataforma. El resultat és una eina que resol fins el 97.71% dels casos, en un temps mitjà aproximat de 41 ms, i permet una visualització gràfica; aquesta eina es presum adaptable a qualsevol tipus de mà mecànica. Aquest treball no queda tancat, obre més possibilitats d’optimització i nous enfocs, podent incorporar-lo en el marc d’altres projectes de més envergadura

Searching a valid hand configuration to perform a given grasp

Peer Reviewe