Whole-Body MPC for a Dynamically Stable Mobile Manipulator

Autonomous mobile manipulation offers a dual advantage of mobility provided by a mobile platform and dexterity afforded by the manipulator. In this paper, we present a whole-body optimal control framework to jointly solve the problems of manipulation, balancing and interaction as one optimization problem for an inherently unstable robot. The optimization is performed using a Model Predictive Control (MPC) approach; the optimal control problem is transcribed at the end-effector space, treating the position and orientation tasks in the MPC planner, and skillfully planning for end-effector contact forces. The proposed formulation evaluates how the control decisions aimed at end-effector tracking and environment interaction will affect the balance of the system in the future. We showcase the advantages of the proposed MPC approach on the example of a ball-balancing robot with a robotic manipulator and validate our controller in hardware experiments for tasks such as end-effector pose tracking and door opening

The dynamic control of robotic manipulators in space

Described briefly is the work done during the first half year of a three-year study on dynamic control of robotic manipulators in space. The research focused on issues for advanced control of space manipulators including practical issues and new applications for the Virtual Manipulator. In addition, the development of simulations and graphics software for space manipulators, begun during the first NASA proposal in the area, has continued. The fabrication of the Vehicle Emulator System (VES) is completed and control algorithms are in process of development

Motion planning with dynamics awareness for long reach manipulation in aerial robotic systems with two arms

Human activities in maintenance of industrial plants pose elevated risks as well as significant costs due to the required shutdowns of the facility. An aerial robotic system with two arms for long reach manipulation in cluttered environments is presented to alleviate these constraints. The system consists of a multirotor with a long bar extension that incorporates a lightweight dual arm in the tip. This configuration allows aerial manipulation tasks even in hard-to-reach places. The objective of this work is the development of planning strategies to move the aerial robotic system with two arms for long reach manipulation in a safe and efficient way for both navigation and manipulation tasks. The motion planning problem is addressed considering jointly the aerial platform and the dual arm in order to achieve wider operating conditions. Since there exists a strong dynamical coupling between the multirotor and the dual arm, safety in obstacle avoidance will be assured by introducing dynamics awareness in the operation of the planner. On the other hand, the limited maneuverability of the system emphasizes the importance of energy and time efficiency in the generated trajectories. Accordingly, an adapted version of the optimal Rapidly-exploring Random Tree algorithm has been employed to guarantee their optimality. The resulting motion planning strategy has been evaluated through simulation in two realistic industrial scenarios, a riveting application and a chimney repairing task. To this end, the dynamics of the aerial robotic system with two arms for long reach manipulation has been properly modeled, and a distributed control scheme has been derived to complete the test bed. The satisfactory results of the simulations are presented as a first validation of the proposed approach.Unión Europea H2020-644271Ministerio de Ciencia, Innovación y Universidades DPI2014-59383-C2-1-

Modeling human-likeness in approaching motions of dual-arm autonomous robots

© 2018 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting /republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other worksThis paper addresses the problem of obtaining human-like motions with an anthropomorphic dual-arm torso assembled on a mobile platform. The focus is set on the coordinated movements of the robotic arms and the robot base while approaching a table to subsequently perform a bimanual manipulation task. For this, human movements are captured and mapped to the robot in order to compute the human dual-arm synergies. Since the demonstrated synergies change depending on the robot position, a recursive Cartesian-space discretization is presented based on these differences. Thereby, different movements of the arms are assigned to different regions of the Cartesian space. As an application example, a motion-planning algorithm exploiting this information is proposed and used.Postprint (published version

Human-Machine Interface for Remote Training of Robot Tasks

Regardless of their industrial or research application, the streamlining of robot operations is limited by the proximity of experienced users to the actual hardware. Be it massive open online robotics courses, crowd-sourcing of robot task training, or remote research on massive robot farms for machine learning, the need to create an apt remote Human-Machine Interface is quite prevalent. The paper at hand proposes a novel solution to the programming/training of remote robots employing an intuitive and accurate user-interface which offers all the benefits of working with real robots without imposing delays and inefficiency. The system includes: a vision-based 3D hand detection and gesture recognition subsystem, a simulated digital twin of a robot as visual feedback, and the "remote" robot learning/executing trajectories using dynamic motion primitives. Our results indicate that the system is a promising solution to the problem of remote training of robot tasks.Comment: Accepted in IEEE International Conference on Imaging Systems and Techniques - IST201

Motion planning using synergies : application to anthropomorphic dual-arm robots

Motion planning is a traditional field in robotics, but new problems are nevertheless incessantly appearing, due to continuous advances in the robot developments. In order to solve these new problems, as well as to improve the existing solutions to classical problems, new approaches are being proposed. A paradigmatic case is the humanoid robotics, since the advances done in this field require motion planners not only to look efficiently for an optimal solution in the classic way, i.e. optimizing consumed energy or time in the plan execution, but also looking for human-like solutions, i.e. requiring the robot movements to be similar to those of the human beings. This anthropomorphism in the robot motion is desired not only for aesthetical reasons, but it is also needed to allow a better and safer human-robot collaboration: humans can predict more easily anthropomorphic robot motions thus avoiding collisions and enhancing the collaboration with the robot. Nevertheless, obtaining a satisfactory performance of these anthropomorphic robotic systems requires the automatic planning of the movements, which is still an arduous and non-evident task since the complexity of the planning problem increases exponentially with the number of degrees of freedom of the robotic system. This doctoral thesis tackles the problem of planning the motions of dual-arm anthropomorphic robots (optionally with mobile base). The main objective is twofold: obtaining robot motions both in an efficient and in a human-like fashion at the same time. Trying to mimic the human movements while reducing the complexity of the search space for planning purposes leads to the concept of synergies, which could be conceptually defined as correlations (in the joint configuration space as well as in the joint velocity space) between the degrees of freedom of the system. This work proposes new sampling-based motion-planning procedures that exploit the concept of synergies, both in the configuration and velocity space, coordinating the movements of the arms, the hands and the mobile base of mobile anthropomorphic dual-arm robots.La planificación de movimientos es un campo tradicional de la robótica, sin embargo aparecen incesantemente nuevos problemas debido a los continuos avances en el desarrollo de los robots. Para resolver esos nuevos problemas, así como para mejorar las soluciones existentes a los problemas clásicos, se están proponiendo nuevos enfoques. Un caso paradigmático es la robótica humanoide, ya que los avances realizados en este campo requieren que los algoritmos planificadores de movimientos no sólo encuentren eficientemente una solución óptima en el sentido clásico, es decir, optimizar el consumo de energía o el tiempo de ejecución de la trayectoria; sino que también busquen soluciones con apariencia humana, es decir, que el movimiento del robot sea similar al del ser humano. Este antropomorfismo en el movimiento del robot se busca no sólo por razones estéticas, sino porque también es necesario para permitir una colaboración mejor y más segura entre el robot y el operario: el ser humano puede predecir con mayor facilidad los movimientos del robot si éstos son antropomórficos, evitando así las colisiones y mejorando la colaboración humano robot. Sin embargo, para obtener un desempeño satisfactorio de estos sistemas robóticos antropomórficos se requiere una planificación automática de sus movimientos, lo que sigue siendo una tarea ardua y poco evidente, ya que la complejidad del problema aumenta exponencialmente con el número de grados de libertad del sistema robótico. Esta tesis doctoral aborda el problema de la planificación de movimientos en robots antropomorfos bibrazo (opcionalmente con base móvil). El objetivo aquí es doble: obtener movimientos robóticos de forma eficiente y, a la vez, que tengan apariencia humana. Intentar imitar los movimientos humanos mientras a la vez se reduce la complejidad del espacio de búsqueda conduce al concepto de sinergias, que podrían definirse conceptualmente como correlaciones (tanto en el espacio de configuraciones como en el espacio de velocidades de las articulaciones) entre los distintos grados de libertad del sistema. Este trabajo propone nuevos procedimientos de planificación de movimientos que explotan el concepto de sinergias, tanto en el espacio de configuraciones como en el espacio de velocidades, coordinando así los movimientos de los brazos, las manos y la base móvil de robots móviles, bibrazo y antropomórficos.Postprint (published version

A New Index for Detecting and Avoiding Type II Singularities for the Control of Non-Redundant Parallel Robots

[ES] Los robots paralelos (PR por sus siglas en inglés) son mecanismos donde el efector final está unido a la base, mediante al menos dos cadenas cinemáticas abiertas. Los PRs ofrecen una gran capacidad de carga y alta precisión, lo que los hace adecuados para diversas aplicaciones, entre ellas la interacción persona-robot. Sin embargo, en las proximidades de una singularidad Tipo II (singularidad dentro del espacio de trabajo), un PR pierde el control sobre los movimientos del efector final. La pérdida de control representa un riesgo importante para los usuarios, especialmente en rehabilitación robótica. En las últimas décadas, los PR se han popularizado en la rehabilitación de miembros inferiores debido al aumento del número de personas que viven con limitaciones físicas. Así, esta tesis trata sobre la detección y evitación de singularidades de Tipo II para asegurar total control de un PR no redundante para la rehabilitación y diagnóstico de rodilla, denominado 3UPS+RPU. En la literatura, existen varios índices para detectar y medir la cercanía a una singularidad basados en métodos analíticos y geométricos. Sin embargo, algunos de estos índices carecen de significado físico y son incapaces de identificar los actuadores responsables de la pérdida de control. Esta tesis aporta dos novedosos índices para detectar y medir la proximidad a una singularidad de Tipo II, capaces de identificar el par de actuadores responsables de la singularidad. Los dos índices son los ángulos entre los componentes lineal (T_i,j) y angular (O_i,j) de dos Twist Screw de Salida (OTS por sus siglas en inglés) normalizados i,j. Una singularidad Tipo II es detectada cuando T_i,j = O_i,j = 0 y su proximidad se mide mediante los mínimos ángulos T_i,j (minT) y O_i,j (minO) para los casos plano y espacial, respectivamente. La eficacia de los índices T_i,j y O_i,j se evalúa de forma teórica y experimental en un robot 3UPS+RPU y un mecanismo de cinco barras. Además, se propone un procedimiento experimental para el adecuado establecimiento del límite de cercanía a una singularidad de Tipo II mediante la aproximación progresiva del PR a una singularidad y la medición de la última posición controlable. Posteriormente, se desarrollan dos nuevos algoritmos deterministas para liberar y evitar una singularidad de Tipo II basados en minT y minO para PR no redundantes. minT y minO se utilizan para identificar los dos actuadores a mover para liberar o evitar el PR de una singularidad. Ambos algoritmos requieren una medición precisa de la pose alcanzada por el efector final. El algoritmo para liberar un PR de una configuración singular se aplica con éxito en un controlador híbrido basado en visión artificial para el PR 3UPS+RPU. El controlador utiliza un sistema de fotogrametría para medir la pose del robot debido a la degeneración del modelo cinemático en las proximidades de una singularidad. El algoritmo de evasión de singularidades Tipo II se aplica a la planificación offline y online de trayectorias no singulares para un mecanismo de cinco barras y el PR 3UPS+RPU. Estas aplicaciones verifican el bajo coste computacional y la mínima desviación introducida en la trayectoria original por los nuevos algoritmos. La implementación directa de un controlador de fuerza/posición en el PR 3UPS+RPU es insegura porque el paciente podría llevar involuntariamente al PR a una singularidad. Por lo tanto, esta tesis concluye presentando un novedoso controlador de fuerza/posición complementado con el algoritmo de evasión de singularidades de Tipo II. El nuevo controlador se evalúa durante rehabilitación activa de una pierna de maniquí y una pierna humana no lesionada. Los resultados muestran que el nuevo controlador combinado mantiene el PR 3UPS+RPU lejos de configuraciones singulares con una desviación mínima de la trayectoria original. Por lo tanto, esta tesis habilita el 3UPS+RPU PR para la rehabilitación segura de miembros inferiores lesionados.[CAT] Els robots paral·lels (PR per les seues sigles en anglés) són mecanismes on l'efector final està unit a la base, mitjançant almenys dues cadenes cinemàtiques obertes. Els PRs ofereixen una gran capacitat de càrrega i alta precisió, la qual cosa els fa adequats per a diverses aplicacions, entre elles la interacció persona-robot. No obstant això, en les proximitats d'una singularitat Tipus II (singularitat dins de l'espai de treball), un PR perd el control sobre els moviments de l'efector final. La pèrdua de control representa un risc important per als usuaris, especialment en rehabilitació robòtica. En les últimes dècades, els PR s'han popularitzat en la rehabilitació de membres inferiors a causa de l'augment del nombre de persones que viuen amb limitacions físiques. Així, aquesta tesi tracta sobre la detecció i evació de singularitats de Tipus II per a assegurar total control d'un PR no redundant per a la rehabilitació i diagnòstic de genoll, denominat 3UPS+RPU. En la literatura, existeixen diversos índexs per a detectar i mesurar la proximitat a una singularitat basats en mètodes analítics i geomètrics. No obstant això, alguns d'aquests índexs manquen de significat físic i són incapaços d'identificar els actuadors responsables de la pèrdua de control. Aquesta tesi aporta dos nous índexs per a detectar i mesurar la proximitat a una singularitat de Tipus II, capaços d'identificar el parell d'actuadors responsables de la singularitat. Els dos índexs són els angles entre els components lineal (T_i,j) i angular (O_i,j) de dues Twist Screw d'Eixida (OTS per les seues sigles en engonals) normalitzats i,j. Una singularitat Tipus II és detectada quan T_i,j = O_i,j = 0 i la seua proximitat es mesura mitjançant els minimos angles T_i,j (minT) i O_i,j (minO) per als casos pla i espacial, respectivament. L'eficàcia dels índexs T_i,j i O_i,j es evalua de manera teòrica i experimental en un robot 3UPS+RPU i un mecanisme de cinc barres. A més, es proposa un procediment experimental per a l'adequat establiment del límit de proximitat a una singularitat de Tipus II mitjançant l'aproximació progressiva del PR a una singularitat i el mesurament de l'última posició controlable. Posteriorment, es desenvolupen dos nous algorismes deterministes per a alliberar i evadir una singularitat de Tipus II basats en minT i minO per a PR no redundants. minT i minO s'utilitzen per a identificar els dos actuadors a moure per a alliberar o evadir el PR d'una singularitat. Aquests algorismes requereixen un mesurament precís de la posa aconseguida per l'efector final. L'algorisme per a alliberar un PR d'una configuració singular s'aplica amb èxit en un controlador híbrid basat en visió artificial per al PR 3UPS+RPU. El controlador utilitza un sistema de fotogrametria per a mesurar la posa del robot a causa de la degeneració del model cinemàtic en les proximitats d'una singularitat. L'algorisme d'evació de singularitats Tipus II s'aplica a la planificació offline i en línia de trajectòries no singulars per a un mecanisme de cinc barres i el PR 3UPS+RPU. Aquestes aplicacions verifiquen el baix cost computacional i la mínima desviació introduïda en la trajectòria original pels nous algorismes. La implementació directa d'un controlador de força/posició en el PR 3UPS+RPU és insegura perquè el pacient podria portar involuntàriament al PR a una singularitat. Per tant, aquesta tesi conclou presentant un nou controlador de força/posició complementat amb l'algorisme d'evació de singularitats de Tipus II. El nou controlador s'avalua durant la rehabilitació activa d'una cama de maniquí i una cama humana no lesionada. Els resultats mostren que el nou controlador combinat manté el PR 3UPS+RPU lluny de configuracions singulars amb una desviació mínima de la trajectòria original. Per tant, aquesta tesi habilita el 3UPS+RPU PR per a la rehabilitació segura dels membres inferiors lesionats.[EN] Parallel Robots (PR)s are mechanisms where the end-effector is linked to the base by at least two open kinematics chains. The PRs offer a high payload and high accuracy, making them suitable for various applications, including human robot interaction. However, in proximity to a Type II singularity (singularity within the workspace), a PR loses control over the movements of the end-effector. The loss of control represents a major risk for users, especially in robotic rehabilitation. In the last decades, PRs have become popular in lower limb rehabilitation because of the increment in the number of people living with physical limitations. Thus, this thesis is about the detection and avoidance of Type II singularities to ensure complete control of a non-redundant PR for knee rehabilitation and diagnosis named 3UPS+RPU. In the literature, several indices exist to detect and measure the closeness to a singular configuration based on analytical and geometrical methods. However, some of these indices have no physical meaning, and they are unable to identify the actuators responsible for the loss of control. This thesis contributes two novel indices to detect and measure the proximity to a Type II singularity capable of identifying the pair of actuators responsible for the singularity. The two indices are the angles between the linear (T_i,j) and the angular (O_i,j) components of two i,j normalised Output Twist Screws (OTSs). A Type II singularity is detected when the angles T_i,j = O_i,j = 0 and its closeness is measured by the minimum T_i,j (minT) and minimum O_i,j (minO) for planar and spatial cases, respectively. The effectiveness of the indices T_i,j and O_i,j is evaluated from a theoretical and experimental perspective in a 3UPS+RPU and a five bars mechanism. Moreover, an experimental procedure is proposed for setting a proper limit of closeness to a Type II singularity by the progressive approach of the PR to singular configuration and measuring the last controllable pose. Subsequently, two novel deterministic algorithms for releasing and avoiding Type II singularities based on minT and minO are developed for non-redundant PRs. The minT and minO are used to identify the two actuators to move for release or prevent the PR from the singularity. Both algorithms require an accurate measuring of the pose reached by the end-effector. The algorithm to release a PR from a singular configuration is successfully applied in a vision-based hybrid controller for the 3UPS+RPU PR. The controller uses a photogrammetry system to measure the pose of the robot due to the degeneration of the kinematic model in the vicinity of a singularity. The Type II singularity avoidance algorithm is applied to offline and online free-singularity trajectory planning for a five-bar mechanism and the 3UPS+RPU PR. These applications verify the low computation cost and the minimum deviation introduced in the original trajectory for both novel algorithms. The direct implementation of a force/position controller in the 3UPS+RPU PR is unsafe because the patient could unintentionally drive the PR to a Type II singularity. Therefore, this thesis concludes by presenting a novel force/position controller complemented with the Type II singularity avoidance algorithm. The complemented controller is evaluated during patient-active exercises in a mannequin leg and an uninjured human limb. The results show that the novel combined controller keeps the 3UPS+RPU PR far from singular configurations with a minimum deviation on the original trajectory. Hence, this thesis enables the 3UPS+RPU PR for the safe rehabilitation of injured lower limbs.Pulloquinga Zapata, JL. (2023). A New Index for Detecting and Avoiding Type II Singularities for the Control of Non-Redundant Parallel Robots [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/19427