Confluència de ciència i ficció en la robòtica actual

Els robots industrials i els hominoides de la ciència-ficció, tan diferents fins ara, comencen a confluir gràcies al ràpid desenvolupament de la robòtica assistencial i de serveis. S’estan dissenyant robots que puguin interaccionar amb les persones, ja sigui atenent discapacitats i gent gran, fent de recepcionistes o dependents en centres comercials, o actuant de mestres de reforç o de mainaderes. Aquests anomenats robots socials plantegen un ventall de qüestions ètiques més ampli que els seus predecessors industrials. En aquest context, la comunitat científica robòtica s’ha acostat a les humanitats i, en particular, s’ha interessat pels dilemes morals sovint plantejats en obres de ciència-ficció. Després d’un breu repàs a l’estat actual de la recerca en robòtica, s’esbossaran les dificultats metodològiques de preveure científicament l’evolució d’una societat tecnificada, i s’apuntaran algunes novel·les i pel·lícules que tracten el tema de la interacció amb robots i la seva possible influència en el pensament, les relacions i els sentiments humans.Peer ReviewedPostprint (author's final draft

Human multi-robot interaction based on gesture recognition

This Master Thesis is devoted to the development of a gestural interface to interact with two robots, a NAO and a Wifibot, in a similar way as humans do. A Kinect 2 sensor is used to recognize the two gestures that have been implemented in the application, which are the pointing and waving gestures

Desenvolupament d’un sistema multiagent de detecció d’emocions en un robot bípede

[CA] L’habilitat d’identificar les expressions facials de les persones es trivial per als éssers humans. Per aquest motiu, un sistema automàtic amb aquesta capacitat seria un gran pas en el camí cap a la interacció persona-màquina. En aquest treball es descriu una aproximació per a intentar resoldre aquest problema. A més a més, el sistema deu poderse utilitzar per un robot així com poder interactuar amb un sistema multiagent (MAS). El sistema utilitza un algorisme que es basa, primerament, en l’extracció de punts característics de les imatges facials. Mitjançant aquests punts es calculen certes distàncies preestablertes. Aquestes distàncies seran usades per a entrenar models estadístics, tals com: k-veïns més propers, xarxes neuronals artificials, màquines de vectors de suport i arbres aleatoris. A més a més, es formalitzen, avaluen i comparen tres aproximacions, cadascuna millorant l’anterior, que permeten el reconeixement automàtic d’emocions a partir d’imatges facials[ES] La habilidad de identificar las expresiones faciales de las personas es trivial para los seres humanos. Por este motivo, un sistema automático con esta capacidad sería un gran paso en el camino hacia la interacción persona-máquina. En este trabajo se describe una aproximación para intentar resolver este problema. Además, el sistema debe poderse utilizar para un robot así como poder interactuar con una sistema multiagente (MAS). El sistema usa un algoritmo que se basa, primeramente, en la extracción de puntos característicos de las imágenes faciales. Mediante estos puntos se calculan ciertas distancias preestablecidas. Estas distancias serán usadas para entrenar modelos estadísticos, tales cómo: k-vecinos más cercanos, redes neuronales artificiales, máquinas de vectores de soporte y árboles aleatorios. Además, se formalizan, evalúan y comparan tres aproximaciones, cada una mejorando la anterior, que permiten el reconocimiento automático de emociones a partir de imágenes faciales.[EN] The ability to identify facial expressions of people are trivial for humans. Therefore, an automated system with this capability would be a great step in the path to humancomputer interaction. This paper describes an approach in order to solve this problem. In addition, the system must be able to be used by a robot as well as to interact with a multiagent system (MAS). The system use an algorithm which is based primarily on extracting feature points of facial images. These points will be used in order to calculate certain preset distances. These distances will be used to train statistical models, such as k-nearest neighbors, neural networks, support vector machines and random trees. In addition, it will be described, it will be evaluated and it will be compared three approaches, each one improving the predecessor, in order to allow the automatic recognition of emotions from facial imagesVerdú Mateu, C. (2016). Desenvolupament d’un sistema multiagent de detecció d’emocions en un robot bípede. http://hdl.handle.net/10251/69210.TFG

Estratègies de control d'un exosquelet en el procés d'aixecar-se

L’ús d’exosquelets per a la rehabilitació de persones amb trastorns motrius greus ha demostrat que pot contribuir en la millora de la seva mobilitat o la seva autonomia en el desenvolupament de les tasques bàsiques de la vida diària. L’acció d’aixecar-se des d’una posició asseguda és una activitat bàsica del dia a dia que sol fer-se sense pensar, però comporta certa dificultat a persones amb parèsia o paràlisi de les extremitats inferiors. Una anàlisi més detallada dels factors que intervenen en el moviment mostra que no es pot tractar com un simple procediment de variació de posició, sinó que hi ha més variables a tenir en compte, com forces, parells i/o velocitats. En aquest projecte es desenvolupa una aplicació d’assistència al moviment d’aixecar-se d’una cadira utilitzant un exosquelet robòtic i proposant un nou sistema de control basat en la definició de diverses fases durant la transició del moviment, en funció de les característiques cinemàtiques de cada instant. La combinació de diverses estratègies de control i un algoritme que gestiona en temps real les transicions entre les fases permeten realitzar aquesta acció de manera més natural i cooperant amb l’usuari. El sistema de control proposat s’ha provat amb un exosquelet robòtic real i els resultats experimentals validen la teoria proposada i serviran de base per futurs treballs d’ampliació

A New Index for Detecting and Avoiding Type II Singularities for the Control of Non-Redundant Parallel Robots

[ES] Los robots paralelos (PR por sus siglas en inglés) son mecanismos donde el efector final está unido a la base, mediante al menos dos cadenas cinemáticas abiertas. Los PRs ofrecen una gran capacidad de carga y alta precisión, lo que los hace adecuados para diversas aplicaciones, entre ellas la interacción persona-robot. Sin embargo, en las proximidades de una singularidad Tipo II (singularidad dentro del espacio de trabajo), un PR pierde el control sobre los movimientos del efector final. La pérdida de control representa un riesgo importante para los usuarios, especialmente en rehabilitación robótica. En las últimas décadas, los PR se han popularizado en la rehabilitación de miembros inferiores debido al aumento del número de personas que viven con limitaciones físicas. Así, esta tesis trata sobre la detección y evitación de singularidades de Tipo II para asegurar total control de un PR no redundante para la rehabilitación y diagnóstico de rodilla, denominado 3UPS+RPU. En la literatura, existen varios índices para detectar y medir la cercanía a una singularidad basados en métodos analíticos y geométricos. Sin embargo, algunos de estos índices carecen de significado físico y son incapaces de identificar los actuadores responsables de la pérdida de control. Esta tesis aporta dos novedosos índices para detectar y medir la proximidad a una singularidad de Tipo II, capaces de identificar el par de actuadores responsables de la singularidad. Los dos índices son los ángulos entre los componentes lineal (T_i,j) y angular (O_i,j) de dos Twist Screw de Salida (OTS por sus siglas en inglés) normalizados i,j. Una singularidad Tipo II es detectada cuando T_i,j = O_i,j = 0 y su proximidad se mide mediante los mínimos ángulos T_i,j (minT) y O_i,j (minO) para los casos plano y espacial, respectivamente. La eficacia de los índices T_i,j y O_i,j se evalúa de forma teórica y experimental en un robot 3UPS+RPU y un mecanismo de cinco barras. Además, se propone un procedimiento experimental para el adecuado establecimiento del límite de cercanía a una singularidad de Tipo II mediante la aproximación progresiva del PR a una singularidad y la medición de la última posición controlable. Posteriormente, se desarrollan dos nuevos algoritmos deterministas para liberar y evitar una singularidad de Tipo II basados en minT y minO para PR no redundantes. minT y minO se utilizan para identificar los dos actuadores a mover para liberar o evitar el PR de una singularidad. Ambos algoritmos requieren una medición precisa de la pose alcanzada por el efector final. El algoritmo para liberar un PR de una configuración singular se aplica con éxito en un controlador híbrido basado en visión artificial para el PR 3UPS+RPU. El controlador utiliza un sistema de fotogrametría para medir la pose del robot debido a la degeneración del modelo cinemático en las proximidades de una singularidad. El algoritmo de evasión de singularidades Tipo II se aplica a la planificación offline y online de trayectorias no singulares para un mecanismo de cinco barras y el PR 3UPS+RPU. Estas aplicaciones verifican el bajo coste computacional y la mínima desviación introducida en la trayectoria original por los nuevos algoritmos. La implementación directa de un controlador de fuerza/posición en el PR 3UPS+RPU es insegura porque el paciente podría llevar involuntariamente al PR a una singularidad. Por lo tanto, esta tesis concluye presentando un novedoso controlador de fuerza/posición complementado con el algoritmo de evasión de singularidades de Tipo II. El nuevo controlador se evalúa durante rehabilitación activa de una pierna de maniquí y una pierna humana no lesionada. Los resultados muestran que el nuevo controlador combinado mantiene el PR 3UPS+RPU lejos de configuraciones singulares con una desviación mínima de la trayectoria original. Por lo tanto, esta tesis habilita el 3UPS+RPU PR para la rehabilitación segura de miembros inferiores lesionados.[CAT] Els robots paral·lels (PR per les seues sigles en anglés) són mecanismes on l'efector final està unit a la base, mitjançant almenys dues cadenes cinemàtiques obertes. Els PRs ofereixen una gran capacitat de càrrega i alta precisió, la qual cosa els fa adequats per a diverses aplicacions, entre elles la interacció persona-robot. No obstant això, en les proximitats d'una singularitat Tipus II (singularitat dins de l'espai de treball), un PR perd el control sobre els moviments de l'efector final. La pèrdua de control representa un risc important per als usuaris, especialment en rehabilitació robòtica. En les últimes dècades, els PR s'han popularitzat en la rehabilitació de membres inferiors a causa de l'augment del nombre de persones que viuen amb limitacions físiques. Així, aquesta tesi tracta sobre la detecció i evació de singularitats de Tipus II per a assegurar total control d'un PR no redundant per a la rehabilitació i diagnòstic de genoll, denominat 3UPS+RPU. En la literatura, existeixen diversos índexs per a detectar i mesurar la proximitat a una singularitat basats en mètodes analítics i geomètrics. No obstant això, alguns d'aquests índexs manquen de significat físic i són incapaços d'identificar els actuadors responsables de la pèrdua de control. Aquesta tesi aporta dos nous índexs per a detectar i mesurar la proximitat a una singularitat de Tipus II, capaços d'identificar el parell d'actuadors responsables de la singularitat. Els dos índexs són els angles entre els components lineal (T_i,j) i angular (O_i,j) de dues Twist Screw d'Eixida (OTS per les seues sigles en engonals) normalitzats i,j. Una singularitat Tipus II és detectada quan T_i,j = O_i,j = 0 i la seua proximitat es mesura mitjançant els minimos angles T_i,j (minT) i O_i,j (minO) per als casos pla i espacial, respectivament. L'eficàcia dels índexs T_i,j i O_i,j es evalua de manera teòrica i experimental en un robot 3UPS+RPU i un mecanisme de cinc barres. A més, es proposa un procediment experimental per a l'adequat establiment del límit de proximitat a una singularitat de Tipus II mitjançant l'aproximació progressiva del PR a una singularitat i el mesurament de l'última posició controlable. Posteriorment, es desenvolupen dos nous algorismes deterministes per a alliberar i evadir una singularitat de Tipus II basats en minT i minO per a PR no redundants. minT i minO s'utilitzen per a identificar els dos actuadors a moure per a alliberar o evadir el PR d'una singularitat. Aquests algorismes requereixen un mesurament precís de la posa aconseguida per l'efector final. L'algorisme per a alliberar un PR d'una configuració singular s'aplica amb èxit en un controlador híbrid basat en visió artificial per al PR 3UPS+RPU. El controlador utilitza un sistema de fotogrametria per a mesurar la posa del robot a causa de la degeneració del model cinemàtic en les proximitats d'una singularitat. L'algorisme d'evació de singularitats Tipus II s'aplica a la planificació offline i en línia de trajectòries no singulars per a un mecanisme de cinc barres i el PR 3UPS+RPU. Aquestes aplicacions verifiquen el baix cost computacional i la mínima desviació introduïda en la trajectòria original pels nous algorismes. La implementació directa d'un controlador de força/posició en el PR 3UPS+RPU és insegura perquè el pacient podria portar involuntàriament al PR a una singularitat. Per tant, aquesta tesi conclou presentant un nou controlador de força/posició complementat amb l'algorisme d'evació de singularitats de Tipus II. El nou controlador s'avalua durant la rehabilitació activa d'una cama de maniquí i una cama humana no lesionada. Els resultats mostren que el nou controlador combinat manté el PR 3UPS+RPU lluny de configuracions singulars amb una desviació mínima de la trajectòria original. Per tant, aquesta tesi habilita el 3UPS+RPU PR per a la rehabilitació segura dels membres inferiors lesionats.[EN] Parallel Robots (PR)s are mechanisms where the end-effector is linked to the base by at least two open kinematics chains. The PRs offer a high payload and high accuracy, making them suitable for various applications, including human robot interaction. However, in proximity to a Type II singularity (singularity within the workspace), a PR loses control over the movements of the end-effector. The loss of control represents a major risk for users, especially in robotic rehabilitation. In the last decades, PRs have become popular in lower limb rehabilitation because of the increment in the number of people living with physical limitations. Thus, this thesis is about the detection and avoidance of Type II singularities to ensure complete control of a non-redundant PR for knee rehabilitation and diagnosis named 3UPS+RPU. In the literature, several indices exist to detect and measure the closeness to a singular configuration based on analytical and geometrical methods. However, some of these indices have no physical meaning, and they are unable to identify the actuators responsible for the loss of control. This thesis contributes two novel indices to detect and measure the proximity to a Type II singularity capable of identifying the pair of actuators responsible for the singularity. The two indices are the angles between the linear (T_i,j) and the angular (O_i,j) components of two i,j normalised Output Twist Screws (OTSs). A Type II singularity is detected when the angles T_i,j = O_i,j = 0 and its closeness is measured by the minimum T_i,j (minT) and minimum O_i,j (minO) for planar and spatial cases, respectively. The effectiveness of the indices T_i,j and O_i,j is evaluated from a theoretical and experimental perspective in a 3UPS+RPU and a five bars mechanism. Moreover, an experimental procedure is proposed for setting a proper limit of closeness to a Type II singularity by the progressive approach of the PR to singular configuration and measuring the last controllable pose. Subsequently, two novel deterministic algorithms for releasing and avoiding Type II singularities based on minT and minO are developed for non-redundant PRs. The minT and minO are used to identify the two actuators to move for release or prevent the PR from the singularity. Both algorithms require an accurate measuring of the pose reached by the end-effector. The algorithm to release a PR from a singular configuration is successfully applied in a vision-based hybrid controller for the 3UPS+RPU PR. The controller uses a photogrammetry system to measure the pose of the robot due to the degeneration of the kinematic model in the vicinity of a singularity. The Type II singularity avoidance algorithm is applied to offline and online free-singularity trajectory planning for a five-bar mechanism and the 3UPS+RPU PR. These applications verify the low computation cost and the minimum deviation introduced in the original trajectory for both novel algorithms. The direct implementation of a force/position controller in the 3UPS+RPU PR is unsafe because the patient could unintentionally drive the PR to a Type II singularity. Therefore, this thesis concludes by presenting a novel force/position controller complemented with the Type II singularity avoidance algorithm. The complemented controller is evaluated during patient-active exercises in a mannequin leg and an uninjured human limb. The results show that the novel combined controller keeps the 3UPS+RPU PR far from singular configurations with a minimum deviation on the original trajectory. Hence, this thesis enables the 3UPS+RPU PR for the safe rehabilitation of injured lower limbs.Pulloquinga Zapata, JL. (2023). A New Index for Detecting and Avoiding Type II Singularities for the Control of Non-Redundant Parallel Robots [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/19427

Interconexión del robot NAO a servicios de simulación en la nube

[ES] En este proyecto se diseñan, desarrollan y despliegan un conjunto de servicios en la nube, que permiten el desarrollo de actividades de interacción personarobot en un robot humanoide NAO, desacoplando el control de éste (en bucles de control local) de la ejecución de un simulador de valores de glucosa en sangre con propósito educativo. También se sustituyen las conexiones de datos basadas en la pila TCP/IP por protocolos de mayor abstracción como HTTP y MQTT, los cuales permiten una comunicación más flexible y con más opciones, haciendo transparente para el programador aspectos de más bajo nivel y añadiendo muchas más funcionalidades. Además de las tareas mencionadas previamente, también se moderniza el código para que sea más sencilla tanto su estructura como su compilación y ejecución, de acorde a los estándares de programación actuales.[EN] In this project, a set of cloud services are designed, developed and deployed, which allow the development of person-robot interaction activities in a NAO humanoid robot, separating its control (in local control loops) from the execution of a simulator of blood glucose values for educational purposes. Besides data connections based on the TCP/IP stack are replaced by protocols of greater abstraction such as HTTP and MQTT, which allow a more flexible communication with more options, making aspects of lower level layers transparent to the programmer adding many more functionalities. In addition to the previously mentioned tasks, the code is also modernized to make its structure easier as well as its compilation and execution, according to the current state of art.[CA] En aquest projecte es dissenyen, desenvolupen i despleguen un conjunt de serveis en el núvol, que permeten el desenvolupament d’activitats de interacció persona-robot en un robot humanoide NAO, desacoblant el control d’aquest (en bucles de control local) de l’execució d’un simulador de valors de glucosa en sang amb propòsit educatiu. Es substitueixen també les connexions de dades basades en la pila TCP/IP per protocols de major abstracció com HTTP i MQTT, els quals permeten una comunicació més flexible i amb més opcions, fent transparent al programador aspectes de més baix nivell i afegint moltes més funcionalitats. A banda de les tasques mencionades previament, també es modernitza el codi per a ser més senzilla tant la seva estructura con la seva compilació i execució, d’acord amb els estàndards de programació actuals.Carmona Vila, J. (2019). Interconexión del robot NAO a servicios de simulación en la nube. http://hdl.handle.net/10251/129862TFG