Muecas: a multi-sensor robotic head for affective human robot interaction and imitation

Este artículo presenta una cabeza robótica humanoide multi-sensor para la interacción del robot humano. El diseño de la cabeza robótica, Muecas, se basa en la investigación en curso sobre los mecanismos de percepción e imitación de las expresiones y emociones humanas. Estos mecanismos permiten la interacción directa entre el robot y su compañero humano a través de las diferentes modalidades del lenguaje natural: habla, lenguaje corporal y expresiones faciales. La cabeza robótica tiene 12 grados de libertad, en una configuración de tipo humano, incluyendo ojos, cejas, boca y cuello, y ha sido diseñada y construida totalmente por IADeX (Ingeniería, Automatización y Diseño de Extremadura) y RoboLab. Se proporciona una descripción detallada de su cinemática junto con el diseño de los controladores más complejos. Muecas puede ser controlado directamente por FACS (Sistema de Codificación de Acción Facial), el estándar de facto para reconocimiento y síntesis de expresión facial. Esta característica facilita su uso por parte de plataformas de terceros y fomenta el desarrollo de la imitación y de los sistemas basados en objetivos. Los sistemas de imitación aprenden del usuario, mientras que los basados en objetivos utilizan técnicas de planificación para conducir al usuario hacia un estado final deseado. Para mostrar la flexibilidad y fiabilidad de la cabeza robótica, se presenta una arquitectura de software capaz de detectar, reconocer, clasificar y generar expresiones faciales en tiempo real utilizando FACS. Este sistema se ha implementado utilizando la estructura robótica, RoboComp, que proporciona acceso independiente al hardware a los sensores en la cabeza. Finalmente, se presentan resultados experimentales que muestran el funcionamiento en tiempo real de todo el sistema, incluyendo el reconocimiento y la imitación de las expresiones faciales humanas.This paper presents a multi-sensor humanoid robotic head for human robot interaction. The design of the robotic head, Muecas, is based on ongoing research on the mechanisms of perception and imitation of human expressions and emotions. These mechanisms allow direct interaction between the robot and its human companion through the different natural language modalities: speech, body language and facial expressions. The robotic head has 12 degrees of freedom, in a human-like configuration, including eyes, eyebrows, mouth and neck, and has been designed and built entirely by IADeX (Engineering, Automation and Design of Extremadura) and RoboLab. A detailed description of its kinematics is provided along with the design of the most complex controllers. Muecas can be directly controlled by FACS (Facial Action Coding System), the de facto standard for facial expression recognition and synthesis. This feature facilitates its use by third party platforms and encourages the development of imitation and of goal-based systems. Imitation systems learn from the user, while goal-based ones use planning techniques to drive the user towards a final desired state. To show the flexibility and reliability of the robotic head, the paper presents a software architecture that is able to detect, recognize, classify and generate facial expressions in real time using FACS. This system has been implemented using the robotics framework, RoboComp, which provides hardware-independent access to the sensors in the head. Finally, the paper presents experimental results showing the real-time functioning of the whole system, including recognition and imitation of human facial expressions.Trabajo financiado por: Ministerio de Ciencia e Innovación. Proyecto TIN2012-38079-C03-1 Gobierno de Extremadura. Proyecto GR10144peerReviewe

Enfermedades crónicas

Adherencia al tratamiento farmacológico y relación con el control metabólico en pacientes con DM2Aluminio en pacientes con terapia de reemplazo renal crónico con hemodiálisis en Bogotá, ColombiaAmputación de extremidades inferiores: ¿están aumentando las tasas?Consumo de edulcorantes artificiales en jóvenes universitariosCómo crecen niños normales de 2 años que son sobrepeso a los 7 añosDiagnóstico con enfoque territorial de salud cardiovascular en la Región MetropolitanaEfecto a corto plazo de una intervención con ejercicio físico, en niños con sobrepesoEfectos de la cirugía bariátrica en pacientes con síndrome metabólico e IMC < 35 KG/M2Encuesta mundial de tabaquismo en estudiantes de profesiones de saludEnfermedades crónicas no transmisibles: Consecuencias sociales-sanitarias de comunidades rurales en ChileEpidemiología de las muertes hospitalarias por patologías relacionadas a muerte encefálica, Chile 2003-2007Estado nutricional y conductas alimentarias en adolescentes de 4º medio de la Región de CoquimboEstudio de calidad de vida en una muestra del plan piloto para hepatitis CEvaluación del proceso asistencial y de resultados de salud del GES de diabetes mellitus 2Factores de riesgo cardiovascular en población universitaria de la Facsal, universidad de TarapacáImplicancias psicosociales en la génesis, evolución y tratamiento de pacientes con hipertensión arterial esencialInfarto agudo al miocardio (IAM): Realidad en el Hospital de Puerto Natales, 2009-2010Introducción de nuevas TIC y mejoría de la asistencia a un programa de saludNiños obesos atendidos en el Cesfam de Puerto Natales y su entorno familiarPerfil de la mortalidad por cáncer de cuello uterino en Río de JaneiroPerfil del paciente primo-consultante del Programa de Salud Cardiovascular, Consultorio Cordillera Andina, Los AndesPrevalencia de automedicación en mujeres beneficiarias del Hospital Comunitario de Til-TiPrevalencia de caries en población preescolar y su relación con malnutrición por excesoPrevalencia de retinopatía diabética en comunas dependientes del Servicio de Salud Metropolitano Occidente (SSMOC)Problemas de adherencia farmacológica antihipertensiva en población mapuche: Un estudio cualitativoRol biológico de los antioxidantes innatos en pacientes portadores de VIH/SidaSobrepeso en empleados de un restaurante de una universidad pública del estado de São Paul

Emotion learning system for affective human-robot interaction based on emotional affordances

Tesis doctoral con la Mención de "Doctor Internacional"Esta Tesis presenta un sistema de aprendizaje emocional para una interacción Hombre-Robot usando dos enfoques complementarios. En principio, un sistema para el reconocimiento e imitación de emociones basado en analizar el lenguaje natural del usuario. La expresión facial, la voz humana y el lenguaje corporal son analizados para extraer características faciales, acústicas y corporales, que a posteriori son empleados para estimar el estado emocional del usuario mediante un enfoque bayesiano con cinco estados. Asimismo, incluye un sistema que imita emociones, mediante un modelado de las anteriores. Este sistema utiliza el robot Muecas para expresar información emocional por medio de expresiones faciales, mensajes verbales y el lenguaje corporal del cuello y la boca. A continuación, la información emocional es utilizada por el sistema de aprendizaje del comportamiento afectivo basado en “Affordances” Emocionales, representando la relación existente entre diferentes elementos afectivos, como objetos ambientales y emociones del usuario, respecto a las posibles reacciones del robot consiguiendo un efecto determinado en el usuario. Así, pretendemos que el agente robótico, modifique el estado emocional del usuario prediciendo el efecto que tendrán las reacciones emocionales o las acciones del robot sobre los objetos. Para ello implementamos un sistema de aprendizaje de “Affordances” con una perspectiva bayesiana, usando los sistemas de reconocimiento e imitación de emociones, junto con la interacción con objetos del entorno. Finalmente, proponemos un modelo de comportamiento afectivo robótico basado en “Affordances”, capaz de utilizar tanto las reacciones del agente como sus acciones sobre el entorno para modificar el estado del usuario.This Thesis presents an emotional learning system for Human-Robot interaction using two complimentary approaches. Initially, a system for emotion recognition and imitation is based in analyzing the user natural language. Facial expressions, human voice and body language are analyzed in order to extract facial, acoustic and corporal characteristics, that later are used to estimate the user's emotional state through a Bayesian approach with five states. Additionally, it includes an emotion imitation system, through a modeling of previous ones. This system uses the robot Muecas in order to express emotional information through facial expressions, verbal messages and neck and mouth corporal language. Following, emotional information is used by the learning system of the affective behavior, based in Emotional “Affordances”, representing the existent relation between different affective elements, like objects and user emotions, respect to possible robot reactions achieving a determined effect in the user. This way, we pretend the robotic agent to modify the emotional state of the user predicting the effect that the emotional reactions or the robot actions will have over the objects. Thus we implemented an “Affordances” learning system with a Bayesian perspective, using emotion recognition and imitation systems, along with the interaction with objects from the environment. Finally, we propose an “Affordance”s based robotic affective behavior model, able to use the reactions of the agent as well as its actions over the environment in order to modify the user state

Emotion learning system for affective human-robot interaction based on emotional affordances

Tesis doctoral con la Mención de "Doctor Internacional"Esta Tesis presenta un sistema de aprendizaje emocional para una interacción Hombre-Robot usando dos enfoques complementarios. En principio, un sistema para el reconocimiento e imitación de emociones basado en analizar el lenguaje natural del usuario. La expresión facial, la voz humana y el lenguaje corporal son analizados para extraer características faciales, acústicas y corporales, que a posteriori son empleados para estimar el estado emocional del usuario mediante un enfoque bayesiano con cinco estados. Asimismo, incluye un sistema que imita emociones, mediante un modelado de las anteriores. Este sistema utiliza el robot Muecas para expresar información emocional por medio de expresiones faciales, mensajes verbales y el lenguaje corporal del cuello y la boca. A continuación, la información emocional es utilizada por el sistema de aprendizaje del comportamiento afectivo basado en “Affordances” Emocionales, representando la relación existente entre diferentes elementos afectivos, como objetos ambientales y emociones del usuario, respecto a las posibles reacciones del robot consiguiendo un efecto determinado en el usuario. Así, pretendemos que el agente robótico, modifique el estado emocional del usuario prediciendo el efecto que tendrán las reacciones emocionales o las acciones del robot sobre los objetos. Para ello implementamos un sistema de aprendizaje de “Affordances” con una perspectiva bayesiana, usando los sistemas de reconocimiento e imitación de emociones, junto con la interacción con objetos del entorno. Finalmente, proponemos un modelo de comportamiento afectivo robótico basado en “Affordances”, capaz de utilizar tanto las reacciones del agente como sus acciones sobre el entorno para modificar el estado del usuario.This Thesis presents an emotional learning system for Human-Robot interaction using two complimentary approaches. Initially, a system for emotion recognition and imitation is based in analyzing the user natural language. Facial expressions, human voice and body language are analyzed in order to extract facial, acoustic and corporal characteristics, that later are used to estimate the user's emotional state through a Bayesian approach with five states. Additionally, it includes an emotion imitation system, through a modeling of previous ones. This system uses the robot Muecas in order to express emotional information through facial expressions, verbal messages and neck and mouth corporal language. Following, emotional information is used by the learning system of the affective behavior, based in Emotional “Affordances”, representing the existent relation between different affective elements, like objects and user emotions, respect to possible robot reactions achieving a determined effect in the user. This way, we pretend the robotic agent to modify the emotional state of the user predicting the effect that the emotional reactions or the robot actions will have over the objects. Thus we implemented an “Affordances” learning system with a Bayesian perspective, using emotion recognition and imitation systems, along with the interaction with objects from the environment. Finally, we propose an “Affordance”s based robotic affective behavior model, able to use the reactions of the agent as well as its actions over the environment in order to modify the user state