Integration of a voice recognition system in a social robot

Human-Robot Interaction (HRI) 1 is one of the main fields in the study and research of robotics. Within this field, dialog systems and interaction by voice play a very important role. When speaking about human- robot natural dialog we assume that the robot has the capability to accurately recognize the utterance what the human wants to transmit verbally and even its semantic meaning, but this is not always achieved. In this paper we describe the steps and requirements that we went through in order to endow the personal social robot Maggie, developed in the University Carlos III of Madrid, with the capability of understanding the natural language spoken by any human. We have analyzed the different possibilities offered by current software/hardware alternatives by testing them in real environments. We have obtained accurate data related to the speech recognition capabilities in different environments, using the most modern audio acquisition systems and analyzing not so typical parameters as user age, sex, intonation, volume and language. Finally we propose a new model to classify recognition results as accepted and rejected, based in a second ASR opinion. This new approach takes into account the pre-calculated success rate in noise intervals for each recognition framework decreasing false positives and false negatives rate.The funds have provided by the Spanish Government through the project called `Peer to Peer Robot-Human Interaction'' (R2H), of MEC (Ministry of Science and Education), and the project “A new approach to social robotics'' (AROS), of MICINN (Ministry of Science and Innovation). The research leading to these results has received funding from the RoboCity2030-II-CM project (S2009/DPI-1559), funded by Programas de Actividades I+D en la Comunidad de Madrid and cofunded by Structural Funds of the EU

Herramientas de la inteligencia artificial bioinspiradas

El objetivo de este proyecto es construir una serie de herramientas o librerías que puedan ser usadas para la resolución de cualquier tipo de problema mediante técnicas de Inteligencia Artificial inspiradas es comportamientos o fenómenos biológicos. Con este proyecto, lo que hemos intentando es suministrar al usuario una serie de herramientas genéricas capaces de solucionar problemas del mundo real, basándose en algoritmos de búsqueda de soluciones evolutivos e inspirados en la observación de fenómenos de la naturaleza. Las herramientas que se proporcionan permiten directamente crear problemas que las usen. Dejando únicamente al usuario la tarea de codificar el problema de la manera adecuada para que la herramienta que suministramos pueda resolverlo. La aplicación en si esta compuesta por una serie de herramientas que pueden ser usadas de manera conjunta o individual para resolver un problema.Las herramientas que se han implementado en esta primera versión son: - Simulador de Algoritmos Genéticos (AG) - Simulador de Enjambres de Partículas (PSO) - Simulador de Colonias de Hormigas - Temple Simulado (Simulated Annealign) - Red de Neuronas Artificiales (RNA). Las 5 herramientas conforman una librería de desarrollo (HerramientasIA.jar) que permite usar cada uno de ellos por separado o conjuntamente, ya que mantienen un aspecto y arquitectura similar y coherente. Cada herramienta se ha desarrollado siguiendo una arquitectura de 3 capas; por un lado se encuentra la aplicación (el algoritmo bio-inspirado), por otro lado se encuentran los problemas que se pueden resolver (la codificación de cada problema particular) y por último se encuentra la interfaz gráfica de la aplicación. Cada herramienta se puede usar de dos maneras fundamentales. La primera es directamente desde la interfaz gráfica de la aplicación crear el problema y visualizar su evolución directamente en la interfaz gráfica. La segunda manera es sin uso de la interfaz gráfica, creando un proyecto externo e importando la librería de nuestra herramienta. Esta segunda manera de trabajar es muy útil, puesto que en la mayoría de los casos que se plantean en la vida real se resuelven directamente invocándose desde el código y sin necesidad de visualizar la interfaz gráfica suministrada por nuestra aplicación.Ingeniería en Informátic

Human-robot interaction system based on multimodal and adaptive dialogs

Mención Internacional en el título de doctorDurante los últimos años, en el área de la Interacción Humano-Robot (HRI), ha sido creciente el estudio de la interacción en la que participan usuarios no entrenados tecnológicamente con sistemas robóticos. Para esta población de usuarios potenciales, es necesario utilizar técnicas de interacción que no precisen de conocimientos previos específicos. En este sentido, al usuario no se le debe presuponer ningún tipo de habilidad tecnológica: la única habilidad interactiva que se le puede presuponer al usuario es la que le permite interaccionar con otros humanos. Las técnicas desarrolladas y expuestas en este trabajo tienen como finalidad, por un lado que el sistema/robot se exprese de modo y manera que esos usuarios puedan comprenderlo, sin necesidad de hacer un esfuerzo extra con respecto a la interacción con personas. Por otro lado, que el sistema/robot interprete lo que esos usuarios expresen sin que tengan que hacerlo de modo distinto a como lo harían para comunicarse con otra persona. En definitiva, se persigue imitar a los seres humanos en su manera de interactuar. En la presente se ha desarrollado y probado un sistema de interacción natural, que se ha denominado Robotics Dialog System (RDS). Permite una interacción entre el robot y el usuario usando los diversos canales de comunicación disponibles. El sistema completo consta de diversos módulos, que trabajando de una manera coordinada y complementaria, trata de alcanzar los objetivos de interacción natural deseados. RDS convive dentro de una arquitectura de control robótica y se comunica con el resto de sistemas que la componen, como son los sistemas de: toma de decisiones, secuenciación, comunicación, juegos, percepción sensoriales, expresión, etc. La aportación de esta tesis al avance del estado del arte, se produce a dos niveles. En un plano superior, se presenta el sistema de interacción humano-robot (RDS) mediante diálogos multimodales. En un plano inferior, en cada capítulo se describen los componentes desarrollados expresamente para el sistema RDS, realizando contribuciones al estado del arte en cada campo tratado. Previamente a cada aportación realizada, ha sido necesario integrar y/o implementar los avances acaecidos en su estado del arte hasta la fecha. La mayoría de estas contribuciones, se encuentran respaldadas mediante publicación en revistas científicas. En el primer campo en el que se trabajó, y que ha ido evolucionando durante todo el proceso de investigación, fue en el campo del Procesamiento del Lenguaje Natural. Se ha analizado y experimentado en situaciones reales, los sistemas más importantes de reconocimiento de voz (ASR); posteriormente, algunos de ellos han sido integrados en el sistema RDS, mediante un sistema que trabaja concurrentemente con varios motores de ASR, con el doble objetivo de mejorar la precisión en el reconocimiento de voz y proporcionar varios métodos de entrada de información complementarios. Continuó la investigación, adaptando la interacción a los posibles tipos de micrófonos y entornos acústicos. Se complementó el sistema con la capacidad de reconocer voz en múltiples idiomas y de identificar al usuario por su tono de voz. El siguiente campo de investigación tratado corresponde con la generación de lenguaje natural. El objetivo ha sido lograr un sistema de síntesis verbal con cierto grado de naturalidad e inteligibilidad, multilenguaje, con varios timbres de voz, y que expresase emociones. Se construyó un sistema modular capaz de integrar varios motores de síntesis de voz. Para dotar al sistema de cierta naturalidad y variabilidad expresiva, se incorporó un mecanismo de plantillas, que permite sintetizar voz con cierto grado de variabilidad léxica. La gestión del diálogo constituyo el siguiente reto. Se analizaron los paradigmas existentes, y se escogió un gestor basado en huecos de información. El gestor escogido se amplió y modificó para potenciar la capacidad de adaptarse al usuario (mediante perfiles) y tener cierto conocimiento del mundo. Conjuntamente, se desarrollo el módulo de fusión multimodal, que se encarga de abstraer la multimodalidad al gestor del diálogo, es decir, de abstraer al gestor del diálogo de los canales por los que se recibe el mensaje comunicativo. Este módulo, surge como el resultado de adaptar la teoría de actos comunicativos en la interacción entre humanos a nuestro sistema de interacción. Su función es la de empaquetar la información sensorial emitida por los módulos sensoriales de RDS (siguiendo un algoritmo de detección de actos comunicativos, desarrollado para este trabajo), y entregarlos al gestor del diálogo en cada turno del diálogo. Para potenciar la multimodalidad, se añadieron nuevos modos de entrada al sistema. El sistema de localización de usuarios, que en base al análisis de varias entradas de información, entre ellas la sonora, consigue identificar y localizar los usuarios que rodean al robot. La gestión de las emociones del robot y del usuario también forman parte de las modos de entradas del sistema, para ello, la emoción del robot se genera mediante un módulo externo de toma de decisiones, mientras que la emoción del usuario es percibida mediante el análisis de las características sonoras de su voz y de las expresiones de su rostro. Por último, otras modos de entrada incorporados han sido la lectura de etiquetas de radio frecuencia, y la lectura de texto escrito. Por otro lado, se desarrollaron nuevos modos expresivos o de salida. Entre ellos destacan la expresión de sonidos no-verbales generados en tiempo real, la capacidad de cantar, y de expresar ciertos gestos “de enganche” que ayudan a mejorar la naturalidad de la interacción: mirar al usuario, afirmaciones y negaciones con la cabeza, etc.In recent years, in the Human-Robot Interaction (HRI) area, there has been more interest in situations where users are not technologically skilled with robotic systems. For these users, it is necessary to use interactive techniques that don’t require previous specific knowledge. Any technological skill must not be assumed for them; the only one permitted is to communicate with other human users. The techniques that will be shown in this work have the goal that the robot or system displays information in a way that these users can understand it perfectly. In other words, in the same way they would do with any other human, and the robot or system understands what users are expressing. To sum up, the goal is to emulate how humans are interacting. In this thesis a natural interaction system has been developed and tested, it has been called Robotics Dialog System (RDS). It allows users and robotic communication using different channels. The system is comprised of many modules that work together co-ordinately to reach the desired natural interactivity levels. It has been designed inside a robotic control architecture and communicates with all the other systems: decision management system, sequencer, communication system, games, sensorial and movement skills, etc. This thesis contributes to the state-of-the-art in two levels. First, in a high level, it is shown a Human-Robot Interaction System (RDS) with multimodal dialogs. Second, in the lower level, in each chapter the specifically designed components for this RDS system will be described. All of them will contribute to the state-of-the-art individually to their scientific subject. Before each contribution it has been necessary to update them, either by integrating or implementing the state-ofthe- art techniques. Most of them have been checked with scientific journal papers. The first works were done in the Natural Language Processing system. Analysis and experiments have been carried out with the most important existing voice recognition systems (ASR) in daily real situations. Then, some of them have been added into the RDS system in a way that they are able to work concurrently, the goal was to enhance the voice recognition precision and enable several complementary input methods. Then, the research focus was move to adapt the interaction between several types of microphones and acoustic environments. Finally, the system was extended to be able to identify several languages and users, using for this later their voice tone. The next system to be focused was the natural language generator, whose main objectives within this thesis boundaries were to reach a certain level of intelligence and naturalness, to be multilingual, to have several voice tones and to express emotions. The system architecture was designed to be comprised of several modules and abstraction layers because several voice synthesis engines needed to be integrated. A pattern-based mechanism was also added to the system in order to give it some natural variability and to generate non-predefined sentences in a conversation. Then the Dialog Management System (DMS) was the next challenge. First of all, the existing paradigms whose behaviour is based in filling information gaps were analysed to choose the best one. Secondly, the system was modified and tailored to be adapted to users (by means of user profiling) and finally, some general knowledge was added (by using pre-defined files). At the same time the Multi-modal Module was developed. Its goal is to abstract this multi-modality from the DMS, in other words, the DMS system must use the message regardless the input channel the message used to reach it. This module was created as a result of adapting the communicative act theory in interactions between human beings to our interaction system. Its main function is to gather the information from the RDS sensorial modules (following an ad-hoc communicative act detection algorithm developed for this work) and to send them to the DMS at every step of the communicative process. New modes were integrated on the system to enhance this multi-modality such as the user location system, which allows the robot to know the position around it where the users are located by analysing a set of inputs, including sound. Other modes added to the system are the radio frequency tag reader and the written text reader. In addition, the robot and user emotion management have been added to the available inputs, and then, taken into account. To fulfil this requirement, the robot emotions are generated by an external decision-maker software module while the user emotions are captured by means of acoustic voice analysis and artificial vision techniques applied to the user face. Finally, new multi-modal expressive components, which make the interaction more natural, were developed: the capacity of generating non-textual real-time sounds, singing skills and some other gestures such as staring at the user, nodding, etc.Programa Oficial de Doctorado en Ingeniería Eléctrica, Electrónica y AutomáticaPresidente: Carlos Balaguer Bernaldo de Quirós.- Vocal: Antonio Barrientos Cru

Recognition of facial expression of emotions in Parkinson’s disease: a theoretical review

Introducción. La expresión facial emocional constituye una guía básica en la interacción social y, por ello, las alteraciones en su expresión o reconocimiento suponen una importante limitación para la comunicación. Objetivo. Examinar las capacidades de reconocimiento de expresiones faciales y su posible deterioro en la enfermedad de Parkinson. Desarrollo. En primer lugar, se revisan las investigaciones sobre este tema y que no han encontrado resultados totalmente afines. En segundo lugar, se analizan los factores que pueden explicar estas divergencias y, en particular, como tercer objetivo, se valora la relación entre los problemas en el reconocimiento emocional y el deterioro cognitivo asociado a la enfermedad. Por último, se proponen estrategias alternativas para el desarrollo de estudios que contribuyan a clarificar el estado de estas habilidades en la enfermedad de Parkinson. Conclusiones. La mayoría de los estudios indica deficiencias en el reconocimiento de expresiones, sobre todo en las de contenido emocional negativo. No obstante, es posible que dichas alteraciones estén relacionadas con las que también aparecen en otros procesos perceptivos y ejecutivos propios de la enfermedad. Para avanzar en esta cuestión, consideramos necesario diseñar estudios sobre reconocimiento emocional que impliquen diferencialmente a los procesos cognitivos mencionados o que contrasten la ejecución de los individuos con estímulos no emocionales y con expresiones faciales. Además de incrementar nuestro conocimiento sobre las consecuencias funcionales del deterioro cerebral característico de la enfermedad, estos estudios pueden indicarnos si debe prestarse atención adicional a su rehabilitación dentro de los programas que se aplicanEmotional facial expression is a basic guide during social interaction and, therefore, alterations in their expression or recognition are important limitations for communication. Aim. To examine facial expression recognition abilities and their possible impairment in Parkinson’s disease. Development. First, we review the studies on this topic which have not found entirely similar results. Second, we analyze the factors that may explain these discrepancies and, in particular, as third objective, we consider the relationship between emotional recognition problems and cognitive impairment associated with the disease. Finally, we propose alternatives strategies for the development of studies that could clarify the state of these abilities in Parkinson’s disease. Conclusions. Most studies suggest deficits in facial expression recognition, especially in those with negative emotional content. However, it is possible that these alterations are related to those that also appear in the course of the disease in other perceptual and executive processes. To advance in this issue, we consider necessary to design emotional recognition studies implicating differentially the executive or visuospatial processes, and/or contrasting cognitive abilities with facial expressions and non emotional stimuli. The precision of the status of these abilities, as well as increase our knowledge of the functional consequences of the characteristic brain damage in the disease, may indicate if we should pay special attention in their rehabilitation inside the programs implementedProyecto ref. PSI2009-09067, financiado por el Ministerio de Ciencia e Innovación

The MAL proteolipid is necessary for the overall apical delivery of membrane proteins in the polarized epithelial Madin-Darby canine kidney and Fischer rat thyroid cell lines

The MAL proteolipid has been recently demonstrated as being necessary for correct apical sorting of the transmembrane influenza virus hemagglutinin (HA) in Madin-Darby canine kidney (MDCK) cells. The fact that, in contrast to MDCK cells, Fischer rat thyroid (FRT) cells target the majority of glycosylphosphatidylinositol (GPI)-anchored proteins to the basolateral membrane provides us with the opportunity to determine the role of MAL in apical transport of membrane proteins under conditions in which the majority of GPI-anchored proteins are (MDCK cells) or are not (FRT cells) targeted to the apical surface. Using an antisense oligonucleotide-based strategy to deplete endogenous MAL, we have observed that correct transport of apical transmembrane proteins associated (HA) or not (exogenous neurotrophin receptor and endogenous dipeptidyl peptidase IV) with lipid rafts, as well as that of the bulk of endogenous apical membrane, takes place in FRT cells by a pathway that requires normal MAL levels. Even transport of placental alkaline phosphatase, a GPI-anchored protein that is targeted apically in FRT cells, was dependent on normal MAL levels. Similarly, in addition to the reported effect of MAL on HA transport, depletion of MAL in MDCK cells caused a dramatic reduction in the apical delivery of the GPI-anchored gD1-DAF protein, neurotrophin receptor, and the bulk of membrane proteins. These results suggest that MAL is necessary for the overall apical transport of membrane proteins in polarized MDCK and FRT cellsThis work was supported by grants from the Dirección General de Enseñanza Superior (PM96-0004) and the Comunidad de Madrid (08.3/0020/1998). An institutional grant from the Fundación Ramón Areces to Centro de Biología Molecular "Severo Ochoa" is also acknowledged. F.M.-B, R.P., and J.M. are recipients of fellowships from the Comunidad de MadridPeer reviewe

Indoor Environmental Quality and Consumption Patterns before and during the COVID-19 Lockdown in Twelve Social Dwellings in Madrid, Spain

This article analyses the situation that prevailed in 12 dwellings located on the outskirts of Madrid during Spain’s state of emergency. How did 24/7 occupation affect the quality of indoor air and power consumption patterns? The mixed method used (surveys and instrumental monitoring) pragmatically detected the variation in consumption, comfort and indoor air quality patterns before and during the COVID-19 pandemic. The characteristics initially in place and household predisposition had a conclusive effect on such variations. The starting conditions, including household composition, habits and the way daily activities were performed, differed widely, logically affecting power consumption: 8/12 case studies increase occupancy density by more than 25 percent; 11/12 improve thermal comfort; 10/12 improve air quality but not necessarily translate in a sufficient ventilation practices; air quality was lower in the bedrooms on the whole; only 4/12 case studies use the potential of passive measures; only one household adopted energy savings strategies; 10/12 case studies increase electric power consumption but none of the dwellings was fitted with a renewable power generation system. The conclusion drawn is that, despite starting conditions differing widely, household composition, habits (including performance of daily activities performance) and power consumption also played an active role in the end result. This approach allowed to integrate qualitative and quantitative findings on indoor environmental quality (IEQ), energy use and households’ behavior. The objective data on the energy situation of the case studies not only is useful for the study, but also for potential enrollment in energy rehabilitation programs, such as the European Regional Development Fund (ERDF).This study was funded by the Spanish Ministry of the Economy’s National Programme for R&D + I Geared to Societal Challenges under the project BIA2017-83231-C2-1-R ‘Nueva herramienta integrada de evaluación para áreas urbanas vulnerables. Hacia la autosuficiencia energética y a favor de un modelo de habitabilidad biosaludable’ and ‘Habita_RES-(2018–2021)’.S

Search for top and bottom squarks from gluino pair production in final states with missing transverse energy and at least three b-jets with the ATLAS detector

This letter reports the results of a search for top and bottom squarks from gluino pair production in 4.7 fb−1of pp collisions at √s = 7 TeV using the ATLAS detector at the LHC. The search is performed in events with large missing transverse momentum and at least three jets identified as originating from a b-quark. Exclusion limits are presented for a variety of gluino-mediated models with gluino masses up to 1 TeV excluded.La lista completa de autores que integran el documento puede consultarse en el archivo.Instituto de Física La Plat

Implicaciones del movimiento dental ortodóntico en dientes con tratamientos endodónticos. Abordaje odontológico multidisciplinar.

El tratamiento odontológico multidisciplinar tiene como objetivo proporcionar a los pacientes que acuden a consulta un servicio odontológico completo estableciendo una actuación conjunta entre las diferentes áreas de la odontología. En este sentido una minuciosa evaluación asegurará un correcto diagnóstico a través de la historia clínica, exploración y pruebas complementarias, que junto al conocimiento del profesional basado en la evidencia y en la práctica clínica, asegurarán el pronóstico y el éxito del tratamiento.El presente trabajo pretende realizar una evaluación íntegra de dos pacientes que acuden al Servicio de Prácticas Odontológicas de la Universidad de Zaragoza, con el propósito de llevar a cabo un diagnóstico y plantear las opciones de tratamiento mediante un enfoque interdisciplinar, analizando en profundidad las relaciones existentes entre la endodoncia y la ortodoncia en base a la literatura científica más actual.<br /

Search for charged Higgs bosons through the violation of lepton universality in t ̄t events using pp collision data at √s = 7 TeV with the ATLAS experiment

In several extensions of the Standard Model, the top quark can decay into a bottom quark and a light charged Higgs boson H+, t → bH+, in addition to the Standard Model decay t → bW. Since W bosons decay to the three lepton generations equally, while H+ may predominantly decay into τν, charged Higgs bosons can be searched for using the violation of lepton universality in top quark decays. The analysis in this paper is based on 4.6 fb−1 of proton–proton collision data at √ s = 7 TeV collected by the ATLAS experiment at the Large Hadron Collider. Signatures containing leptons (e or μ) and/or a hadronically decaying τ (τhad) are used. Event yield ratios between e+τhad and e+μ, as well as between μ+τhad and μ+e, final states are measured in the data and compared to predictions from simulations. This ratio-based method reduces the impact of systematic uncertainties in the analysis. No significant deviation from the Standard Model predictions is observed. With the assumption that the branching fraction B(H+ → τν) is 100%, upper limits in the range 3.2%–4.4% can be placed on the branching fraction B(t → bH+) for charged Higgs boson masses mH+ in the range 90–140 GeV. After combination with results from a search for charged Higgs bosons in tt ̄decays using the τhad+jets final state, upper limits on B(t → bH+) can be set in the range 0.8%–3.4%, for mH+ in the range 90–160 GeV.Facultad de Ciencias Exacta