Design and development of a low cost automatic stringed instrumet tuner

[Abstract] Tuning methods have always been a task which every musician has to deal with. The main goal of this project is developing a device to simplify and assist stringed instrument users with the tuning process of their instruments. To that end, a prototype capable of acquiring sound through the vibration of the instrument body is produced using mainly a microcontroller device combined with a frequency estimation algorithm. The device development results show high accuracy in musical tone diagnosis compared to commercial tuners. The prototype offers several opportunities for developing new applications and research in quality control, material characterisation or even non-stringed instruments analysis

Dynamic semantic ontology generation: a proposal for social robots

[Abstract] During a human-robot interaction by dialogue/voice, the robot cannot extract semantic meaning from the words used, limiting the intervention itself. Semantic knowledge could be a solution by structuring information according to its meaning and its semantic associations. Applied to social robotics, it could lead to a natural and fluid human-robot interaction. Ontologies are useful representations of semantic knowledge, as they capture the relationships between objects and entities. This paper presents new ideas for ontology generation using already generated ontologies as feedback in an iterative way to do it dynamically. This paper also collects and describes the concepts applied in the proposed methodology and discusses the challenges to be overcome.Ministerio de Ciencia, Innovación y Universidades; RTI2018-096338-B-I0

Non-verbal gesture prediction using deep learning

[Resumen] En años recientes, la robótica está empezando a usarse fuera de aplicaciones industriales, y los robots empiezan ya a tomar parte en tareas que requieren interactuar con personas. Para que estas interacciones resulten naturales, es necesario que el robot sea capaz de ejecutar expresiones de forma autónoma. En situaciones donde el robot está hablando, los gestos no verbales que ejecute deben apoyar el mensaje comunicativo de la componente verbal, y ambas componentes deben estar sincronizadas apropiadamente. En este trabajo presentamos un sistema de predicción de gestos no verbales para robots sociales basado en uno de los avances más significativos en años recientes en el campo del aprendizaje profundo: el modelo transformer. Esta solución será comparada con un modelo previo que combina redes recurrentes con campos aleatorios condicionales para resolver la misma tarea. Los resultados de la comparación de ambos modelos indican que, al igual que en otras tareas de procesamiento del lenguaje natural, los transformers presentan una clara mejora a la hora de resolver la tarea de predecir gestos no verbales para robots sociales.[Abstract] In recent years, robotics is starting to expand beyond industrial applications, and robots are starting to take part in tasks that require interacting with human beings. For this interactions to be natural for the users, it is necessary that the robots are capable of performing expressions autonomously. In situations where the robot is speaking, the non-verbal gestures performed by the robot must also support the communicative message expressed by the verbal component, and both components should be properly synchronized. In this work, we present a gesture prediction system for social robots based in one of the most significant advances in the area of deep learning: the transformer model. This solution will be compared with a previous system based on a combination of recurrent neural networks and conditional random fields. The results of the comparison conducted show that, as it is the case for other tasks in the field of natural language processing, transformers present a clear improvement for the task of predicting non-verbal expressions for social robots.Ministerio de Ciencia e Innovación; TED2021-132079B-I00Comunidad de Madrid; SMM4HRI-CM-UC3

ART-THERAPY : A strategy to increase engagement in social robotics

[Resumen] El avance de las nuevas tecnologías y el constante envejecimiento poblacional produce un distanciamiento en la sociedad actual entre los habitantes de avanzada edad y los jóvenes. La robótica social intenta mitigar dicho problema y acercar a las personas de avanzada edad las nuevas tecnologías. Sin embargo, el uso de la robótica social no está en auge, aunque su incorporación parezca llamativa en la vida de las personas mayores para prestar ayuda y evitar el sentimiento de soledad. Por ello, en este artículo defendemos el desarrollo de diversas herramientas que aumenten el vínculo en la interacción humano-robot. Con el objetivo de mantener y mejorar el estado psicofísico de la persona mayor se presenta un desarrollo de arteterapia en robótica social. Cuyo propósito es obtener la máxima funcionalidad posible de la persona, potenciando sus capacidades y evitando su deterioro. Asimismo, se busca que aumente el vínculo generado entre el usuario y el robot, encontrando una motivación que anime al usuario a volver a la plataforma.[Abstract] The recent advance of new technologies and the constant ageing of the population has led to a gap in today’s society between the elderly and the young. Social robotics tries to bridge this gap and bring new technologies closer to the elderly. However, the use of social robotics is not on the rise, even though its incorporation into the lives of the elderly to provide help and alleviate loneliness seems to be striking. Therefore, in this article we argue that various tools should be developed to increase the bond in human-robot interaction.With the aim of maintaining and improving the psychophysical state of the elderly person, a work of art therapy in social robotics is presented. The purpose of which is to obtain the maximum possible functionality of the person, enhancing their capabilities and preventing their deterioration. Likewise, the aim is to increase the bond generated between the user and the robot, finding a motivation that encourages the user to return to the platform.La investigación que ha conducido a estos resultados ha recibido financiación de los proyectos: RoboCity2030-DIH-CM, Madrid Robotics Digital Innovation Hub, S2018/NMT-4331, financiado por “Programas de Actividades I+D en la Comunidad de Madrid” y cofinanciado por el Fondo Social Europeo (FSE) de la EU, Robots Sociales para Estimulación Física, Cognitiva y Afectiva de Mayores (ROSES), RTI2018-096338-B-I00, financiado por el Ministerio de Ciencia, Innovación y Universidades; Robots sociales para mitigar la soledad y el aislamiento en mayores (SOROLI), PID2021-123941OA-I00, financiado por la Agencia Estatal de Investigación (AEI), Ministerio Español de Ciencia e Innovación. Esta publicación forma parte RDI proyecto PLEC2021-007819 financiado por MCIN/AEI/10.13039/501100011033 y por la Unión Europea NextGenerationEU/PRTR.Comunidad de Madrid; RoboCity2030-DIH-CMComunidad de Madrid; S2018/NMT-4331Ministerio de Ciencia, Innovación y Universidades; RTI2018-096338-B-I00Agencia Estatal de Investigación; PID2021-123941OA-I00Ministerio de Ciencia e Innovación; 10.13039/50110001103

Natural language models for social robots

[Resumen] Hoy en día, los robots se están abriendo paso en nuestras vidas en muchos campos. Uno de ellos es el social, en el que encontramos robots capaces de interactuar con las personas y realizar diferentes actividades. El habla de un robot social es un elemento central en la interacción humano-robot; para parecer natural y amigable, debe evitar los textos predefinidos repetitivos. Con esta premisa, junto con el importante crecimiento en el campo de los modelos de generación de lenguaje natural, este artículo explora las capacidades de los modelos de lenguaje natural para conducir a una interacción humano-robot más fluida y abrir un abanico de nuevas oportunidades y aplicaciones. Tras la implementación de las diferentes aplicaciones, se ha observado el potencial de la integración de la generación de lenguaje natural en el campo de la robótica.[Abstract] Nowadays, robots are making their way into our lives in many fields. One of them is social, where we find robots capable of interacting with people and performing different activities. The speech of a social robot is a central element in human-robot interaction; to sound natural and friendly, it must avoid repetitive predefined texts. With this premise, together with the significant growth in the field of natural language generation models, this paper explores the capabilities of natural language models to lead to a more fluent human-robot interaction and open up a range of new opportunities and applications. Following the implementation of different applications, the potential of integrating natural language generation in the field of robotics has been observed.Robots Sociales para Estimulación Física, Cognitiva y Afectiva de Mayores (ROSES), RTI2018-096338-B-I00, financiado por Ministerio de Ciencia, Innovación y Universidades; Robots sociales para mitigar la soledad y el aislamiento en mayores (SOROLI), PID2021-123941OAI00, financiado por Agencia Estatal de Investigación (AEI), Ministerio de Ciencia e Innovación. RoboCity2030-DIH-CM, Madrid Robotics Digital Innovation Hub, S2018/NMT-4331, financiado por Programas de Actividades I+D en la Comunidad de Madrid cofinanciado por los Fondos Sociales Europeos (FSE) de la UE. R&D&Iproject PLEC2021-007819 financiado por MCIN/AEI/10.13039/501100011033 y por European Union NextGenerationEU/PRTRComunidad de Madrid; S2018/NMT-433

A Bio-Inspired Endogenous Attention-Based Architecture for a Social Robot

A robust perception system is crucial for natural human–robot interaction. An essential capability of these systems is to provide a rich representation of the robot’s environment, typically using multiple sensory sources. Moreover, this information allows the robot to react to both external stimuli and user responses. The novel contribution of this paper is the development of a perception architecture, which was based on the bio-inspired concept of endogenous attention being integrated into a real social robot. In this paper, the architecture is defined at a theoretical level to provide insights into the underlying bio-inspired mechanisms and at a practical level to integrate and test the architecture within the complete architecture of a robot. We also defined mechanisms to establish the most salient stimulus for the detection or task in question. Furthermore, the attention-based architecture uses information from the robot’s decision-making system to produce user responses and robot decisions. Finally, this paper also presents the preliminary test results from the integration of this architecture into a real social robot

Using Large Language Models to Shape Social Robots’ Speech

Social robots are making their way into our lives in different scenarios in which humans and robots need to communicate. In these scenarios, verbal communication is an essential element of human-robot interaction. However, in most cases, social robots’ utterances are based on predefined texts, which can cause users to perceive the robots as repetitive and boring. Achieving natural and friendly communication is important for avoiding this scenario. To this end, we propose to apply state-of- the-art natural language generation models to provide our social robots with more diverse speech. In particular, we have implemented and evaluated two mechanisms: a paraphrasing module that transforms the robot’s utterances while keeping their original meaning, and a module to generate speech about a certain topic that adapts the content of this speech to the robot’s conversation partner. The results show that these models have great potential when applied to our social robots, but several limitations must be considered. These include the computational cost of the solutions presented, the latency that some of these models can introduce in the interaction, the use of proprietary models, or the lack of a subjective evaluation that complements the results of the tests conducted

Social robot as cooking assistant

[Resumen] En el presente trabajo se describe una aplicación real para los robots sociales del departamento de automática en la Universidad Carlos III, para dotar a los robots Mini y Milow de la capacidad de convertirse en asistentes de cocina. La asistencia consiste en una interacción multimodal mediante una interfaz gráfica y diálogos, ofreciendo las indicaciones al usuario de los pasos a realizar en el momento de elaborar un plato culinario. De tal manera, este trabajo mejora la capacidad de los robots añadiendo otra funcionalidad.[Abstract] In this paper, it is described a real application for the social robots developed in the automation department of the University Carlos III, to endow the robots Milow and Mini with the capacity of becoming cooking assistants. The assistance consists of a multimodal interaction through a graphic interface and dialogues, offering indications to the user of the cooking steps when it comes to preparing a culinary dish. In this way, this project improves the capacity of the robot adding another functionality

Accessible music streaming application for social robot

[Resumen] La robótica social continúa adaptándose a los cambios que se están produciendo en el mundo y la sociedad a día de hoy. La aparición del COVID-19 ha supuesto un escenario de distanciamiento social que ha afectado en gran medida a poblaciones de riesgo como el de las personas mayores. No obstante, las diversas intervenciones por parte de la robótica social, han demostrado su capacidad de combatir una pandemia, ofreciendo servicios en hospitales, hogares de ancianos y brindando compañía a personas mayores que viven solas. Dando como resultado la idea de impulsar el valor del robot social como plataforma de servicios. Por este motivo, el presente trabajo propone el diseño e implementación de una aplicación de reproducción de música y podcasts enfocada en los gustos de las personas mayores. Nuestro desarrollo busca promover la accesibilidad y el uso de servicios de streaming de contenido multimedia en personas de edad avanzada. En paralelo, la aplicación desarrollada apunta a la creación de nuevas aplicaciones Android que apoyen a los robots sociales de la Universidad Carlos III de Madrid e incrementen sus competencias en materia de servicios.[Abstract] Social robotics continues to adapt to the changes taking place in the world and society today. The emergence of COVID-19 has led to a scenario of social distancing that has greatly affected at-risk populations such as the elderly. However, the various interventions by social robotics have demonstrated their ability to combat a pandemic, offering services in hospitals, nursing homes and providing companionship to elderly people living alone. As a result, the idea of boosting the value of the social robot as a service platform has emerged. For this reason, the present work proposes the design and implementation of a music and podcast playback application focused on the preferences of the elderly. Our development aims to promote accessibility and the use of multimedia content streaming services for the elderly. In parallel, the developed application aims to create new Android applications that support the social robots of the University Carlos III of Madrid and increase their competences in terms of services

Remote communication between family members through social robotics

[Resumen] En la actualidad una gran parte de las personas de avanzada edad no hacen uso frecuente de las Nuevas Tecnologías de la Información. En este trabajo tratamos de eliminar la fricción que tienen este tipo de personas para comunicarse con sus seres queridos de manera natural a través de los medios tecnológicos. Proponemos una aplicación de comunicación accesible e intuitiva implementada con el robot social Mini. Desarrollamos una interfaz gráfica que permite a los usuarios mantener conversaciones, llamadas y videollamadas mediante una aplicación sencilla y de forma guiada a través del robot Mini. Se utiliza como plataforma de comunicación WhatsApp, una de las aplicaciones más utilizadas, a día de hoy, en el mercado de los dispositivos inteligentes. Se pretende contribuir al cuidado y bienestar de la tercera edad.[Abstract] Nowadays, a large number of senior people do not make frequent use of new information technologies. In this work, we try to eliminate the friction that they have to communicate with their family and friends naturally through technological means. We propose an accessible and intuitive communication application implemented with the Mini social robot. We developed a graphical interface that allows users to have conversations, calls, and video calls through a simple interface via Mini robot. The communication platform used is WhatsApp, one of the most widely used applications on the smart device market today. The aim is to contribute to the care and well-being of the elderl