Dialogue Design for a Robot-Based Face-Mirroring Game to Engage Autistic Children with Emotional Expressions

We present design strategies for Human Robot Interaction for school-aged autistic children with limited receptive language. Applying these strategies to the DE-ENIGMA project (large EU project addressing emotion recognition in autistic children) supported development of a new activity for in facial expression imitation whereby the robot imitates the child’s face to encourage the child to notice facial expressions in a play-based game. A usability case study with 15 typically-developing children aged 4–6 at an English-language school in the Netherlands was performed to observe the feasibility of the setup and make design revisions before exposing the robot to autistic children

Robots and autistic children: a review

In accordance with the advancement in robotics and the scholarly literature, the extents of utilizing robots for autistic children are widened and could be a promising method for individual with Autism Spectrum Disorder (ASD) treatments, where the different form of robot (humanoid, non-humanoid, animal-like, toy, and kits) can be employed effectively as a support tool to augment the learning skills and rehabilitate of the individual with Autism Spectrum Disorder (ASD). Thus, the robots were exploited for ASD children in different aspects namely; modelling, teaching, and skills practicing; testing, highlighting and evaluating; providing feedback or encouragement; join Attention; eliciting social behaviours; emotion recognition and expression; imitation; vocalization; turn-taking; and diagnostic. The related literature published recently in journals and conferences is taken into account. In this paper, we review the use of robots that help in the therapy of individuals with Autism Spectrum Disorder (ASD). The articles on using robots for autistic children rehabilitation and education which reported results of experiments on a number of participants were implicated. After looking in digital libraries under this criteria, and excluding non-related, and duplicated studies, 39 studies have been found. The findings were focused mainly on the social communication skills of autistic children and how the extent of the robots mitigate their stereotyped behaviours. Deeper research is required in this area to cover all applications of robotic on autistic children in order to design feasible and low-cost robots that ensure provide high validity

Artificial intelligence analysis of the emotions of autistic students in social interaction with the NAO robot

Actualmente, la tecnología es la herramienta más utilizada en el desarrollo de las actividades de la vida diaria. Cada vez es mayor, el número de campos de conocimiento que se benefician de su versatilidad y la aplicación en el desarrollo de sus actividades. En el entorno educativo, permite generar actividades adaptadas a las necesidades del alumnado. En los últimos años, la robótica y la inteligencia artificial son las que mayor difusión están teniendo. Las características de estas herramientas favorecen su aplicación con el alumnado con Trastorno del Espectro Autista. Por tanto, el objetivo de la investigación es explorar el uso integrado de la robótica y la IA para favorecer la comunicación e interacción social en el alumnado con autismo, analizando las emociones que manifiestan en las actividades diseñadas. Para ello, se implementó un estudio piloto con el robot NAO y cuatro niños autistas que desarrollaron actividades de imitación, juego e interacción social. Durante su realización se utilizó un sistema automático basado en redes neuronales convolucionales para detectar los estados de ánimo en el proceso de interacción. Los resultados muestran que tristeza, felicidad y enfado son las emociones que tiene una mayor probabilidad de producirse en los participantes. Por tanto, se concluye que el robot y el sistema de inteligencia artificial son un elemento fundamental para ayudar a expresar sus emociones en las interacciones sociales.Currently, technology is the most widely used tool in the development of daily life activities. The number of fields of knowledge that benefit from its versatility and application in the development of their activities is increasing. In the educational environment, it allows the generation of activities adapted to the needs of students. In recent years, robotics and artificial intelligence are the most widespread. The characteristics of these tools favour their application with students with autism spectrum disorder. Therefore, the objective of the research is to explore the integrated use of robotics and AI to promote communication and social interaction in students with autism, analysing the emotions they show in the designed activities. For this purpose, a pilot study was implemented with the NAO robot and four autistic children who developed imitation, game and social interaction activities. An automatic system based on convolutional neural networks was used to detect mood states in the interaction process. The results show that sadness, happiness and anger are the emotions most likely to occur in the participants. Therefore, it is concluded that the robot and the artificial intelligence system are a fundamental element to help express emotions in social interaction.Este artículo fue apoyado por el Programa Estatal de I+D+i Orientado a los Retos de la Sociedad del Ministerio de Ciencia e Innovación Español. PID2020-112611RB-I00/AEI/10.13039/501100011033 y la Agencia estatal de investigación. Título del proyecto “La aplicación de la realidad virtual y la robótica en la comunicación e interacción social de alumnado con trastorno del espectro autista”

UNOBTRUSIVE Technique Based On Infrared Thermal Imaging For Emotion Recognition In Children- With-asd- Robot Interaction

Emoções são relevantes para as relações sociais, e indivíduos com Transtorno do Espectro Autista (TEA) possuem compreensão e expressão de emoções prejudicadas. Esta tese consiste em estudos sobre a análise de emoções em crianças com desenvolvimento típico e crianças com TEA (idade entre 7 e 12 anos), por meio do imageamento térmico infravermelho (ITIV), uma técnica segura e não obtrusiva (isenta de contato), usada para registrar variações de temperatura em regiões de interesse (RIs) da face, tais como testa, nariz, bochechas, queixo e regiões periorbital e perinasal. Um robô social chamado N-MARIA (Novo-Robô Autônomo Móvel para Interação com Autistas) foi usado como estímulo emocional e mediador de tarefas sociais e pedagógicas. O primeiro estudo avaliou a variação térmica facial para cinco emoções (alegria, tristeza, medo, nojo e surpresa), desencadeadas por estímulos audiovisuais afetivos, em crianças com desenvolvimento típico. O segundo estudo avaliou a variação térmica facial para três emoções (alegria, surpresa e medo), desencadeadas pelo robô social N-MARIA, em crianças com desenvolvimento típico. No terceiro estudo, duas sessões foram realizadas com crianças com TEA, nas quais tarefas sociais e pedagógicas foram avaliadas tendo o robô N-MARIA como ferramenta e mediador da interação com as crianças. Uma análise emocional por variação térmica da face foi possível na segunda sessão, na qual o robô foi o estímulo para desencadear alegria, surpresa ou medo. Além disso, profissionais (professores, terapeuta ocupacional e psicóloga) avaliaram a usabilidade do robô social. Em geral, os resultados mostraram que o ITIV foi uma técnica eficiente para avaliar as emoções por meio de variações térmicas. No primeiro estudo, predominantes decréscimos térmicos foram observados na maioria das RIs, com as maiores variações de emissividade induzidas pelo nojo, felicidade e surpresa, e uma precisão maior que 85% para a classificação das cinco emoções. No segundo estudo, as maiores probabilidades de emoções detectadas pelo sistema de classificação foram para surpresa e alegria, e um aumento significativo de temperatura foi predominante no queixo e nariz. O terceiro estudo realizado com crianças com TEA encontrou aumentos térmicos significativos em todas as RIs e uma classificação com a maior probabilidade para surpresa. N-MARIA foi um estímulo promissor capaz de desencadear emoções positivas em crianças. A interação criança-com-TEA-e-robô foi positiva, com habilidades sociais e tarefas pedagógicas desempenhadas com sucesso pelas crianças. Além disso, a usabilidade do robô avaliada por profissionais alcançou pontuação satisfatória, indicando a N-MARIA como uma potencial ferramenta para terapias