UNOBTRUSIVE Technique Based On Infrared Thermal Imaging For Emotion Recognition In Children- With-asd- Robot Interaction

Emoções são relevantes para as relações sociais, e indivíduos com Transtorno do Espectro Autista (TEA) possuem compreensão e expressão de emoções prejudicadas. Esta tese consiste em estudos sobre a análise de emoções em crianças com desenvolvimento típico e crianças com TEA (idade entre 7 e 12 anos), por meio do imageamento térmico infravermelho (ITIV), uma técnica segura e não obtrusiva (isenta de contato), usada para registrar variações de temperatura em regiões de interesse (RIs) da face, tais como testa, nariz, bochechas, queixo e regiões periorbital e perinasal. Um robô social chamado N-MARIA (Novo-Robô Autônomo Móvel para Interação com Autistas) foi usado como estímulo emocional e mediador de tarefas sociais e pedagógicas. O primeiro estudo avaliou a variação térmica facial para cinco emoções (alegria, tristeza, medo, nojo e surpresa), desencadeadas por estímulos audiovisuais afetivos, em crianças com desenvolvimento típico. O segundo estudo avaliou a variação térmica facial para três emoções (alegria, surpresa e medo), desencadeadas pelo robô social N-MARIA, em crianças com desenvolvimento típico. No terceiro estudo, duas sessões foram realizadas com crianças com TEA, nas quais tarefas sociais e pedagógicas foram avaliadas tendo o robô N-MARIA como ferramenta e mediador da interação com as crianças. Uma análise emocional por variação térmica da face foi possível na segunda sessão, na qual o robô foi o estímulo para desencadear alegria, surpresa ou medo. Além disso, profissionais (professores, terapeuta ocupacional e psicóloga) avaliaram a usabilidade do robô social. Em geral, os resultados mostraram que o ITIV foi uma técnica eficiente para avaliar as emoções por meio de variações térmicas. No primeiro estudo, predominantes decréscimos térmicos foram observados na maioria das RIs, com as maiores variações de emissividade induzidas pelo nojo, felicidade e surpresa, e uma precisão maior que 85% para a classificação das cinco emoções. No segundo estudo, as maiores probabilidades de emoções detectadas pelo sistema de classificação foram para surpresa e alegria, e um aumento significativo de temperatura foi predominante no queixo e nariz. O terceiro estudo realizado com crianças com TEA encontrou aumentos térmicos significativos em todas as RIs e uma classificação com a maior probabilidade para surpresa. N-MARIA foi um estímulo promissor capaz de desencadear emoções positivas em crianças. A interação criança-com-TEA-e-robô foi positiva, com habilidades sociais e tarefas pedagógicas desempenhadas com sucesso pelas crianças. Além disso, a usabilidade do robô avaliada por profissionais alcançou pontuação satisfatória, indicando a N-MARIA como uma potencial ferramenta para terapias

Insights from mechanistic and digital intervention approaches

Eine effektive Förderung des Sozialverhaltens autistischer Kinder erfordert ein tiefgehendes Verständnis der Ursachen maladaptiver Reaktionen und die Bereitstellung eines leicht verfügbaren Förderangebots. Hier haben digitale Angebote ein großes Potential. Ebenso wie bei der Ursachenforschung mangelt es jedoch an Forschungsansätzen, welche eine Vielzahl an kognitiven und emotionalen Prozessen in die digitale Förderung integrieren. Dementsprechend untersuchte die Dissertation zunächst das Zusammenspiel verschiedener Ursachen aggressives Sozialverhaltens anhand eines etablierten Modells der sozial-kognitiven Informationsverarbeitung. Durch die Integration verschiedener Facetten der Empathie und deren zugrundeliegende Kompetenzen in ein digitales Förderangebot sollte im zweiten Schritt eine Verbesserung des Sozialverhaltens autistischer Grundschüler:innen erreicht werden. Es zeigte sich, dass Emotionsdysregulation verschiedene Formen aggressiven Sozialverhaltens und damit assoziierte feindselige Attributionen verstärkt. Letztere stand vor allem mit verbalen und verdeckten Aggressionsformen sowie mit guten Emotionserkennungsfertigkeiten im Zusammenhang. Eine Verbesserung des Sozialverhaltens und der Emotionsregulation konnte mittelfristig durch das sechswöchige, eltern-begleitete eLearningprogramm „Zirkus Empathico“ erreicht werden. Die multizentrische, randomisiert kontrollierte Studie ergab zudem kurzfristige und moderate Interventionseffekte für Empathie und Emotionserkennung als primäre Endpunkte. Insgesamt unterstreicht die Dissertation die Validität etablierter Modelle der sozialen Informationsverarbeitung sowie die Relevanz, diese zukünftigen Forschungs- und Interventionsansätzen zugrunde zu legen. Durch die Integration verschiedener sozio-emotionaler Kompetenzen scheint die digitale Intervention Zirkus Empathico prosoziales Verhalten autistischer Kinder auf effektive und praktikable Weise zu fördern.Effective training of autistic children`s social behavior requires an in-depth understanding of the causes of maladaptive responses and the provision of easily accessible support services. In this context, digital interventions have great potential. However, there is a lack of research approaches that integrate a variety of cognitive and emotional processes into both, explanation and digital support. The present dissertation first examined the interplay of different causes of aggressive social behavior by applying an established model of social-cognitive information processing to a sample of autistic elementary school students. Second, by integrating different facets of empathy and their underlying competencies into a digital program, the social behavior of autistic elementary school children should be improved. First, it was shown that emotion dysregulation strengthens various forms of aggressive social behavior and associated hostile attribution biases. The latter was mainly related to verbal and covert forms of aggression and good emotion recognition skills. Second, the parent-assisted eLearning program "Zirkus Empathico" led to a medium-term improvement in social behavior and emotion regulation after a six-week training. In addition, the multicenter randomized controlled trial showed moderate intervention effects on empathy and emotion recognition as primary outcomes, which were no longer detectable three months later. Overall, the dissertation highlights the validity of established models of social information processing and the relevance of using them as a foundation for future research and intervention. By integrating various socio-emotional competencies, the digital intervention Zirkus Empathico seems to strengthen autistic children’s prosocial behavior effectively and feasibly

Patient centric intervention for children with high functioning autism spectrum disorder. Can ICT solutions improve the state of the art ?

In my PhD research we developed an integrated technological platform for the acquisition of neurophysiologic signals in a semi-naturalistic setting where children are free to move around, play with different objects and interact with the examiner. The interaction with the examiner rather than with a screen is another very important feature of the present research, and allows recreating a more real situation with social interactions and cues. In this paradigm, we can assume that the signals acquired from the brain and the autonomic system, are much more similar to what is generated while the child interacts in common life situations. This setting, with a relatively simple technical implementation, can be considered as one step towards a more behaviorally driven analysis of neurophysiologic activity. Within the context of a pilot open trial, we showed the feasibility of the technological platform applied to the classical intervention solutions for the autism. We found that (1) the platform was useful during both children-therapist interaction at hospital as well as children-parents interaction at home, (2) tailored intervention was compatible with at home use and non-professional therapist/parents. Going back to the title of my thesis: 'Can ICT solution improve the state-of-the-art ?' the answer could be: 'Yes it can be an useful support for a skilled professional in the field of autis

Digital games for people with Autism Spectrum Disorders (ASD): a systematic review

Individuos com transtornos do espectro do autismo (TEA) possuem desenvolvimento atipico nas areas cognitiva ou de aprendizagem, comunicacao e interacao social, deteccao e trato de emocoes, coordenacao motora e concentracao. O desenvolvimento de tecnologias assistivas e fundamental para melhorar a qualidade de vida destes individuos. Este estudo faz uma revisao sistematica da literatura com foco em jogos digitais usados como tecnologias assistivas para individuos com TEA. Fazendo uso da base digital IEEE Xplore, foram pesquisados estudos que continham o termo game em conjunto com termos relacionados ao TEA. A partir da busca foram encontradas 193 ocorrencias do conjunto de termos. Os artigos foram lidos e analisados, sendo selecionados os estudos que tratam de jogos digitais com foco em individuos com TEA. Foram excluidos da selecao jogos que fazem uso unicamente de hardwares especificos e que nao apresentam funcao de tecnología assistiva. Como resultado final deste estudo foram selecionados 62 artigos neste contexto, sendo que todos apresentam resultados positivos quanto ao uso dos jogos digitais na melhoria das capacidades das pessoas com TEA. Desta forma, e possivel verificar a consistencia de tal abordagem, encorajando a continuidade das pesquisas e do desenvolvimento de jogos digitais com foco em tecnología assistiva para pessoas com TEA.Individuals with autism spectrum disorders (ASD) have atypical development in the areas of cognition or learning, communication and social interaction, detection and treatment of emotions, motor coordination and concentration. The development of assistive technologies is critical because they help to better the quality of life of these individuals. This study makes a systematic review of the literature focusing on digital games used as assistive technologies for individuals with ASD. Using the IEEE Xplore digital base, studies were conducted that contained the term "game" in conjunction with terms related to ASD. From the search were found 193 occurrences of the set of terms were found. The articles were read and analyzed, being the studies that deal with digital games focused on individuals with ASD. Games that only use specific hardware and not have the function of assistive technology were excluded from the selection. As a final result of this study, 62 articles were selected in this context, all of which present positive results regarding the use of digital games in improving the abilities of people with ASD. In this way, it is possible to verify the consistency of such an approach, encouraging the continuity of research and the development of digital games with a focus on assistive technology for people with ASD.Facultad de Informátic