Dissertação de mestrado integrado em Engenharia Eletrónica Industrial e ComputadoresFacial expressions play an important role during human social interaction, enabling communicative cues,
ascertaining the level of interest or signalling the desire to take a speaking turn. They also give continuous
feedback indicating that the information conveyed has been understood. However, certain individuals
have difficulties in social interaction in particular verbal and non-verbal communication (e.g. emotions
and gestures). Autism Spectrum Disorders (ASD) are a special case of social impairments. Individuals
that are affected with ASD are characterized by repetitive patterns of behaviour, restricted activities or
interests, and impairments in social communication. The use of robots had already been proven to
encourage the promotion of social interaction and skills in children with ASD.
Following this trend, in this work a robotic platform is used as a mediator in the social interaction activities
with children with special needs. The main purpose of this dissertation is to develop a system capable
of automatic detecting emotions through facial expressions and interfacing it with a robotic platform in
order to allow social interaction with children with special needs.
The proposed experimental setup uses the Intel RealSense 3D camera and the Zeno R50 Robokind
robotic platform. This layout has two subsystems, a Mirroring Emotion System (MES) and an Emotion
Recognition System (ERS). The first subsystem (MES) is capable of synthetizing human emotions through
facial expressions, on-line. The other subsystem (ERS) is able to recognize human emotions through facial
features in real time. MES extracts the user facial Action Units (AUs), sends the data to the robot allowing
on-line imitation. ERS uses Support Vector Machine (SVM) technique to automatic classify the emotion
expressed by the User in real time.
Finally, the proposed subsystems, MES and ERS, were evaluated in a laboratorial and controlled
environment in order to check the integration and operation of the systems. Then, both subsystems were
tested in a school environment in different configurations. The results of these preliminary tests allowed
to detect some constraints of the system, as well as validate its adequacy in an intervention setting.As expressões faciais desempenham um papel importante na interação social, permitindo fornecer pistas
comunicativas, conhecer o nível de interesse ou sinalizar o desejo de falar. No entanto, algumas pessoas
têm dificuldades na interação social, em particular, na comunicação verbal e não-verbal (por exemplo,
emoções e gestos). As Perturbações do Espectro do Autismo (PEA) são um caso especial de transtorno
e dificuldades sociais. Os indivíduos que são afetados com PEA são caracterizados por padrões repetitivos
de comportamento, atividades e interesses restritos e possuem deficiências na comunicação social. A
utilização de robôs para incentivar a promoção da interação social e habilidades em crianças com PEA
tem sido apresentada na literatura.
Seguindo essa tendência, neste trabalho uma plataforma robótica é utilizada como um mediador nas
atividades de interação social com crianças com necessidades especiais. O objetivo principal desta
dissertação é desenvolver um sistema capaz de detetar automaticamente emoções através de
expressões faciais e fazer interface com uma plataforma robótica, a fim de permitir uma interação social
com crianças com necessidades especiais.
O trabalho experimental proposto utiliza a câmara Intel RealSense 3D e a plataforma robótica Zeno R50
Robokind. Este esquema possui dois subsistemas, um sistema de imitação de expressões faciais (MES)
e um sistema de reconhecimentos de emoções (ERS). O primeiro subsistema (MES) é capaz de sintetizar
on-line as emoções humanas através de expressões faciais. O subsistema ERS é capaz de reconhecer
em tempo-real emoções humanas através de características faciais. O MES extrai as Unidades de Ação
faciais do utilizador (UAs), envia os dados para o robô permitindo imitação on-line. O ERS utiliza Support
Vector Machine (SVM) para automaticamente classificar a emoção exibida pelo utilizador.
Finalmente, os subsistemas propostos, MES e ERS, foram avaliados num ambiente laboratorial e
controlado, a fim de verificar a integração e a operação de ambos. Em seguida, os subsistemas foram
testados num ambiente escolar em diferentes configurações. Os resultados destes testes preliminares
permitiram detetar algumas limitações do sistema, bem como validar a sua adequação na intervenção
com crianças com necessidades especiais
