The capacity of remaining focused on a task can be crucial in some circumstances. In general, this ability
is intrinsic in a human social interaction and it is naturally used in any social context. Nevertheless, some
individuals have difficulties in remaining concentrated in an activity, resulting in a short attention span.
Children with Autism Spectrum Disorder (ASD) are a special example of such individuals. ASD is a group
of complex developmental disorders of the brain. Individuals affected by this disorder are characterized
by repetitive patterns of behaviour, restricted activities or interests, and impairments in social
communication. The use of robots has already proved to encourage the developing of social interaction
skills lacking in children with ASD. However, most of these systems are controlled remotely and cannot
adapt automatically to the situation, and even those who are more autonomous still cannot perceive
whether or not the user is paying attention to the instructions and actions of the robot.
Following this trend, this dissertation is part of a research project that has been under development for
some years. In this project, the Robot ZECA (Zeno Engaging Children with Autism) from Hanson Robotics
is used to promote the interaction with children with ASD helping them to recognize emotions, and to
acquire new knowledge in order to promote social interaction and communication with the others.
The main purpose of this dissertation is to know whether the user is distracted during an activity. In the
future, the objective is to interface this system with ZECA to consequently adapt its behaviour taking into
account the individual affective state during an emotion imitation activity. In order to recognize human
distraction behaviours and capture the user attention, several patterns of distraction, as well as systems
to automatically detect them, have been developed. One of the most used distraction patterns detection
methods is based on the measurement of the head pose and eye gaze. The present dissertation proposes
a system based on a Red Green Blue (RGB) camera, capable of detecting the distraction patterns, head
pose, eye gaze, blinks frequency, and the user to position towards the camera, during an activity, and
then classify the user's state using a machine learning algorithm.
Finally, the proposed system is evaluated in a laboratorial and controlled environment in order to verify if
it is capable to detect the patterns of distraction. The results of these preliminary tests allowed to detect
some system constraints, as well as to validate its adequacy to later use it in an intervention setting.A capacidade de permanecer focado numa tarefa pode ser crucial em algumas circunstâncias. No geral,
essa capacidade é intrínseca numa interação social humana e é naturalmente usada em qualquer
contexto social. No entanto, alguns indivíduos têm dificuldades em permanecer concentrados numa
atividade, resultando num curto período de atenção. Crianças com Perturbações do Espectro do Autismo
(PEA) são um exemplo especial de tais indivíduos. PEA é um grupo de perturbações complexas do
desenvolvimento do cérebro. Os indivíduos afetados por estas perturbações são caracterizados por
padrões repetitivos de comportamento, atividades ou interesses restritos e deficiências na comunicação
social. O uso de robôs já provaram encorajar a promoção da interação social e ajudaram no
desenvolvimento de competências deficitárias nas crianças com PEA. No entanto, a maioria desses
sistemas é controlada remotamente e não consegue-se adaptar automaticamente à situação, e mesmo
aqueles que são mais autônomos ainda não conseguem perceber se o utilizador está ou não atento às
instruções e ações do robô. Seguindo esta tendência, esta dissertação é parte de um projeto de pesquisa
que vem sendo desenvolvido há alguns anos, onde o robô ZECA (Zeno Envolvendo Crianças com Autismo)
da Hanson Robotics é usado para promover a interação com crianças com PEA, ajudando-as a
reconhecer emoções, adquirir novos conhecimentos para promover a interação social e comunicação
com os pares. O principal objetivo desta dissertação é saber se o utilizador está distraído durante uma
atividade. No futuro, o objetivo é fazer a interface deste sistema com o ZECA para, consequentemente,
adaptar o seu comportamento tendo em conta o estado afetivo do utilizador durante uma atividade de
imitação de emoções. A fim de reconhecer os comportamentos de distração humana e captar a atenção
do utilizador, vários padrões de distração, bem como sistemas para detetá-los automaticamente, foram
desenvolvidos. Um dos métodos de deteção de padrões de distração mais utilizados baseia-se na
medição da orientação da cabeça e da orientação do olhar. A presente dissertação propõe um sistema
baseado numa câmera Red Green Blue (RGB), capaz de detetar os padrões de distração, orientação da
cabeça, orientação do olhar, frequência do piscar de olhos e a posição do utilizador em frente da câmera,
durante uma atividade, e então classificar o estado do utilizador usando um algoritmo de “machine
learning”. Por fim, o sistema proposto é avaliado num ambiente laboratorial, a fim de verificar se é capaz
de detetar os padrões de distração. Os resultados destes testes preliminares permitiram detetar algumas
restrições do sistema, bem como validar a sua adequação para posteriormente utilizá-lo num ambiente
de intervenção