Reconnaissance des expressions faciales pour l’assistance ambiante

Au cours de ces dernières décennies, le monde a connu d’importants changements démographiques et notamment au niveau de la population âgée qui a fortement augmenté. La prise d’âge a comme conséquence directe non seulement une perte progressive des facultés cognitives, mais aussi un risque plus élevé d’être atteint de maladies neurodégénératives telles qu’Alzheimer et Parkinson. La perte des facultés cognitives cause une diminution de l’autonomie et par conséquent, une assistance quotidienne doit être fournie à ces individus afin d’assurer leur bien-être. Les établissements ainsi que le personnel spécialisé censés les prendre en charge représentent un lourd fardeau pour l’économie. Pour cette raison, d’autres solutions moins coûteuses et plus optimisées doivent être proposées. Avec l’avènement des nouvelles technologies de l’information et de la communication, il est devenu de plus en plus aisé de développer des solutions permettant de fournir une assistance adéquate aux personnes souffrant de déficiences cognitives. Les maisons intelligentes représentent l’une des solutions les plus répandues. Elles exploitent différents types de capteurs pour la collecte de données, des algorithmes et méthodes d’apprentissage automatique pour l’extraction/traitement de l’information et des actionneurs pour le déclenchement d’une réponse fournissant une assistance adéquate. Parmi les différentes sources de données qui sont exploitées, les images/vidéos restent les plus riches en termes de quantité. Les données récoltées permettent non seulement la reconnaissance d’activités, mais aussi la détection d’erreur durant l’exécution de tâches/activités de la vie quotidienne. La reconnaissance automatique des émotions trouve de nombreuses applications dans notre vie quotidienne telles que l’interaction homme-machine, l’éducation, la sécurité, le divertissement, la vision robotique et l’assistance ambiante. Cependant, les émotions restent un sujet assez complexe à cerner et de nombreuses études en psychologie et sciences cognitives continuent d’être effectuées. Les résultats obtenus servent de base afin de développer des approches plus efficaces. Les émotions humaines peuvent être perçues à travers différentes modalités telle que la voix, la posture, la gestuelle et les expressions faciales. En se basant sur les travaux de Mehrabian, les expressions faciales représentent la modalité la plus pertinente pour la reconnaissance automatique des émotions. Ainsi, l’un des objectifs de ce travail de recherche consistera à proposer des méthodes permettant l’identification des six émotions de base à savoir : la joie, la peur, la colère, la surprise, le dégoût et la tristesse. Les méthodes proposées exploitent des données d’entrée statiques et dynamiques, elles se basent aussi sur différents types de descripteurs/représentations (géométrique, apparence et hybride). Après avoir évalué les performances des méthodes proposées avec des bases de données benchmark à savoir : JAFFE, KDEF, RaFD, CK+, MMI et MUG. L’objectif principal de ce travail de recherche réside dans l’utilisation des expressions faciales afin d’améliorer les performances des systèmes d’assistance existants. Ainsi, des expérimentations ont été conduites au sein de l’environnement intelligent LIARA afin de collecter des données de validation, et ce, en suivant un protocole d’expérimentation spécifique. Lors de l’exécution d’une tâche de la vie quotidienne (préparation du café), deux types de données ont été récoltés. Les données RFID ont permis de valider la méthode de reconnaissance automatique des actions utilisateurs ainsi que la détection automatique d’erreurs. Quant aux données faciales, elles ont permis d’évaluer la contribution des expressions faciales afin d’améliorer les performances du système d’assistance en termes de détection d’erreurs. Avec une réduction du taux de fausses détections dépassant les 20%, l’objectif fixé a été atteint avec succè

EEG-Based Emotion Recognition Using Regularized Graph Neural Networks

Electroencephalography (EEG) measures the neuronal activities in different brain regions via electrodes. Many existing studies on EEG-based emotion recognition do not fully exploit the topology of EEG channels. In this paper, we propose a regularized graph neural network (RGNN) for EEG-based emotion recognition. RGNN considers the biological topology among different brain regions to capture both local and global relations among different EEG channels. Specifically, we model the inter-channel relations in EEG signals via an adjacency matrix in a graph neural network where the connection and sparseness of the adjacency matrix are inspired by neuroscience theories of human brain organization. In addition, we propose two regularizers, namely node-wise domain adversarial training (NodeDAT) and emotion-aware distribution learning (EmotionDL), to better handle cross-subject EEG variations and noisy labels, respectively. Extensive experiments on two public datasets, SEED and SEED-IV, demonstrate the superior performance of our model than state-of-the-art models in most experimental settings. Moreover, ablation studies show that the proposed adjacency matrix and two regularizers contribute consistent and significant gain to the performance of our RGNN model. Finally, investigations on the neuronal activities reveal important brain regions and inter-channel relations for EEG-based emotion recognition

Ubiquitous Technologies for Emotion Recognition

Emotions play a very important role in how we think and behave. As such, the emotions we feel every day can compel us to act and influence the decisions and plans we make about our lives. Being able to measure, analyze, and better comprehend how or why our emotions may change is thus of much relevance to understand human behavior and its consequences. Despite the great efforts made in the past in the study of human emotions, it is only now, with the advent of wearable, mobile, and ubiquitous technologies, that we can aim to sense and recognize emotions, continuously and in real time. This book brings together the latest experiences, findings, and developments regarding ubiquitous sensing, modeling, and the recognition of human emotions

Recognizing Emotions Conveyed through Facial Expressions

Emotional communication is a key element of habilitation care of persons with dementia. It is, therefore, highly preferable for assistive robots that are used to supplement human care provided to persons with dementia, to possess the ability to recognize and respond to emotions expressed by those who are being cared-for. Facial expressions are one of the key modalities through which emotions are conveyed. This work focuses on computer vision-based recognition of facial expressions of emotions conveyed by the elderly. Although there has been much work on automatic facial expression recognition, the algorithms have been experimentally validated primarily on young faces. The facial expressions on older faces has been totally excluded. This is due to the fact that the facial expression databases that were available and that have been used in facial expression recognition research so far do not contain images of facial expressions of people above the age of 65 years. To overcome this problem, we adopt a recently published database, namely, the FACES database, which was developed to address exactly the same problem in the area of human behavioural research. The FACES database contains 2052 images of six different facial expressions, with almost identical and systematic representation of the young, middle-aged and older age-groups. In this work, we evaluate and compare the performance of two of the existing imagebased approaches for facial expression recognition, over a broad spectrum of age ranging from 19 to 80 years. The evaluated systems use Gabor filters and uniform local binary patterns (LBP) for feature extraction, and AdaBoost.MH with multi-threshold stump learner for expression classification. We have experimentally validated the hypotheses that facial expression recognition systems trained only on young faces perform poorly on middle-aged and older faces, and that such systems confuse ageing-related facial features on neutral faces with other expressions of emotions. We also identified that, among the three age-groups, the middle-aged group provides the best generalization performance across the entire age spectrum. The performance of the systems was also compared to the performance of humans in recognizing facial expressions of emotions. Some similarities were observed, such as, difficulty in recognizing the expressions on older faces, and difficulty in recognizing the expression of sadness. The findings of our work establish the need for developing approaches for facial expression recognition that are robust to the effects of ageing on the face. The scientific results of our work can be used as a basis to guide future research in this direction