Emotion Recognition through Physiological Signals for Human- Machine Communication, Cutting Edge Robotics 2010, Vedran Kordic (Ed.), InTech, Available from: h t t p : / / w w w . i n t e c h o p e n . c o m / books/cutting-edge-robotics-2010/emotion-recog

Abstract The ability to recognize emotion is one of the hallmarks of emotion intelligence. This paper proposed to recognize emotion using physiological signals obtained from multiple subjects. IAPS (International Affective Picture System) images were used to elicit target emotions. Five physiological signals: Blood volume pulse (BVP), Electromyography (EMG), Skin Conductance (SC), Skin Temperature (SKT) and Respiration (RESP) were selected to extract 30 features for recognition. Two pattern classification methods, Fisher discriminant and SVM method are used and compared for emotional state classification. The experimental results indicate that the proposed method provides very stable and successful emotional classification performance as 92% over six emotional states

Reconnaissance hors-contact du stress mental en utilisant la variabilité cardiaque

International audienceDans ce papier, nous présentons un ensemble de méthodes qui permettent de détecter des états de stress mental en utilisant des trames vidéo obtenues à partir d'une webcam bas coût. Les mesures sont réalisées spécifiquement sur les visages des participants et les algorithmes que nous proposons ont été développés de manière à ce que l'application soit robuste aux bruits générés par les mouvements de la tête. Une version interactive du test de Stroop a été employée pour induire du stress chez les 12 candidats qui ont participé à cette étude. Parallèlement, nous avons enregistré la conductance de la peau que nous avons comparée à la courbe de stress obtenue par une analyse sur la variabilité cardiaque de la webcam. Les résultats apportent une nouvelle manière de détecter des états de stress en utilisant des moyens bas coûts, offrant une alternative aux techniques conventionnelles en contact

Reconnaissance hors-contact du stress mental en utilisant la variabilité cardiaque

International audienceDans ce papier, nous présentons un ensemble de méthodes qui permettent de détecter des états de stress mental en utilisant des trames vidéo obtenues à partir d'une webcam bas coût. Les mesures sont réalisées spécifiquement sur les visages des participants et les algorithmes que nous proposons ont été développés de manière à ce que l'application soit robuste aux bruits générés par les mouvements de la tête. Une version interactive du test de Stroop a été employée pour induire du stress chez les 12 candidats qui ont participé à cette étude. Parallèlement, nous avons enregistré la conductance de la peau que nous avons comparée à la courbe de stress obtenue par une analyse sur la variabilité cardiaque de la webcam. Les résultats apportent une nouvelle manière de détecter des états de stress en utilisant des moyens bas coûts, offrant une alternative aux techniques conventionnelles en contact

Peripheral vasomotor activity assessment using a continuous wavelet analysis on webcam photoplethysmographic signals

International audienceBACKGROUNG: Vasoconstriction and vasodilation phenomena reflect the relative changes in the vascular bed. They induce particular modifications in the pulse wave magnitude. Webcams correspond to remote sensors that can be employed to measure the pulse wave in order to compute the pulse frequency. OBJECTIVE: Record and analyze pulse wave signal with a low-cost webcam to extract the amplitude information and assess the vasomotor activity of the participant. METHODS: Photoplethysmographic signals obtained from a webcam are analyzed through a continuous wavelet transform. The performance of the proposed filtering technique was evaluated using approved contact probes on a set of 12 healthy subjects after they perform a short but intense physical exercise. During the rest period, a cutaneous vasodilation is observable. RESULTS: High degrees of correlation between the webcam and a reference sensor were obtained. CONCLUSIONS: Webcams are low-cost and non-contact devices that can be used to reliably estimateboth heart rate and peripheral vasomotor activity, notably during physical exertion

Automatic human stress detection based on webcam photoplethysmographic signals

International audienceOne of the goals of affective computing field is to provide to computers the ability to recognize automatically the affective state of the user in order to have more intuitive human–machine communication. This paper aims to detect automatically the stress user when he is interacting with computer. The developed system is based on instantaneous pulse rate (PR) signal extracted from imaging photoplethysmography (PPG). Seven features from time and frequency domain are extracted from PR signal and processed by learning pattern recognition systems. Two methods based on Support Vector Machine (SVM) and Linear Discriminant Analysis (LDA) are used and compared to classify the user’s emotional state. A computer application based on “Stroop color word Test” is developed to elicit emotional stress in the subject. The proposed method can achieve the overall average classification accuracy of 94.42% and 91.10% with SVM and LDA, respectively. Current results indicate that our approach is effective for stress classificatio

Mesures sans contact de fonctions vitales : vers une évaluation multisite de l'activité cardiovasculaire

International audiencePrès de la moitié des maladies invalidantes sont d'origine respiratoire ou cardiovasculaire. Ces dernières sont de plus désignées première cause de mortalité dans le monde par l'OMS. Différentes technologies permettent désormais de mesurer signaux physiologiques et fonctions vitales de manière déportée. Les caméras bas coût et les webcams sont, par exemple, des systèmes accessibles qui permettent d'évaluer l'état de l'appareil cardiovasculaire en vue du diagnostic de pathologies relatives au coeur ou aux vaisseaux sanguins. Dans cet article, nous dressons un état de l'art sur les technologies utilisées pour mesurer des données biomédicales à distance. Nous proposons, dans un second temps, une méthode permettant de mesurer l'état du système cardiovasculaire à partir d'une vidéo enregistrée par une caméra standard. Nous avons pour perspectives d'intégrer ce système dans un logiciel de téléconsultation fonctionnant sur tablette tactile ou smartphone afin de permettre au médecin de compléter une consultation à distance par l'incrustation en réalité augmentée des données médicales mesurées par la caméra. L'estimation déportée de fonctions physiologiques concerne tout autant les personnes saines que malades ou immobilisées, vieillissantes ou en perte d'autonomie ainsi que dépendantes ou en situation de handicap

La vision automatique pour la conception d'outils de communication Homme/Machine

Les outils de communication homme-machine sont une composante majeure dans les systèmes robotiques et plus spécialement les télérobots. Cette thèse porte sur deux volets principaux de ces outils : la communication de l'homme vers la machine et la communication de la machine vers l'homme. Le premier volet concerne la récupération des ordres que l'humain transmet au robot. Le second volet concerne la restitution sensorielle de l'environnement distant que le robot fournit à l'homme. La première partie de cette thèse décrit l'outil que nous avons développé et qui permet à un opérateur de piloter et de superviser un robot d'une façon naturelle. Ce pilotage se fait par le geste sans avoir à se munir de dispositifs spéciaux. Le processus d'interprétation du geste est basé sur le codage de la configuration de la main détectée. La principale contribution de nos travaux consiste en la mise en place d'une nouvelle technique de reconnaissance de gestes statiques basée sur les moments Zernike. La deuxième partie traite de la synthèse visuelle et la création de l'information visuelle synthétique qui aide et qui guide l'opérateur dans l'exécution des ses tâches. Cette synthèse se fait de deux manières : génération de nouvelles vues synthétiques et incrustation d'objets virtuels dans une scène réelle. Pour réaliser ces deux partie, nous avons développé un formalisme basé sur le théorème de Desargues. Nous montrons comment ce théorème s'applique à une configuration de trois images et les propriétés propres à cette configuration. Ce formalisme suppose la connaissance du graphe de correspondance. Il a été égalmement utilisé pour calculer la mise en correspondance d'une série d'images.Human-Machine communication tools are a major component in robotic systems and particularly in telerobots. This thesis focuses on two main aspects : communication from the human towards the machine and communication from the machine towards the human. The first aspect aims to interpret human orders in order to pilot the robot. The second one deals with the sensory restitution of the distant environment that the robot provide to humans. The first part describes our developed tool, which makes it possible for an operator to control and supervise a robot in a natural way with gestures without using special devices. The process of gesture interpretation is based on the coding of the detected hand configuration. The main unique aspect of our work is the use of a new technique of static gesture recognition based on Zernike moments. The second part deals with visual synthesis and creation of visual information, in order to help and guide the operator to execute his tasks. This synthesis is done into two manners: Generation of new synthetic image and Registration of virtual object in a real scene. In order to solve the previous problems, we have developed a new formalism based on the Desargues theorem. We show how this theorem is applied for the configuration of three images and the specific properties of this configuration. Indeed, this formalism assumes the knowlledge of dense correspondance of images. That's why we have developped a new method to match N images based on Desargues theorem.NANTES-BU Sciences (441092104) / SudocNANTES-Ecole Centrale (441092306) / SudocSudocFranceF

Reconnaissance automatique des émotions par données multimodales (expressions faciales et des signaux physiologiques)

Cette thèse présente une méthode générique de reconnaissance automatique des émotions à partir d un système bimodal basé sur les expressions faciales et les signaux physiologiques. Cette approche de traitement des données conduit à une extraction d information de meilleure qualité et plus fiable que celle obtenue à partir d une seule modalité. L algorithme de reconnaissance des expressions faciales qui est proposé, s appuie sur la variation de distances des muscles faciaux par rapport à l état neutre et sur une classification par les séparateurs à vastes marges (SVM). La reconnaissance des émotions à partir des signaux physiologiques est, quant à elle, basée sur la classification des paramètres statistiques par le même classifieur. Afin d avoir un système de reconnaissance plus fiable, nous avons combiné les expressions faciales et les signaux physiologiques. La combinaison directe de telles informations n est pas triviale étant donné les différences de caractéristiques (fréquence, amplitude de variation, dimensionnalité). Pour y remédier, nous avons fusionné les informations selon différents niveaux d application. Au niveau de la fusion des caractéristiques, nous avons testé l approche par l information mutuelle pour la sélection des plus pertinentes et l analyse en composantes principales pour la réduction de leur dimensionnalité. Au niveau de la fusion de décisions, nous avons implémenté une méthode basée sur le processus de vote et une autre basée sur les réseaux Bayésien dynamiques. Les meilleurs résultats ont été obtenus avec la fusion des caractéristiques en se basant sur l Analyse en Composantes Principales. Ces méthodes ont été testées sur une base de données conçue dans notre laboratoire à partir de sujets sains et de l inducteur par images IAPS. Une étape d auto évaluation a été demandée à tous les sujets dans le but d améliorer l annotation des images d induction utilisées. Les résultats ainsi obtenus mettent en lumière leurs bonnes performances et notamment la variabilité entre les individus et la variabilité de l état émotionnel durant plusieurs joursThis thesis presents a generic method for automatic recognition of emotions from a bimodal system based on facial expressions and physiological signals. This data processing approach leads to better extraction of information and is more reliable than single modality. The proposed algorithm for facial expression recognition is based on the distance variation of facial muscles from the neutral state and on the classification by means of Support Vector Machines (SVM). And the emotion recognition from physiological signals is based on the classification of statistical parameters by the same classifier. In order to have a more reliable recognition system, we have combined the facial expressions and physiological signals. The direct combination of such information is not trivial giving the differences of characteristics (such as frequency, amplitude, variation, and dimensionality). To remedy this, we have merged the information at different levels of implementation. At feature-level fusion, we have tested the mutual information approach for selecting the most relevant and principal component analysis to reduce their dimensionality. For decision-level fusion we have implemented two methods; the first based on voting process and another based on dynamic Bayesian networks. The optimal results were obtained with the fusion of features based on Principal Component Analysis. These methods have been tested on a database developed in our laboratory from healthy subjects and inducing with IAPS pictures. A self-assessment step has been applied to all subjects in order to improve the annotation of images used for induction. The obtained results have shown good performance even in presence of variability among individuals and the emotional state variability for several daysMETZ-SCD (574632105) / SudocSudocFranceF