Automatic emotion recognition from multimodal data : facial expressions and physiological signals

Cette thèse présente une méthode générique de reconnaissance automatique des émotions à partir d’un système bimodal basé sur les expressions faciales et les signaux physiologiques. Cette approche de traitement des données conduit à une extraction d’information de meilleure qualité et plus fiable que celle obtenue à partir d’une seule modalité. L’algorithme de reconnaissance des expressions faciales qui est proposé, s’appuie sur la variation de distances des muscles faciaux par rapport à l’état neutre et sur une classification par les séparateurs à vastes marges (SVM). La reconnaissance des émotions à partir des signaux physiologiques est, quant à elle, basée sur la classification des paramètres statistiques par le même classifieur. Afin d’avoir un système de reconnaissance plus fiable, nous avons combiné les expressions faciales et les signaux physiologiques. La combinaison directe de telles informations n’est pas triviale étant donné les différences de caractéristiques (fréquence, amplitude de variation, dimensionnalité). Pour y remédier, nous avons fusionné les informations selon différents niveaux d’application. Au niveau de la fusion des caractéristiques, nous avons testé l’approche par l’information mutuelle pour la sélection des plus pertinentes et l’analyse en composantes principales pour la réduction de leur dimensionnalité. Au niveau de la fusion de décisions, nous avons implémenté une méthode basée sur le processus de vote et une autre basée sur les réseaux Bayésien dynamiques. Les meilleurs résultats ont été obtenus avec la fusion des caractéristiques en se basant sur l’Analyse en Composantes Principales. Ces méthodes ont été testées sur une base de données conçue dans notre laboratoire à partir de sujets sains et de l’inducteur par images IAPS. Une étape d’auto évaluation a été demandée à tous les sujets dans le but d’améliorer l’annotation des images d’induction utilisées. Les résultats ainsi obtenus mettent en lumière leurs bonnes performances et notamment la variabilité entre les individus et la variabilité de l’état émotionnel durant plusieurs joursThis thesis presents a generic method for automatic recognition of emotions from a bimodal system based on facial expressions and physiological signals. This data processing approach leads to better extraction of information and is more reliable than single modality. The proposed algorithm for facial expression recognition is based on the distance variation of facial muscles from the neutral state and on the classification by means of Support Vector Machines (SVM). And the emotion recognition from physiological signals is based on the classification of statistical parameters by the same classifier. In order to have a more reliable recognition system, we have combined the facial expressions and physiological signals. The direct combination of such information is not trivial giving the differences of characteristics (such as frequency, amplitude, variation, and dimensionality). To remedy this, we have merged the information at different levels of implementation. At feature-level fusion, we have tested the mutual information approach for selecting the most relevant and principal component analysis to reduce their dimensionality. For decision-level fusion we have implemented two methods; the first based on voting process and another based on dynamic Bayesian networks. The optimal results were obtained with the fusion of features based on Principal Component Analysis. These methods have been tested on a database developed in our laboratory from healthy subjects and inducing with IAPS pictures. A self-assessment step has been applied to all subjects in order to improve the annotation of images used for induction. The obtained results have shown good performance even in presence of variability among individuals and the emotional state variability for several day

Reconnaissance automatique des émotions par données multimodales (expressions faciales et des signaux physiologiques)

Cette thèse présente une méthode générique de reconnaissance automatique des émotions à partir d un système bimodal basé sur les expressions faciales et les signaux physiologiques. Cette approche de traitement des données conduit à une extraction d information de meilleure qualité et plus fiable que celle obtenue à partir d une seule modalité. L algorithme de reconnaissance des expressions faciales qui est proposé, s appuie sur la variation de distances des muscles faciaux par rapport à l état neutre et sur une classification par les séparateurs à vastes marges (SVM). La reconnaissance des émotions à partir des signaux physiologiques est, quant à elle, basée sur la classification des paramètres statistiques par le même classifieur. Afin d avoir un système de reconnaissance plus fiable, nous avons combiné les expressions faciales et les signaux physiologiques. La combinaison directe de telles informations n est pas triviale étant donné les différences de caractéristiques (fréquence, amplitude de variation, dimensionnalité). Pour y remédier, nous avons fusionné les informations selon différents niveaux d application. Au niveau de la fusion des caractéristiques, nous avons testé l approche par l information mutuelle pour la sélection des plus pertinentes et l analyse en composantes principales pour la réduction de leur dimensionnalité. Au niveau de la fusion de décisions, nous avons implémenté une méthode basée sur le processus de vote et une autre basée sur les réseaux Bayésien dynamiques. Les meilleurs résultats ont été obtenus avec la fusion des caractéristiques en se basant sur l Analyse en Composantes Principales. Ces méthodes ont été testées sur une base de données conçue dans notre laboratoire à partir de sujets sains et de l inducteur par images IAPS. Une étape d auto évaluation a été demandée à tous les sujets dans le but d améliorer l annotation des images d induction utilisées. Les résultats ainsi obtenus mettent en lumière leurs bonnes performances et notamment la variabilité entre les individus et la variabilité de l état émotionnel durant plusieurs joursThis thesis presents a generic method for automatic recognition of emotions from a bimodal system based on facial expressions and physiological signals. This data processing approach leads to better extraction of information and is more reliable than single modality. The proposed algorithm for facial expression recognition is based on the distance variation of facial muscles from the neutral state and on the classification by means of Support Vector Machines (SVM). And the emotion recognition from physiological signals is based on the classification of statistical parameters by the same classifier. In order to have a more reliable recognition system, we have combined the facial expressions and physiological signals. The direct combination of such information is not trivial giving the differences of characteristics (such as frequency, amplitude, variation, and dimensionality). To remedy this, we have merged the information at different levels of implementation. At feature-level fusion, we have tested the mutual information approach for selecting the most relevant and principal component analysis to reduce their dimensionality. For decision-level fusion we have implemented two methods; the first based on voting process and another based on dynamic Bayesian networks. The optimal results were obtained with the fusion of features based on Principal Component Analysis. These methods have been tested on a database developed in our laboratory from healthy subjects and inducing with IAPS pictures. A self-assessment step has been applied to all subjects in order to improve the annotation of images used for induction. The obtained results have shown good performance even in presence of variability among individuals and the emotional state variability for several daysMETZ-SCD (574632105) / SudocSudocFranceF

Multidimensional spectroscopic data fusion improves precancerous tissue discrimination based on spatially resolved autofluorescence and diffuse reflectance spectroscopy

Published in Proc. SPIE 9537 Clinical and Biomedical Spectroscopy and Imaging IV, 95370FInternational audienceThis paper proposes a new approach to process spatially resolved bimodal spectroscopic data applied to mouse skin precancerous stages non-invasive diagnosis. In this field, the development of efficient methods of extraction of discriminant features followed by supervised classification step is of a crucial importance.Our idea is to exploit the spatial resolution dimensions (3 in the present study) to take advantage from the fact that each collecting fiber provides a complementary piece of information for the discrimination. The purpose of acquiring data at three different source-to-detector distances is to combine complementary spatially resolved information i.e. data from three sources on one single skin spot. Such spatial resolution allows to probe skin at three different mean depths in order to get knowledge from the various layers of skin dermis and epidermis.The first step of our method proposed here consists in applying (i) 2D discrete cosine transform to extract discriminant spectral features from autofluorescence excitation emission matrices and (ii) mutual information to select relevant features from diffuse reflectance spectra. In thesecond step, these feature sets, which capture information from each collecting fiber (among 3) per modality, is independently classified by one versus all decomposition involving support vector machines, creating a multiclassifier system. In the last step, classification results are fused using the first combination rule of belief function theory to produce one final classification. The proposed method improves overall classification accuracy over independent classifiers. The best recognition rate obtained is 86.1%

Hybrid feature selection and SVM-based classification for mouse skin precancerous stages diagnosis from bimodal spectroscopy

International audienceThis paper deals with multi-class classification of skin pre-cancerous stages based on bimodal spectroscopic features combining spatially resolved AutoFluorescence (AF) and Diffuse Reflectance (DR) measurements. A new hybrid method to extract and select features is presented. It is based on Discrete Cosine Transform (DCT) applied to AF spectra and on Mutual Information (MI) applied to DR spectra. The classification is performed by means of a multi-class SVM: the M-SVM2. Its performance is compared with the one of the One-Versus-All (OVA) decomposition method involving bi-class SVMs as base classifiers. The results of this study show that bimodality and the choice of an adequate spatial resolution allow for a significant increase in diagnostic accuracy. This accuracy can get as high as 81.7% when combining different distances in the case of bimodality

Spatially resolved multimodal in vivo spectroscopy data fusion for discriminating precancerous states

Part of the 16th International Conference "Laser Optics 2014", June 30 – July 4, 2014, St. Petersburg, RussiaInternational audienc

Spatially resolved multimodality spectroscopy for in vivo diagnosis of skin precancer: recent developments in data extraction and classification

Session organisée uniquement avec des invités... http://laseroptics.ru/download/LO2012_Technical_Program_final.pdfInternational audienceSome of the most recent developments are presented in multidimensional spectrosocpic data extraction and classification of non- and pre-cancerous skin tissues using Spaatially Resolved Multiple Excitation AutoFluorescence and Diffuse Reflectance Spectroscopie

Spectroscopie d'autofluorescence in vivo résolue spatialement : multiclassification SVM d'états précancéreux améliorée par fusion de sources

National audienc

Spectroscopie multimodalités in vivo: impact de la stratégie de fusion des données résolues spatialement sur la discrimination entre les stades précancéreux

National audienc

DCT-SVM based multi-classification of mouse skin precancerous stages from autofluorescence and diffuse reflectance spectra

International audienceThis paper deals with multi-classification of skin precancerous stages based on bimodal spectroscopy combining AutoFluorescence (AF) and Diffuse Reflectance (DR) measurements. The proposed data processing method is based on Discrete Cosine Transform (DCT) to extract discriminant spectral features and on Support Vector Machine to classify. Results show that DCT gives better results for AF spectra than for DR spectra. This study shows that bimodality and monitoring spectral resolution together allow an increase in diagnostic accuracy. The choice of an adequate spectral resolution always implies an increase in diagnostic accuracy. This accuracy can get as high as 79.0% when combining different distances between collecting and exciting optical fibers

Spectroscopie d'AutoFluorescence in vivo résolue spatialement : multiclassification SVM d'états précancéreux améliorée par fusion de sources

National audienceNos travaux concernent l'exploitation de la spectroscopie en multiples excitations d'autofluorescence (AF) pour le diagnostic des états précancéreux de tissus épithéliaux. Nous proposons un algorithme de fusion des informations tirant partie de la résolution spatiale pour améliorer les performances diagnostiques obtenues par classification supervisée. La méthode proposée est constituée d'une étape d'extraction de caractéristiques à partir des matrices d'émission-excitation (EEMs) d'AF suivie d'une étape de classification supervisée multi-catégories. Pour l'extraction de caractéristiques discriminantes, nous exploitons la transformée en cosinus discret bi-dimensionnelle (DCT-2D) sur les spectres d'intensité d'AF, sans connaissance a priori. La classification est basée sur la mise en œuvre de séparateurs à vaste marges (SVM). L'approche un-contre-tous a été adoptée pour discriminer quatre classes histologiques (sain, hyperplasique compensatoire et atypique, et dysplasique). Afin d'exploiter la combinaison des résultats obtenus à 3 distances inter-fibres, nous avons complété cet algorithme par une méthode de fusion de décision (sources) basée sur les fonctions de croyance. Les taux de classification obtenus pour trois distances sont respectivement : 81,3%, 76,6% et 75,4%. La fusion des informations issues des trois distances au niveau de la décision permet d'atteindre un taux de classification de 84%