Gram Matrices Formulation of Body Shape Motion: An Application for Depression Severity Assessment

International audienceWe propose an automatic method to measure depression severity from body movement dynamics in participants undergoing treatment for depression. Participants were recorded in clinical interviews (Hamilton Rating Scale for Depression, HRSD) at seven-week intervals over a period of 21 weeks. Gram matrices formulation was used for body shape and trajectories representation from each video interview. Kinematic features were then extracted and encoded for video based representation using Gaussian Mixture Models (GMM) and Fisher vector encoding. A multi-class SVM was finally used to classify the encoded body movement dynamics into three levels of depression severity scores: moderate to severely depressed, mildly depressed, and remitted. Accuracy was higher for moderate to severe depression (68%) followed by mild depression (56%), and then remitted (37.93%). The obtained results suggest that automatic detection of depression severity from body movement is feasible

Automatic Estimation of Self-Reported Pain by Interpretable Representations of Motion Dynamics

We propose an automatic method for pain intensity measurement from video. For each video, pain intensity was measured using the dynamics of facial movement using 66 facial points. Gram matrices formulation was used for facial points trajectory representations on the Riemannian manifold of symmetric positive semi-definite matrices of fixed rank. Curve fitting and temporal alignment were then used to smooth the extracted trajectories. A Support Vector Regression model was then trained to encode the extracted trajectories into ten pain intensity levels consistent with the Visual Analogue Scale for pain intensity measurement. The proposed approach was evaluated using the UNBC McMaster Shoulder Pain Archive and was compared to the state-of-the-art on the same data. Using both 5-fold cross-validation and leave-one-subject-out cross-validation, our results are competitive with respect to state-of-the-art methods.Comment: accepted at ICPR 2020 Conferenc

Open Challenges in Modelling, Analysis and Synthesis of Human Behaviour in Human--Human and Human--Machine Interactions

Modelling, analysis and synthesis of behaviour are the subject of major efforts in computing science, especially when it comes to technologies that make sense of human–human and human–machine interactions. This article outlines some of the most important issues that still need to be addressed to ensure substantial progress in the field, namely (1) development and adoption of virtuous data collection and sharing practices, (2) shift in the focus of interest from individuals to dyads and groups, (3) endowment of artificial agents with internal representations of users and context, (4) modelling of cognitive and semantic processes underlying social behaviour and (5) identification of application domains and strategies for moving from laboratory to the real-world products

Segmentation des Traits du Visage, Analyse et Reconnaissance des Expressions Faciales par les Modèles de Croyance Transférable.

The aim of this work is the analysis and the classification of facial expressions.Experiments in psychology show that human is able to recognize the emotions based on the visualization of the temporal evolution of some characteristic fiducial points. Thus we firstly propose an automatic system for the extraction of the permanent facial features (eyes, eyebrows and lips).In this work we are interested in the problem of the segmentation of the eyes and the eyebrows.The segmentation of lips contours is based on a previous work developed in the laboratory.The proposed algorithm for eyes and eyebrows contours segmentation consists of three steps : firstly, the definition of parametric mo dels to fit as accurate as possible the contour of each feature ; then, a whole set of characteristic points is detected to initialize the selected mo dels in the face ; finally, the initial models are finally fitted by taking into account the luminance gradient information.The segmentation of the eyes, eyebrows and lips contours leads to what we call skeletons of expressions. To measure the characteristic features deformation, five characteristic distances are defined on these skeletons.Based on the state of these distances a whole set of logical rules is defined for each one of the considered expression : Smile, Surprise, Disgust, Anger, Fear, Sadness and Neutral.These rules are compatible with the standard MPEG-4 which provides a description of the deformations undergone by each facial feature during the production of the six universal facial expressions.However the human behavior is not binary, a pure expression is rarely produced.To be able to model the doubt between several expressions and to model the unknown expressions, the Transferable Belief Models are used as a fusion process for the facial expressions classification.The classification system takes into account the evolution of the facial features deformation in the course of the time. Towards an audio-visual system for emotional expressions classification, a preliminary study on vocal expressions is also proposed.L'objectif de ce travail est l'analyse et la classification d'expressions faciales.Des expériences en psychologie ont permis de mettre en évidence le fait que l'être humain est capable de reconnaître les émotions sur un visage à partir de la visualisation de l'évolution temporelle de certains points caractéristiques de celui-ci.Nous avons donc tout d'abord proposé un système d'extraction automatique des contours des traits permanents du visage (yeux, sourcils et lèvres). Dans ce travail nous nous intéressons au problème de la segmentation des yeux et des sourcils.La segmentation des contours des lèvres est basée sur un travail précédent développé au sein du laboratoire.L'algorithme proposé pour l'extraction des contours des yeux et des sourcils est constitué de trois étapes : d'abord la définition de modèles paramétriques pour modéliser au mieux le contour de chaque trait ; ensuite, les modèles choisis sont initialisés sur les images à segmenter grâce à l'extraction d'un ensemble de points caractéristiques ; enfin, les modèles initiaux sont ajustés finement en tenant compte d'information de gradient de luminance.La segmentation des contours des yeux, des sourcils et des lèvres conduit a ce que nous appelons des squelettes d'expressions. Pour mesurer la déformation des traits caractéristiques, cinq distances caractéristiques sont définies sur ces squelettes.Basé sur l'état de ces distances un ensemble de règles logiques est défini pour chacune des expressions considérées : Sourire, Surprise, Dégout, Colère, Peur, Tristesse, Neutre.Ces règles sont compatibles avec la norme MPEG-4 qui fournit une description des transformations subies par chacun des traits du visage lors de la production des six expressions faciales universelles.Cependant le comportement humain n'étant pas binaire, une expression pure est rarement produite.Pour pouvoir modéliser le doute entre plusieurs expressions et le cas des expressions inconnues, les Modèles de Croyance Transférables sont utilisés comme pro cessus de fusion pour la classification des expressions faciales.Le système de reconnaissance développé tient compte de l'évolution au cours du temps des déformations des traits du visage. Dans la perspective d'un système audio-visuel de reconnaissance d'expressions émotionelles, une étude préliminaire sur des expressionse vocales a aussi été menée

Segmentation des traits du visage, analyse et reconnaissance d'expressions faciales par le modèle de croyance transférable

L'objectif de ce travail est l'analyse et la classification d'expressions faciales. Des expériences en psychologie ont permis de mettre en évidence le fait que l'être humain est capable de reconnaître les émotions sur un visage à partir de la visualisation de l'évolution temporelle de certains points caractéristiques de celui-ci. Nous avons donc tout d'abord proposé un système d'extraction automatique des contours des traits permanents du visage (yeux, sourcils et lèvres). Dans ce travail nous nous intéressons au problème de la segmentation des yeux et des sourcils. La segmentation des contours des lèvres est basée sur un travail précédent développé au sein du laboratoire. L'algorithme proposé pour l'extraction des contours des yeux et des sourcils est constitué de trois étapes : d'abord la définition de modèles paramétrique pour modéliser au mieux le contour de chaque trait ; ensuite, les modèles choisis sont initialisés sur les images à segmenter grâce à l'extraction d'un ensemble de points caractéristiques ; enfin, les modèles initiaux sont ajustés finement en tenant compte d'information de gradient de luminance. La segmentation des contours des yeux, des sourcils et des lèvres conduit à ce que nous appelons des squelettes d'expressions. Pour mesurer la déformation des traits caractéristiques, cinq distances caractéristiques sont définies sur ces squelettes basé sur l'état de ces distances un ensemble de règles logiques est défini pour chacune des expressions considérées : Sourire, Surprise, Dégo-ut, Corere, Peur, Tristesse, Neutre. Ces règles sont compatibles avec la norme MPEG-4 qui fournit une description des transformations subies par chacun des traits du visage lors de la production des six expressions faciales universelles. Cependant le comportement humain n'étant pas binaire, une expression pure est rarement produite. Pour pouvoir modéliser le doute entre plusieurs expressions et le cas des expressions inconnues, le Modèle de Croyance Transférable est utilisé comme processus de fusion pour la classification des expressions faciales. Le system de reconnaissance d'eveloppé tient compte de l'évolution au cours du temps des d'eformations des traits du visage. Dans la perspective d'un système audio-visuel de reconnaissance d'expressions émotionelles, une étude préliminaire sur des expressions vocales a aussi été menée.GRENOBLE1-BU Sciences (384212103) / SudocSudocFranceF

Automatic Detection of Pain Intensity

Previous efforts suggest that occurrence of pain can be detected from the face. Can intensity of pain be detected as well? The Prkachin and Solomon Pain Intensity (PSPI) metric was used to classify four levels of pain intensity (none, trace, weak, and strong) in 25 participants with previous shoulder injury (McMaster-UNBC Pain Archive). Participants were recorded while they completed a series of movements of their affected and unaffected shoulders. From the video recordings, canonical normalized appearance of the face (CAPP) was extracted using active appearance modeling. To control for variation in face size, all CAPP were rescaled to 96x96 pixels. CAPP then was passed through a set of Log-Normal filters consisting of 7 frequencies and 15 orientations to extract 9216 features. To detect pain level, 4 support vector machines (SVMs) were separately trained for the automatic measurement of pain intensity on a frame-by-frame level using both 5-folds cross-validation and leave-one-subjectout cross-validation. F1 for each level of pain intensity range

Towards context based affective computing

This is an introduction to the Second International Workshop on Context Based Affect Recognition CBAR 2013 Held in conjunction with Affective Computing and Intelligent Interaction 2-5 September 2013, Geneva, Switzerland. © 2013 IEEE