Reconstruction d'un clone de visage 3D à partir de patchs de forme

National audienceUn clone de visage 3D sémantique peut être utilisé comme prétraitement dans des applications comme l’analyse des émotions.Toutefois, ces clones doivent avoir la forme du visage bien modélisée tout en gardant la spécificité des individus. Dans notre technique, nousutilisons un capteur RVB-Z pour obtenir la spécificité des individus et un modèle déformable de visage 3D pour marquer la forme du visage.Nous gardons les parties appropriées de données de profondeur appelés Patch. Cette sélection est effectuée en utilisant une erreur de distanceet la direction des vecteurs normaux de chaque point. Selon l’emplacement, nous fusionnons soit les données des capteurs soit les donnéesobtenues avec le modèle déformable. Nous comparons notre méthode avec un processus de fitting classique. Les tests qualitatifs montrent quenos résultats sont plus précis qu’une méthode de fitting classique et les tests quantitatifs montrent que notre clone possède à la fois les spécificitésde la personne et la forme du visage bien modélisée

Représentation invariante des expressions faciales. : Application en analyse multimodale des émotions.

More and more applications aim at automating the analysis of human behavior to assist or replace the experts who are conducting these analyzes. This thesis deals with the analysis of facial expressions, which provide key information on these behaviors.Our work proposes an innovative solution to effectively define a facial expression, regardless of the morphology of the subject. The approach is based on the organization of expressions.We show that the organization of expressions, such as defined, is universal and can be effectively used to uniquely define an expression. One expression is given by its intensity and its relative position to the other expressions. The solution is compared with the conventional methods based on appearance data and shows a significant increase in recognition results of 14 non-basic expressions. The method has been extended to unknown subjects. The main idea is to create a plausible appearance space dedicated to the unknown person by synthesizing its basic expressions from deformations learned on other subjects and applied to the neutral face of the unknown subject. The solution is tested in a more comprehensive multimodal environment, whose aim is the recognition of emotions in spontaneous conversations. Our method has been implemented in the international challenge AVEC 2012 (Audio / Visual Emotion Challenge) where we finished 2nd, with recognition rates very close to the winners’ ones. Comparison of both methods (ours and the winners’ one) seems to show that the extraction of relevant features is the key to such systems.De plus en plus d’applications ont pour objectif d’automatiser l’analyse des comportements humains afin d’aider les experts qui réalisent actuellement ces analyses. Cette thèse traite de l’analyse des expressions faciales qui fournissent des informations clefs sur ces comportements.Les travaux réalisés portent sur une solution innovante, basée sur l’organisation des expressions, permettant de définir efficacement une expression d’un visage.Nous montrons que l’organisation des expressions, telle que définie, est universelle : une expression est alors caractérisée par son intensité et sa position relative par rapport aux autres expressions. La solution est comparée aux méthodes classiques et montre une augmentation significative des résultats de reconnaissance sur 14 expressions non basiques. La méthode a été étendue à des sujets inconnus. L’idée principale est de créer un espace d’apparence plausible spécifique à la personne inconnue en synthétisant ses expressions basiques à partir de déformations apprises sur d’autres sujets et appliquées sur le neutre du sujet inconnu. La solution est aussi mise à l’épreuve dans un environnement multimodal dont l’objectif est la reconnaissance d’émotions lors de conversations spontanées. Notre méthode a été mise en œuvre dans le cadre du challenge international AVEC 2012 (Audio/Visual Emotion Challenge) où nous avons fini 2nd, avec des taux de reconnaissance très proches de ceux obtenus par les vainqueurs. La comparaison des deux méthodes (la nôtre et celles des vainqueurs) semble montrer que l’extraction des caractéristiques pertinentes est la clef de tels systèmes

Patches Detection and Fusion for 3D Face Cloning

International audience3D face clones are used in many fields such as video games and Human-Computer Interaction. However, high-resolution sensors generating high quality clones are expensive and not accessible to all. In this paper, we propose to make a fully automated and accurate 3D reconstruction of a face with a low cost RGB-D camera. For each subject, we capture the depth and RGB data of their face in different positions while performing a rotational movement of the head. We fit a 3D Morphable Face Model on each frame to eliminate noise, increase resolution and provide a structured mesh. This type of mesh is a mesh which the semantic and topological structure is known. We propose to only keep the suitable parts of each mesh called Patch. This selection is performed using an error distance and the direction of the normal vectors. To create the 3D face clone, we merge the different patches of each mesh. These patches contain relevant information on the specificity of individuals and lead to the construction of a more accurate clone. We perform quantitative tests by comparing our clone to ground truth and qualitative tests by comparing visual features. These results show that our method outperforms the FaceWarehouse process of Cao et al [2]. This 3D face clone on a structured mesh can be used as pretreatment in applications such as emotion analysis [13] or facial animation

A survey on databases for facial micro-expression analysis

International audienc

A survey on databases for facial micro-expression analysis

International audienc

LTP-ML: Micro-Expression Detection by Recognition of Local Temporal Pattern of Facial Movements

International audienc

OCAE: Organization-Controlled Autoencoder for Unsupervised Speech Emotion Analysis

International audienc

Invariant Representation of Facial Expressions for Blended Expression Recognition on Unknown Subjects

International audienceFacial expressions analysis plays an important part in emotion detection. However, having an automatic and non-intrusive system to detect blended facial expression is still a challenging problem, especially when the subject is unknown to the system. Here, we propose a method that adapts to the morphology of the subject and that is based on a new invariant representation of facial expressions. In our system, one expression is defined by its relative position to 8 other expressions. As the mode of representation is relative, we show that the resulting expression space is person-independent. The 8 expressions are synthesized for each unknown subject from plausible distortions. Recognition tasks are performed in this space with a basic algorithm. The experiments have been performed on 22 different blended expressions and on either known or unknown subjects. The recognition results on known subjects demonstrate that the representation is robust to the type of data (shape and/or texture information) and to the dimensionality of the expression space. The recognition results on 22 expressions of unknown subjects show that a dimensionality of the expression space of 4 is enough to outperform traditional methods based on active appearance models and accurately describe an expression

Création de l'espace des expressions faciales à partir de modèles bilinéaires asymétriques

National audienceThis paper analyzes non prototypic expressions. The method is based on an asymmetric bilinear model learned on a small amountof expressions. In the resulting expression space, a blended unknown expression has a signature, that can be interpreted as a mixture of the basicexpressions used in the creation of the space. Three methods are compared. Experimental results on the recognition of 14 blended unknownexpressions show the relevance of the bilinear models compared to appearance-based methods and the robustness of the person-specific modelsaccording to the types of parameters (shape and/or texture).Ce papier étudie l’analyse des expressions non prototypiques et non incluses dans les bases d’apprentissage. La méthode est basée surun modèle bilinéaire asymétrique appris sur une petite quantité d’expressions. Dans l’espace des expressions ainsi créé, une expression inconnuea une signature qui peut être interprétée comme un mélange des expressions de bases utilisées lors de la construction de l’espace. Trois méthodessont comparées : une méthode traditionnelle basée sur des vecteurs d’apparence, le modèle bilinéaire asymétrique sur des vecteurs d’apparenceindépendants des sujets et le modèle bilinéaire asymétrique sur des vecteurs d’apparence spécifiques aux sujets. Les résultats expérimentaux sur14 expressions inconnues montrent la pertinence des modèles bilinéaires ainsi que la robustesse des vecteurs d’apparences spécifiques aux sujets