National audienceCe papier présente le fonctionnement d'un système visant à créer automatiquement des corpus d'animations faciales annotées pour la Langue des Signes Française (LSF) à partir de données issues de capture du mouvement (MoCap). L'animation produite est basée \emph{blendshapes}. Les coefficients associés à ce modèle sont calculés à partir des données capturées puis utilisés par le module de reconnaissance afin d'annoter automatiquement ces animations

Gibet, Sylvie

Larboulette, Caroline

Marteau, P-F

Reverdy, Clément

INRIA a CCSD electronic archive server

HAL Id: hal-01490780https://hal.archives-ouvertes.fr/hal-01490780Submitted on 15 Mar 2017HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestinée au dépôt et à la diffusion de documentsscientifiques de niveau recherche, publiés ou non,émanant des établissements d’enseignement et derecherche français ou étrangers, des laboratoirespublics ou privés.Un système de synthèse et d’annotation automatique àpartir de données capturées pour l’animation facialeexpressive en LSFClément Reverdy, Sylvie Gibet, Caroline Larboulette, P-F MarteauTo cite this version:Clément Reverdy, Sylvie Gibet, Caroline Larboulette, P-F Marteau. Un système de synthèse etd’annotation automatique à partir de données capturées pour l’animation faciale expressive en LSF.Journées Françaises d’Informatique Graphique (AFIG 2016), Nov 2016, Grenoble, France. ￿hal-01490780￿Journées Françaises d’Informatique Graphique,Grenoble, 30 nov - 2 dec 2016Un système de synthèse et d’annotation automatique à partirde données capturées pour l’animation faciale expressive enLSFC. Reverdy1,2, S. Gibet1,2, C. Larboulette1,2 et P-F. Marteau1,21Université de Bretagne Sud 2IRISARésuméCe papier présente le fonctionnement d’un système visant à créer automatiquement des corpus d’animations fa-ciales annotées pour la Langue des Signes Française (LSF) à partir de données issues de capture du mouvement(MoCap). L’animation produite est basée blendshapes. Les coefficients associés à ce modèle sont calculés à partirdes données capturées puis utilisés par le module de reconnaissance afin d’annoter automatiquement ces anima-tions.Mots clé : LSF, animation faciale basée données, recon-naissance automatique d’expressions faciales1. IntroductionLa Langue des Signes Française (LSF), utilisée enFrance par la communauté des sourds et leur entourage,représente une part majeure de la culture et de l’identitéde cette dernière. Le développement d’outils informatiqueséducatifs, de divertissement et de travail tenant compte deleur langue naturelle est apprécié des 100000 locuteursfrançais (environ 169000 dans le monde) †. Outre la vidéo,l’un des moyens permettant la prise en charge de cettelangue qui ne connaît à l’heure actuelle pas de forme écriteest la génération de contenu par le biais de personnagesvirtuels animés appelés avatars signeurs.Le système que nous proposons s’intègre dans un pro-jet plus général de synthèse gestuelle de la LSF par conca-ténation qui permet d’éditer des morceaux de mouvementscapturés, et de les couper / coller / transformer / mixer afinde construire de nouvelles phrases [GCDLN11, LAGT∗13].Ce système nécessite d’avoir à disposition une base de don-nées annotée qui comprend à la fois des mouvements etdes informations sémantiques qui étiquettent ces mouve-ments [ACD∗09] de façon à produire de nouvelles anima-tions à partir de phrases énoncées comme une combinaisond’annotations. Cependant, son utilisation nécessite de dis-poser d’un corpus conséquent de données annotées, ce quireprésente un travail humain important et fastidieux.†. https ://www.ethnologue.com/language/fslEn LSF, l’expressivité faciale revêt une importance parti-culière dans les langues signées [HLR11] car elle est le vec-teur de nombreuses informations (e.g., prosodiques, clau-sales ou adjectivales) sans lesquelles la compréhension dela langue ne peut être que partielle.Nos corpus, que ce soit pour les mouvements corporelsou faciaux, sont constitués à partir de données MoCap quiprésentent l’avantage de fournir une grande précision tantspatiale que temporelle (fréquence d’acquisition > 200 fps)ainsi que l’exploitation d’une technologie unique et syn-chrone pour ces deux canaux.Le système proposé permet, à partir de mouvements cap-turés, (i) de synthétiser les paramètres nécessaires pourl’animation faciale, et (ii) de produire de manière semi-automatique les annotations correspondantes à partir de cesmêmes paramètres.En matière d’animation faciale, les traitements peuventvarier suivant la nature des données dont on dispose ini-tialement [RGL15]. Dans le cadre des méthodes employéesavec des données issues de la capture du mouvement baséemarqueurs, nous évoquerons deux principales familles deméthodes. Tout d’abord, nous retrouvons les méthodes ba-sées Laplacien comme le modèle thin-shell [BS08,BBA∗07,LZD13] où un sous-ensemble de sommets du maillage cibleest contraint et suit les mouvement des marqueurs qui leursont associés, alors que les autres sommets sont modifiésde façon à minimiser la déformation du maillage. Ce typede méthode est jusqu’à un certain point compatible avecdu temps-réel, cela dépend du nombre total de sommets dumaillage cible. Le second type principalement utilisé est ce-lui basé blendshapes [LAR∗14, SLS∗12, DCFN]. Il s’agitc© journées JFIG 2016C. Reverdy, S. Gibet et C. Larboulette / Article JFIG2016d’une représentation constituée d’une expression neutre dumaillage et d’un ensemble d’expressions de base (ditesbases) représentant chacune une expression faciale particu-lière exprimée différentiellement par rapport à l’expressionneutre. Une expression E quelconque est alors représentéecomme l’expression neutre Bneutre plus une combinaison li-néaire de chacune de ces bases : E = Bneutre+b∑i=0wiBi. Cettereprésentation par blendshapes est intéressante pour plu-sieurs raisons. Elle permet un stockage relativement compact(dans notre cas une cinquantaine de coefficients par frame).De plus il s’agit d’une représentation avec un haut niveaud’abstraction pouvant constituer un descripteur efficace pourun module de reconnaissance visant à annoter automatique-ment nos corpus. Enfin, le vecteur de coefficients représenteune couche d’abstraction entre les données brutes capturéeset le module d’annotation car il ne dépend pas de la morpho-logie de l’acteur mais uniquement du modèle (maillage +bases blendshape) ce qui facilitera la tâche lors de la consti-tution de corpus multi-acteurs.2. Méthodologie, modèles et expérimentationsNotre objectif est dual. D’une part nous souhaitons ob-tenir automatiquement les animations correspondantes à nosdonnées MoCap ; d’autre part nous voulons annoter ces don-nées aussi automatiquement que possible. La figure 1 sché-matise le système de synthèse / reconnaissance que nous pro-posons.DonnéesMocapCoefficientsBlendshapesSynthèseCoefficientsCoefficientsBlendshapesReconnaissanceAutomatiqueAnnotationsRetargetingMarqueurs(A) - Synthèse(B) - ReconnaissanceFigure 1: Schéma d’ensemble.Au niveau de la synthèse, nous partons des données brutesauxquelles nous appliquons une adaptation morphologiquevia une régression RBF. Les coefficients de blendshapes sontensuite optimisés afin de minimiser la distance entre ces po-sitions et celles des sommets correspondants du maillage.Le module destiné à l’annotation reprend ces coefficients enentrée et effectue ses prédictions sur la base d’un modèleHMM.2.1. CorpusLes données ont été capturées à une fréquence de 200frames par seconde via un dispositif de motion capture sur 2acteurs (un homme et une femme). Chaque acteur a réaliséune séquence par émotion (Expressions Isolées (IE)) où ilalterne successivement 5 à 6 fois l’expression neutre puisl’émotion en question ainsi qu’une série (1 par émotion)d’autres séquences (Séquences d’Expression (SE)) au coursdesquelles il alterne chaque émotion les unes après les autres(exemple : neutre joie surprise joie colère joie peur joie tris-tesse joie dégout joie). L’unique pré-traitement effectué surces données est l’annulation des déplacements (rotation +translation) liés aux mouvements corporels et de la tête.2.2. Système de synthèseAdaptation Dans un premier temps, une adaptation descoordonnées 3D est nécessaire afin de gérer les différencesmorphologiques entre le visage de l’acteur et celui de l’ava-tar. Pour résoudre ce problème, nous appliquons une mé-thode de régression RBF (voir [NN01, BBA∗07, SLS∗12]).Soit M la matrice de dimension ( f ,3×m) contenant les co-ordonnées 3D des m marqueurs au cours des f frames de laséquence. Soit B la matrice de dimension (b+1,3×v) repré-sentant le maillage de l’avatar et les différentes bases du mo-dèle blendshapes avec v le nombre de sommets, b le nombrede bases et où la première ligne B0 contient les positions descoordonnées 3D des sommets de l’expression neutre. SoitV l’ensemble des indices des m sommets correspondant auxmarqueurs. La régression RBF permet de calculer les co-ordonnées M̂ des marqueurs adaptées à la morphologie del’avatar cible pour chaque frame i et marqueur j :M̂i, j = ∑k∈Vuk(||Mi, j−B0,k||3)+q(Mi, j) (1)avec uk les coefficients associés aux fonctions radiales debase et q un polynôme trivarié q(x,y,z) = ax+by+ cz+d.Optimisation Les coefficients de blendshapes sont en-suite calculés par optimisation. Soit X un vecteur de co-efficients de blendshapes, soit pour une frame i donnée levecteur différentiel Dmi entre les positions MoCap adaptéeset l’expression neutre Dmi = M̂i−B0 et soit Dai le vecteurdes déformations synthétisées de l’avatar Dai = Xi ·Bl∈[1,b](on ne considère que les sommets correspondant aux mar-queurs). Le problème d’optimisation revient à déterminer lescoefficients de blendshapes à chaque frame i :X̂i = argminX(||Dmi−Dai||) (2)La solution à ce problème n’est pas unique car différentescombinaisons de coefficients peuvent minimiser la distanceentre les positions des marqueurs et leur sommet correspon-dant. Ainsi, en minimisant la distance donnée par l’équation2, on peut tomber sur des solutions qui incluent des jeux decoefficients largement inférieurs à 1 ou supérieurs à 0. Or lesexpressions de base sont en général créées en considérantque les coefficients qui leur sont associées seront comprisentre ces bornes, et l’utilisation de coefficients qui en sortentpeut conduire à la génération d’artefacts.Pour éviter cela nous définissons deux énergies de régula-risation. La première Ebounds définit l’espace dans lequel lescoefficients sont autorisés à évoluer, la seconde, EthinShell pé-nalise une déformation trop importante du maillage. L’équa-tion 2 devient :X̂i = argminX(||Dmi−Dvai||+αboundsEbounds +αthinShellEthinShell) (3)Soient lin f et lsup les bornes respectivement inférieures etc© JFIG 2016.C. Reverdy, S. Gibet et C. Larboulette / Article JFIG2016supérieures, Ebounds est décrite par l’équation ci-dessous :Ebounds =b+1∑j=1(exp(lin f −X j−1s))+b+1∑j=1(exp(X j−1− lsups))(4)EthinShell découle quant à elle de l’équation du modèlethin shell (cf. [BS08]) :(−ksLV + kbL2V )︸ ︷︷ ︸AD = 0 (5)Pour intégrer cette énergie au système de synthèse baséblendshapes, on définit la matrice AB = A ·BTi∈[1,b+1[, et ABule sous ensemble des lignes i /∈ V (non contraints). En ex-ploitant les équations 3 et 5 on obtient :X̂i = argminX(||Dmi−Dai||+αthinShell ||ABu ·XT ||+αboundsEbounds) (6)La minimisation est effectuée au sens des moindres carrésen utilisant un algorithme classique.Les deux énergies de régularisation employées influentdifféremment sur l’animation produite. Ebounds définit sim-plement l’espace dans lequel le vecteur des coefficients estlibre d’évoluer. Si l’on se limite à appliquer cette contrainte,les distances entre marqueurs et sommets correspondants se-ront réduites, peu importe la façon dont le maillage est dé-formé pourvu que les coefficients de blendshapes restentdans cet espace. Il en résulte des expressions très expres-sives mais parfois irréalistes. En revanche, la contrainte défi-nie par EthinShell impose que ces distances soient minimiséestout en réduisant le plus possible la déformation du maillage.La plupart du temps l’expression obtenue parait plus na-turelle mais légèrement moins expressive et surtout on re-trouve beaucoup de coefficients inférieurs à 0 ou supérieursà 1 ce qui n’est pas souhaitable. Dans certains cas il seraitpréférable d’utiliser l’une ou l’autre de ces deux énergies.Combiner les deux offre néanmoins un compromis avanta-geux, qui se traduit par la limitation des coefficients à leurespace autorisé, l’augmentation de l’expressivité et la plau-sibilité de l’expression générée (voir fig. 2).2.3. Annotation basée HMMLa méthode proposée ici est un premier essai réaliséen vue de délivrer rapidement une preuve de concept.Le système est basé sur des modèles de Markov cachés(HMM) construits à partir de Gaussian Mixture Models(GMM) pour modéliser les fonctions de densité de proba-bilité (voir [Rab89] pour plus d’informations sur les HMM).Entraîner un HMM consiste à déterminer 3 jeux de para-mètres optimaux : le vecteur Π des probabilités de se trou-ver dans chacun des états lors de la première observation, lamatrice A des probabilités de transition de chaque état verschaque état à chaque observation et les paramètres B relatifsà la fonction d’émission de chaque état.Dans un premier temps, nous posons le problème trivialde segmentation suivant : pour chaque séquence d’expres-sion isolée EI (voir sec. 2.1), nous souhaitons effectuer une(A)(B)Figure 2: De gauche à droite : résultat avec unique-ment Ebounds ; mélange de Ebounds et EthinShell ; uniquementEthinShell . (A) Colère, (B) Joie .clusterisation qui isole 3 classes : la classe neutre _[expr]_,la classe transitoire trans et la classe pic expressif [expr]. Ilse trouve qu’entraîner un HMM par séquence avec 3 étatscachés (nbStates = 3) et 20 composantes (nbComp = 20)pour les GMM permet d’effectuer efficacement cette tâche(fig. 4).Nous entraînons ensuite un HMM par expression(HMM[expr]) en prenant pour données d’entraînement cha-cune des sous-séquences précédemment isolées correspon-dant aux pics expressifs. Nous effectuons le même traite-ment (HMM_[expr]_) pour les classes neutres. Les para-mètres de ces modèles (nbStates = 5 et nbComp = 20) ontété choisis arbitrairement.À partir de ces modèles, nous avons déterminé les pa-ramètres d’un HMM plus général. Soit nbClass le nombrede classes totales (pics expressifs + neutres), class(i)la classe à laquelle appartient l’état caché i, Πconcat =[Π joy,Π f ear, · · · ,Π_anger_,Π_surprise_] et probOut = 0.01 laprobabilité (choisie arbitrairement) de passer d’une classeémotionnelle à une autre à chaque observation, les para-mètres de ce modèle sont les suivants :Π =1nbClass×Πconcat (7)Ai, j ={1nbClass−1 × probOut×Πconcat , if class(i) 6= class( j)(1− probOut)×Aclass(i)i, j , else(8)Bi = Bclass(i)i (9)L’annotation est ensuite effectuée frame par frame en déter-minant via ce modèle la séquence d’états la plus probable.La fig. 3 montre un exemple d’annotations obtenuessur une séquence d’expressions effectuées successivement.c© JFIG 2016.C. Reverdy, S. Gibet et C. Larboulette / Article JFIG2016Figure 3: Annotation automatique en couleur (bleu : colère, rose : joie, blanc : surprise, cyan : peur, jaune : tristesse, vert :dégout, autres couleurs : expressions neutres). Textuellement en noir : l’annotation mannuelle. Une ligne correspond à 6secondes d’enregistrement..Figure 4: Segmentation automatique d’expressions isoléesvia un HMM à 3 états. On distingue ici en bleu l’expres-sion neutre, en cyan un état intermédiaire et en vert les picsexpressifs. Chaque ligne correspond à 6 secondes d’enregis-trement, l’expression enregistrée est le dégoût répété 6 fois(textuellement en noir : l’annotation manuelle).On peut voir que la méthode n’est pas encore au point,notamment certaines classes (en particulier surprise/peur,joie/colère) sont fréquemment confondues alors même quela tâche reste relativement simple (le nombre de classes esttrès limité). Toutefois cette première expérience reste suffi-samment significative pour valider notre démarche. À l’ave-nir nous envisageons de tester d’autres méthodes baséesCRF ou RNN.3. Conclusion et perspectivesLes deux principaux apports des travaux présentés ici sonti) une démarche globale visant à faciliter la constitution decorpus faciaux annotés, ii) une méthode de synthèse qui tirepartie de l’approche thin shell en tant qu’énergie de régula-risation pour améliorer les résultats, tout en restant dans unsystème de synthèse de type blendshapes.Concernant la partie synthèse, les résultats obtenus sontsatisfaisants. Ils mériteraient cependant d’être validés parcomparaison entre plusieurs méthodes, voire en effectuantdes études perceptuelles. En ce qui concerne l’annotationautomatique, nous en sommes encore à une phase explora-toire. La démarche employée nous parait encourageante etdifférentes pistes sont envisagées afin d’obtenir un systèmeentièrement fonctionnel. À l’avenir nous envisageons égale-ment de tester d’autres méthodes basées CRF ou RNN oudes méthodes à noyaux. Enfin les méthodes développées de-vront être testées sur des jeux de données faciales expres-sives plus conséquents.Références[ACD∗09] AWAD C., COURTY N., DUARTE K.,LE NAOUR T., GIBET S. : A Combined Semantic andMotion Capture Database for Real-Time Sign LanguageSynthesis.[BBA∗07] BICKEL B., BOTSCH M., ANGST R., MATU-SIK W., OTADUY M., PFISTER H., GROSS M. : Multi-scale capture of facial geometry and motion. ACM Trans.Graph. (2007).[BS08] BOTSCH M., SORKINE O. : On linear variationalsurface deformation methods. In IEEE Transactions onVisualization and Computer Graphics (2008).[DCFN] DENG Z., CHIANG P.-Y., FOX P., NEUMANNU. : Animating blendshape faces by cross-mapping mo-tion capture data. In Proceedings of the 2006 Symposiumon Interactive 3D Graphics and Games.[GCDLN11] GIBET S., COURTY N., DUARTE K.,LE NAOUR T. : The SignCom System for Data-DrivenAnimation of Interactive Virtual Signers : Methodologyand Evaluation. ACM Transaction on Interactive Intelli-gent Systems (2011).[HLR11] HUENERFAUTH M., LU P., ROSENBERG A. :Evaluating importance of facial expression in americansign language and pidgin signed english animations.[LAGT∗13] LEFEBVRE-ALBARET F., GIBET S., TURKIA., HAMON L., BRUN R. : Overview of the Sign3DProject High-fidelity 3D recording, indexing and editingof French Sign Language content. In Third Internatio-nal Symposium on Sign Language Translation and AvatarTechnology (SLTAT) (2013).[LAR∗14] LEWIS J. P., ANJYO K., RHEE T., ZHANGM., PIGHIN F., DENG Z. : Practice and Theory of Blend-shape Facial Models.[LZD13] LE B., ZHU M., DENG Z. : Marker optimiza-tion for facial motion acquisition and deformation. Visua-lization and Computer Graphics, IEEE Transactions on(2013).[NN01] NOH J.-Y., NEUMANN U. : Expression cloning.[Rab89] RABINER L. R. : A tutorial on hidden markovmodels and selected applications in speech recognition.[RGL15] REVERDY C., GIBET S., LARBOULETTE C. :Animation faciale basée données : un état de l’art. In28èmes journées de l’Association Française en Informa-tique Graphique (2015), Actes des 28èmesjournées de l’AFIG.[SLS∗12] SEOL Y., LEWIS J., SEO J., CHOI B., ANJYOK., NOH J. : Spacetime expression cloning for blend-shapes. ACM Trans. Graph. (2012).c© JFIG 2016.

Un système de synthèse et d'annotation automatique à partir de données capturées pour l'animation faciale expressive en LSF

https://hal.archives-ouvertes.fr/hal-01490780/document

Un système de synthèse et d'annotation automatique à partir de données capturées pour l'animation faciale expressive en LSF

Abstract

Similar works

Full text

Available Versions

INRIA a CCSD electronic archive server