4D Facial Expression Diffusion Model

Facial expression generation is one of the most challenging and long-sought aspects of character animation, with many interesting applications. The challenging task, traditionally having relied heavily on digital craftspersons, remains yet to be explored. In this paper, we introduce a generative framework for generating 3D facial expression sequences (i.e. 4D faces) that can be conditioned on different inputs to animate an arbitrary 3D face mesh. It is composed of two tasks: (1) Learning the generative model that is trained over a set of 3D landmark sequences, and (2) Generating 3D mesh sequences of an input facial mesh driven by the generated landmark sequences. The generative model is based on a Denoising Diffusion Probabilistic Model (DDPM), which has achieved remarkable success in generative tasks of other domains. While it can be trained unconditionally, its reverse process can still be conditioned by various condition signals. This allows us to efficiently develop several downstream tasks involving various conditional generation, by using expression labels, text, partial sequences, or simply a facial geometry. To obtain the full mesh deformation, we then develop a landmark-guided encoder-decoder to apply the geometrical deformation embedded in landmarks on a given facial mesh. Experiments show that our model has learned to generate realistic, quality expressions solely from the dataset of relatively small size, improving over the state-of-the-art methods. Videos and qualitative comparisons with other methods can be found at https://github.com/ZOUKaifeng/4DFM. Code and models will be made available upon acceptance

Modélisation, analyse et fusion markovienne cachée de multiples séquences d'evénements : Application en cartographie IRM fonctionnelle cérébrale

Cet article présente une nouvelle approche de modélisation et d'analyse statistique de processus aléatoires événementiels structurés multiséquences : le modèle markovien caché de multiples séquences d'événements (MMCMSE). Ce modèle répond à différents aspects caractéristiques de ces processus, notamment (i) l'aspect dual caché-observable des séquences d'événements à analyser, (ii) la multiplicité importante des séquences d'événements observées, (iii) le caractère non stationnaire, localisé temporellement de ces événements, (iv) la redondance, la complémentarité et les asynchronismes importants pouvant exister entre événements sur les différents canaux d'observation. Les résultats d'application du MMCMSE en cartographie IRM fonctionnelle du cerveau soulignent clairement les capacités de ce modèle à analyser et à fusionner de multiples séquences corrélées d'événements (neuronaux et hémodynamiques) dans l'espace et dans le temps

Analysis and markov fusion of sequences in imagery 3D+t.,application to the analysis of functional MRI sequences

Largement utilisé en traitement du signal et des images, le modèle markovien caché standard est essentiellement adapté à la modélisation de processus aléatoires de nature segmentale. Il se prête peu à la représentation de processus événementiels, fréquents dans le domaine biologique et médical. Nous proposons dans cette thèse, deux approches de modélisation markovienne d'un processus de nature événementielle, voire de plusieurs processus événementiels en interaction. Dans chacune des deux approches, une première étape détecte et caractérise les événements d'intérêt composant le ou les processus événementiels à analyser. La seconde étape analyse, sur la base d'un modèle markovien caché adapté, les événements détectés. Les deux approches se distinguent par le nombre de séquences d'événements, ou canaux d'observation, sous analyse. La première approche (modèle semi-markovien caché de séquence d'événements -MSMCSE) considère une séquence d'événements alors que la seconde (modèle markovien caché de multiples séquences d'événements - MMCMSE) gère de multiples canaux d'observation, dans un cadre de fusion-association d'événements asynchrones entre canaux.En application de ces approches de modélisation, nous avons développé deux méthodes originales et non supervisées de cartographie des zones d'activation en IRM fonctionnelle (IRMf) cérébrale. Toutes deux sont fondées sur le même principe, novateur,d'alignement temporel entre séquences d'événements.En exploitant de plus l'information spatiale de voisinage dans un cadre de détection--fusion multicanaux d'événements, la méthode de cartographie par MMCMSE s'avère très robuste au bruit et à la variabilité du signal IRMf actif. Ses performances de détection surpassent celles obtenues par la méthode à base de MSMCSE d'une part, mais également celles obtenues par la méthode de cartographie cérébrale faisant référence dans le domaine, SPM (Statistical Parameter Mapping).Hidden Markov Models (HMMs) which are widely used to process signals or images, are well-suited to the analysis of random processes that are segmental in nature. However, many processes, met in particular in the biomedical field, are event-based processes making the HMMs ill-suited. We present in this PHD two markovian approaches dedicated to the modeling and analysis of an event-based process or of multiple interacting event-based processes.Both approaches proceed in two steps.First, a preprocessing step detects and characterizes events of interest in the raw input data. Then, detected events are analyzed based on an adapted hidden Markov model. The two modeling approaches can be distinguished by the number of event sequences they can handle. The first approach, which is based on a hidden semi-Markov event sequence model(HSMESM), considers a single event sequence whereas the second approach,which is based on a hidden Markov multiple event sequence model (HMMESM),handles multiple observation channels at once, within a rich mathematical framework of fusion--association of asynchronous events across channels.From these models, two unsupervised functional MRI (fMRI) brain mapping methods have been developed. Both methods rely on the same, novel principle of temporal alignment between event sequences. By accounting for spatial information within a statistical framework of multiple event sequence detection- multiple event sequence fusion, the HMMESM-based mapping method shows high robustness to noise and variability of the active fMRI signal across space, time, experiments, and subjects.Besides, the HMMESM method clearly outperforms the HSMESM method as well as the widely used Statistical Parametric Mapping (SPM) approach

Analysis and markov fusion of sequences in imagery 3D+t.,application to the analysis of functional MRI sequences

Largement utilisé en traitement du signal et des images, le modèle markovien caché standard est essentiellement adapté à la modélisation de processus aléatoires de nature segmentale. Il se prête peu à la représentation de processus événementiels, fréquentHidden Markov Models (HMMs) which are widely used to process signals or images, are well-suited to the analysis of random processes that are segmental in nature. However, many processes, met in particular in the biomedical field, are event-based processe

Analyse et fusion markovienne de séquences en imagerie 3D+t. Application à l'analyse de séquences d'images IRM fonctionnelles cérébrales

Pas de résumé

Topology-preservation in 3-D image deformation and registration: Methodology and medical applications

International audienceTo obtain correct topological properties when analysing a 3-D image, a solution consists in using an a priori model presenting satisfying properties w.r.t. the object to analyse, and to "fit" the model on this object. We propose a methodological framework which tackles this problem by fusing two classical approaches: image deformation, and image registration, which consider discrete and continuous topology preservation, respectively. The methodology, applied on medical data, provides quite satisfactory results

Modèles semi-markoviens cachés de séquences d'evénements : Application en cartographie IRM fonctionnelle cérébrale

L'hypothèse de stationarité par morceaux du processus observable d'une chaîne de Markov cachée rend les modèles de Markov cachés(MMCs) inadaptés à l'analyse de processus aléatoires de nature événementielle. Pour de tels processus, une nouvelle classe de MMCs est proposée: les modèles semi-Markoviens cachés de séquences d'événements. Le processus observable n'est plus de nature segmentale mais issu d'une étape de détection et de caractérisation. Le formalisme markovien standard est adapté en conséquence. Les résultats obtenus en cartographie de séquence d'images IRM fonctionnelle valident cette nouvelle approche de modélisation statistique tout en ouvrant de nouvelles perspectives dans la reconnaissance et la détection de processus aléatoires de nature événementielle

JOINT DISENTANGLEMENT OF LABELS AND THEIR FEATURES WITH VAE

International audienceMost of previous semi-supervised methods that seek to obtain disentangled representations using variational autoencoders divide the latent representation into two components: the non-interpretable part and the disentangled part that explicitly models the factors of interest. With such models, features associated with high-level factors are not explicitly modeled, and they can either be lost, or at best entangled in the other latent variables, thus leading to bad disentanglement properties. To address this problem, we propose a novel conditional dependency structure where both the labels and their features belong to the latent space. We show using the CelebA dataset that the proposed model can learn meaningful representations, and we provide quantitative and qualitative comparisons with other approaches that show the effectiveness of the proposed method

Estimation jointe des profils d’absorption des parois d’une salle à partir de réponses impulsionnelles

L’estimation jointe et in situ des profils d’absorption des parois d’une salle reste à ce jour un problème inverse ouvert dans le domaine de l’acoustique du bâtiment. L’objectif des travaux menés est de proposer une méthode permettant de réaliser cette estimation à partir des spectrogrammes d’amplitude de réponses impulsionnelles et de connaissances géométriques, c’est-à-dire, les positions des sources, des récepteurs et des dimensions de la salle. L’approche proposée repose sur la sélection d’un sous-ensemble des fenêtres temporelles des spectrogrammes d’amplitude grâce à l’algorithme robuste RANSAC. Les probabilités associées aux différentes fenêtres temporelles sont définies à partir des temps d’arrivée des réflexions spéculaires, calculés avec la méthode des sources images. Ceci permet à la fois de limiter l’influence d’interférences entre les réflexions et celle d’erreurs possibles sur les données géométriques. Une fonction de coût tenant compte des contraintes multiplicatives sur les coefficients des sources-images d’ordre 2 est ensuite optimisée sur le sous-ensemble de fenêtres sélectionné afin de fournir une estimation jointe des profils d’absorption. Une étude simulée est menée afin de comparer les performances de cette approche analytique à celles d’une approche basée sur l’apprentissage automatique virtuellement supervisé d'un réseau de neurones. La robustesse des méthodes aux erreurs géométriques, à la présence de diffusion acoustique et au bruit ambiant est évaluée. Les avantages et inconvénients des deux approches sont identifiés expérimentalement et discutés en profondeur

Analyse et fusion markovienne de séquences en imagerie 3D+t (Application à l'analyse de séquences d'images IRM fonctionnelles cérébrales)

Largement utilisé en traitement du signal et des images, le modèle markovien caché standard est essentiellement adapté à la modélisation de processus aléatoires de nature segmentale. Il se prête peu à la représentation de processus événementiels, fréquents dans le domaine biologique et médical. Nous proposons dans cette thèse, deux approches de modélisation markovienne d'un processus de nature événementielle, voire de plusieurs processus événementiels en interaction. Dans chacune des deux approches, une première étape détecte et caractérise les événements d'intérêt composant le ou les processus événementiels à analyser. La seconde étape analyse, sur la base d'un modèle markovien caché adapté, les événements détectés. Les deux approches se distinguent par le nombre de séquences d'événements, ou canaux d'observation, sous analyse. La première approche (modèle semi-markovien caché de séquence d'événements -MSMCSE) considère une séquence d'événements alors que la seconde (modèle markovien caché de multiples séquences d'événements - MMCMSE) gère de multiples canaux d'observation, dans un cadre de fusion-association d'événements asynchrones entre canaux.En application de ces approches de modélisation, nous avons développé deux méthodes originales et non supervisées de cartographie des zones d'activation en IRM fonctionnelle (IRMf) cérébrale. Toutes deux sont fondées sur le même principe, novateur,d'alignement temporel entre séquences d'événements.En exploitant de plus l'information spatiale de voisinage dans un cadre de détection-fusion multicanaux d'événements, la méthode de cartographie par MMCMSE s'avère très robuste au bruit et à la variabilité du signal IRMf actif. Ses performances de détection surpassent celles obtenues par la méthode à base de MSMCSE d'une part, mais également celles obtenues par la méthode de cartographie cérébrale faisant référence dans le domaine, SPM (Statistical Parameter Mapping).Hidden Markov Models (HMMs) which are widely used to process signals or images, are well-suited to the analysis of random processes that are segmental in nature. However, many processes, met in particular in the biomedical field, are event-based processes making the HMMs ill-suited. We present in this PHD two markovian approaches dedicated to the modeling and analysis of an event-based process or of multiple interacting event-based processes.Both approaches proceed in two steps.First, a preprocessing step detects and characterizes events of interest in the raw input data. Then, detected events are analyzed based on an adapted hidden Markov model. The two modeling approaches can be distinguished by the number of event sequences they can handle. The first approach, which is based on a hidden semi-Markov event sequence model(HSMESM), considers a single event sequence whereas the second approach,which is based on a hidden Markov multiple event sequence model (HMMESM),handles multiple observation channels at once, within a rich mathematical framework of fusion-association of asynchronous events across channels.From these models, two unsupervised functional MRI (fMRI) brain mapping methods have been developed. Both methods rely on the same, novel principle of temporal alignment between event sequences. By accounting for spatial information within a statistical framework of multiple event sequence detection- multiple event sequence fusion, the HMMESM-based mapping method shows high robustness to noise and variability of the active fMRI signal across space, time, experiments, and subjects.Besides, the HMMESM method clearly outperforms the HSMESM method as well as the widely used Statistical Parametric Mapping (SPM) approach.STRASBOURG-Sc. et Techniques (674822102) / SudocSudocFranceF