Learning Long-Term Style-Preserving Blind Video Temporal Consistency

When trying to independently apply image-trained algorithms to successive frames in videos, noxious flickering tends to appear. State-of-the-art post-processing techniques that aim at fostering temporal consistency, generate other temporal artifacts and visually alter the style of videos. We propose a postprocessing model, agnostic to the transformation applied to videos (e.g. style transfer, image manipulation using GANs, etc.), in the form of a recurrent neural network. Our model is trained using a Ping Pong procedure and its corresponding loss, recently introduced for GAN video generation, as well as a novel style preserving perceptual loss. The former improves long-term temporal consistency learning, while the latter fosters style preservation. We evaluate our model on the DAVIS and videvo.net datasets and show that our approach offers state-of-the-art results concerning flicker removal, and better keeps the overall style of the videos than previous approaches

CA-GAN: Weakly Supervised Color Aware GAN for Controllable Makeup Transfer

While existing makeup style transfer models perform an image synthesis whose results cannot be explicitly controlled, the ability to modify makeup color continuously is a desirable property for virtual try-on applications. We propose a new formulation for the makeup style transfer task, with the objective to learn a color controllable makeup style synthesis. We introduce CA-GAN, a generative model that learns to modify the color of specific objects (e.g. lips or eyes) in the image to an arbitrary target color while preserving background. Since color labels are rare and costly to acquire, our method leverages weakly supervised learning for conditional GANs. This enables to learn a controllable synthesis of complex objects, and only requires a weak proxy of the image attribute that we desire to modify. Finally, we present for the first time a quantitative analysis of makeup style transfer and color control performance

Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model

With the recent surge in popularity of AR/VR applications, realistic and accurate control of 3D full-body avatars has become a highly demanded feature. A particular challenge is that only a sparse tracking signal is available from standalone HMDs (Head Mounted Devices), often limited to tracking the user's head and wrists. While this signal is resourceful for reconstructing the upper body motion, the lower body is not tracked and must be synthesized from the limited information provided by the upper body joints. In this paper, we present AGRoL, a novel conditional diffusion model specifically designed to track full bodies given sparse upper-body tracking signals. Our model is based on a simple multi-layer perceptron (MLP) architecture and a novel conditioning scheme for motion data. It can predict accurate and smooth full-body motion, particularly the challenging lower body movement. Unlike common diffusion architectures, our compact architecture can run in real-time, making it suitable for online body-tracking applications. We train and evaluate our model on AMASS motion capture dataset, and demonstrate that our approach outperforms state-of-the-art methods in generated motion accuracy and smoothness. We further justify our design choices through extensive experiments and ablation studies.Comment: CVPR 2023, project page: https://dulucas.github.io/agrol

Rendu neuronal pour l'amélioration de l'essayage virtuel des cosmétiques

Les applications dans le domaine de la réalité augmentée se sont rapidement répandues au travers des sites de e-commerce et des réseaux sociaux, permettant désormais aux consommateurs d'essayer virtuellement une large variété de produits cosmétiques. Néanmoins, alors l'essayage virtuel est apprécié par les consommateurs, il offre un réalisme limité en comparaison d'une image de véritable produit cosmétique. Par ailleurs, les domaines émergent des réseaux génératifs et du rendu neuronal offrent aujourd’hui de nouvelles perspectives que nous étudions cette thèse, pour une synthèse d'images plus réalistes et de nouvelles expériences d’essayage virtuel. Tout d’abord, nous introduisons une nouvelle méthode de synthèse de maquillage, basée sur des réseaux génératifs, dans laquelle la couleur des cosmétiques peut être explicitement contrôlée, de façon similaire à un moteur de rendu physique. Notre modèle permet de synthétiser des images réalistes de maquillage des yeux et des lèvres en haute résolution. De plus, nous introduisons une méthode d’apprentissage faiblement supervisée pour les réseaux génératifs contrôlables, nous permettant de nous affranchir du besoin de données labellisées. Cependant, les méthodes génératives souffrent de certaines limitations pour une utilisation dans des applications en temps réel. C’est pourquoi nous proposons une approche de rendu neuronal pour l’essayage virtuel des cosmétiques en temps réel sur les appareils mobiles. Notre approche est basée sur un nouveau réseau d’inversion graphique qui apprend à projeter une image d’exemple dans l’espace des paramètres d’un moteur de rendu d’informatique graphique. Ce modèle est entraîné grâce à une approche auto-supervisée qui ne nécessite pas d’images d'entraînement labellisées. Cette méthode rend possible de nouvelles applications dans lesquelles les consommateurs peuvent essayer virtuellement un nouveau produit cosmétique à partir d’une image de maquillage de leur choix, telle qu’une photographie issue des réseaux sociaux. Enfin, nous introduisons une nouvelle méthode permettant d’accélérer la digitalisation de nouveaux produits cosmétiques pour les applications d'essayage virtuel. En prenant exemple sur le domaine de la capture des matériaux, nous proposons une nouvelle méthode combinant application contrôlée et système d’imagerie pour les produits cosmétiques. De plus, nous illustrons une utilisation possible de ce nouveau type de données pour l’estimation de l'apparence des cosmétiques sur le visage grâce à une méthode ce rendu neuronal. Au total, les nouvelles méthodes introduites dans cette thèse permettent l’amélioration des technologies d’essayage virtuel des cosmétiques, à la fois de manière directe, en introduisant des méthodes rendu plus réaliste, et indirecte, en proposant de nouvelles expériences pour les consommateurs et en améliorant la créations de l’essayage virtuel pour de nouveaux produits cosmétiques.Augmented reality applications have rapidly spread across online retail platforms and social media, allowing consumers to virtually try on a large variety of cosmetics products. However, even though appreciated by consumers, such applications currently offer limited realism compared to real product images. On the other hand, the rapidly emerging field of generative models and neural rendering offers new perspectives that we will study in this work for realistic image synthesis and novel virtual try-on experiences. First, we introduce a novel makeup synthesis method based on generative networks in which the makeup color can be explicitly controlled, similar to a physically-based renderer. Our model obtains photorealistic results on lips and eyes makeup in high resolution. Furthermore, we relax the need for labeled data by introducing a weakly-supervised learning approach for generative-based controllable synthesis.However, GANs methods suffer from limitations for real-time applications. Thus, we propose a neural rendering approach for virtual try-on of cosmetics in real-time on mobile devices. Our approach is based on a novel inverse graphics encoder network that learns to map a single example image into the space of parameters of a computer graphics rendering engine. This model is trained using a self-supervised approach which does not require labeled training data. This method enables new applications where consumers can virtually try-on a novel, unknown cosmetic product from an inspirational reference image on social media. Finally, we propose a novel method for accelerating the digitization of new cosmetics products in virtual try-on applications. Inspired by the field of material capture, we introduced a controlled application and imaging system for cosmetics products. Furthermore, we illustrate how this novel type of cosmetics image can be used to estimate the final appearance of cosmetics on the face using a neural rendering approach. Overall, the novel methods introduced in this thesis improve cosmetics virtual try-on technologies both directly, by introducing more realistic rendering method, and indirectly, allowing novel experiences for consumers, and accelerating the creation of virtual try-on for new cosmetics products

Rendu neuronal pour l'amélioration de l'essayage virtuel des cosmétiques

Augmented reality applications have rapidly spread across online retail platforms and social media, allowing consumers to virtually try on a large variety of cosmetics products. However, even though appreciated by consumers, such applications currently offer limited realism compared to real product images. On the other hand, the rapidly emerging field of generative models and neural rendering offers new perspectives that we will study in this work for realistic image synthesis and novel virtual try-on experiences. First, we introduce a novel makeup synthesis method based on generative networks in which the makeup color can be explicitly controlled, similar to a physically-based renderer. Our model obtains photorealistic results on lips and eyes makeup in high resolution. Furthermore, we relax the need for labeled data by introducing a weakly-supervised learning approach for generative-based controllable synthesis.However, GANs methods suffer from limitations for real-time applications. Thus, we propose a neural rendering approach for virtual try-on of cosmetics in real-time on mobile devices. Our approach is based on a novel inverse graphics encoder network that learns to map a single example image into the space of parameters of a computer graphics rendering engine. This model is trained using a self-supervised approach which does not require labeled training data. This method enables new applications where consumers can virtually try-on a novel, unknown cosmetic product from an inspirational reference image on social media. Finally, we propose a novel method for accelerating the digitization of new cosmetics products in virtual try-on applications. Inspired by the field of material capture, we introduced a controlled application and imaging system for cosmetics products. Furthermore, we illustrate how this novel type of cosmetics image can be used to estimate the final appearance of cosmetics on the face using a neural rendering approach. Overall, the novel methods introduced in this thesis improve cosmetics virtual try-on technologies both directly, by introducing more realistic rendering method, and indirectly, allowing novel experiences for consumers, and accelerating the creation of virtual try-on for new cosmetics products.Les applications dans le domaine de la réalité augmentée se sont rapidement répandues au travers des sites de e-commerce et des réseaux sociaux, permettant désormais aux consommateurs d'essayer virtuellement une large variété de produits cosmétiques. Néanmoins, alors l'essayage virtuel est apprécié par les consommateurs, il offre un réalisme limité en comparaison d'une image de véritable produit cosmétique. Par ailleurs, les domaines émergent des réseaux génératifs et du rendu neuronal offrent aujourd’hui de nouvelles perspectives que nous étudions cette thèse, pour une synthèse d'images plus réalistes et de nouvelles expériences d’essayage virtuel. Tout d’abord, nous introduisons une nouvelle méthode de synthèse de maquillage, basée sur des réseaux génératifs, dans laquelle la couleur des cosmétiques peut être explicitement contrôlée, de façon similaire à un moteur de rendu physique. Notre modèle permet de synthétiser des images réalistes de maquillage des yeux et des lèvres en haute résolution. De plus, nous introduisons une méthode d’apprentissage faiblement supervisée pour les réseaux génératifs contrôlables, nous permettant de nous affranchir du besoin de données labellisées. Cependant, les méthodes génératives souffrent de certaines limitations pour une utilisation dans des applications en temps réel. C’est pourquoi nous proposons une approche de rendu neuronal pour l’essayage virtuel des cosmétiques en temps réel sur les appareils mobiles. Notre approche est basée sur un nouveau réseau d’inversion graphique qui apprend à projeter une image d’exemple dans l’espace des paramètres d’un moteur de rendu d’informatique graphique. Ce modèle est entraîné grâce à une approche auto-supervisée qui ne nécessite pas d’images d'entraînement labellisées. Cette méthode rend possible de nouvelles applications dans lesquelles les consommateurs peuvent essayer virtuellement un nouveau produit cosmétique à partir d’une image de maquillage de leur choix, telle qu’une photographie issue des réseaux sociaux. Enfin, nous introduisons une nouvelle méthode permettant d’accélérer la digitalisation de nouveaux produits cosmétiques pour les applications d'essayage virtuel. En prenant exemple sur le domaine de la capture des matériaux, nous proposons une nouvelle méthode combinant application contrôlée et système d’imagerie pour les produits cosmétiques. De plus, nous illustrons une utilisation possible de ce nouveau type de données pour l’estimation de l'apparence des cosmétiques sur le visage grâce à une méthode ce rendu neuronal. Au total, les nouvelles méthodes introduites dans cette thèse permettent l’amélioration des technologies d’essayage virtuel des cosmétiques, à la fois de manière directe, en introduisant des méthodes rendu plus réaliste, et indirecte, en proposant de nouvelles expériences pour les consommateurs et en améliorant la créations de l’essayage virtuel pour de nouveaux produits cosmétiques

Real-time Virtual-Try-On from a Single Example Image through Deep Inverse Graphics and Learned Differentiable Renderers

Augmented reality applications have rapidly spread across online platforms, allowing consumers to virtually try-on a variety of products, such as makeup, hair dying, or shoes. However, parametrizing a renderer to synthesize realistic images of a given product remains a challenging task that requires expert knowledge. While recent work has introduced neural rendering methods for virtual try-on from example images, current approaches are based on large generative models that cannot be used in real-time on mobile devices. This calls for a hybrid method that combines the advantages of computer graphics and neural rendering approaches. In this paper we propose a novel framework based on deep learning to build a real-time inverse graphics encoder that learns to map a single example image into the parameter space of a given augmented reality rendering engine. Our method leverages self-supervised learning and does not require labeled training data which makes it extendable to many virtual try-on applications. Furthermore, most augmented reality renderers are not differentiable in practice due to algorithmic choices or implementation constraints to reach real-time on portable devices. To relax the need for a graphics-based differentiable renderer in inverse graphics problems, we introduce a trainable imitator module. Our imitator is a generative network that learns to accurately reproduce the behavior of a given non-differentiable renderer. We propose a novel rendering sensitivity loss to train the imitator, which ensures that the network learns an accurate and continuous representation for each rendering parameter. Our framework enables novel applications where consumers can virtually try-on a novel unknown product from an inspirational reference image on social media. It can also be used by graphics artists to automatically create realistic rendering from a reference product image