Dual-Side Feature Fusion 3D Pose Transfer

3D pose transfer solves the problem of additional input and correspondence of traditional deformation transfer, only the source and target meshes need to be input, and the pose of the source mesh can be transferred to the target mesh. Some lightweight methods proposed in recent years consume less memory but cause spikes and distortions for some unseen poses, while others are costly in training due to the inclusion of large matrix multiplication and adversarial networks. In addition, the meshes with different numbers of vertices also increase the difficulty of pose transfer. In this work, we propose a Dual-Side Feature Fusion Pose Transfer Network to improve the pose transfer accuracy of the lightweight method. Our method takes the pose features as one of the side inputs to the decoding network and fuses them into the target mesh layer by layer at multiple scales. Our proposed Feature Fusion Adaptive Instance Normalization has the characteristic of having two side input channels that fuse pose features and identity features as denormalization parameters, thus enhancing the pose transfer capability of the network. Extensive experimental results show that our proposed method has stronger pose transfer capability than state-of-the-art methods while maintaining a lightweight network structure, and can converge faster

Diverse Image Generation with Very Low Resolution Conditioning

Traditionnellement, lorsqu’il s’agit de générer des images à haute résolution (HR) à partir d’images à basse résolution (LR), les méthodes proposées jusqu’à maintenant se sont principalement concentrées sur les techniques de super-résolution qui visent à récupérer l’image la plus probable à partir d’une image de basse qualité. En procédant de cette manière, on ignore le fait qu’il existe généralement de nombreuses versions valides d’images HR qui correspondent à une image LR donnée. L’objectif de ce travail est d’obtenir différentes versions d’images HR à partir d’une même image LR en utilisant un modèle adversarial génératif. On aborde ce problème sous deux angles différents. D’abord, on utilise des méthodes de super résolution, où en plus de l’image LR, le générateur peut être paramétré par une variable latente afin de produire différentes variations potentielles de l’image. Un tel conditionnement permet de moduler le générateur entre la récupération de l’image la plus proche de la vérité terrain et de variété d’images possibles. Les résultats démontrent notre supériorité en termes de reconstruction et de variété d’images hallucinées plausible par rapport à d’autres méthodes de l’état de l’art. La deuxième approche s’appuie sur les travaux de traduction d’image à image, en proposant une nouvelle approche où le modèle est conditionné sur une version LR du cible. Plus précisément, notre approche vise à transférer les détails fins d’une image source HR pour les adapter la structure générale, selon la version LR de celle-ci. On génère donc des images HR qui partagent les caractéristiques distinctives de l’image HR et qui correspond à l’image LR de la cible lors de la réduction d’échelle. Cette méthode diffère des méthodes précédentes qui se concentrent plutôt sur la traduction d’un style d’image donné en un contenu cible. Les résultats qualitatifs et quantitatifs démontrent des améliorations en termes de qualité visuelle, de diversité et de couverture par rapport aux méthodes de pointe telles que Stargan-v2.Traditionally, when it comes to generating high-resolution (HR) images from a low-resolution(LR) images, the methods proposed so far have mainly focused on super-resolution techniques that aim at recovering the most probable image from low-quality image. Doing so ignores the fact that there are usually many valid versions of HR images that match a given LR image. The objective of this work is to obtain different versions of HR images from the same LR imageusing a generative adversarial model. We approach this problem from two different angles. First, we use super-resolution methods, where in addition to the LR image, the generator can be parameterized by a latent variable to produce different potential variations of the image. Such a conditioning allows to modulate the generator between retrieving the closest image to the ground truth and a variety of possible images. The results demonstrate our superiority in terms of reconstruction and variety of plausible hallucinated images compared to other state-of-the-art methods. The second approach builds on the work of image-to-image translation, by proposing a new approach where the model is conditioned on a LR version of the target. More precisely, our approach aims at transferring the fine details of an HR source image to fit the general structure, according to the LR version of it. We therefore generate HR images that share the distinctive features of the HR image and match the LR image of the target duringdownscaling. This method differs from previous methods that focus instead on translatinga given image style into target content. Qualitative and quantitative results demonstrate improvements in visual quality, diversity, and coverage over state-of-the-art methods such asStargan-v2