Temporal Shape Transfer Network for 3D Human Motion

International audienceThis paper presents a learning-based approach to perform human shape transfer between an arbitrary 3D identity mesh and a temporal motion sequence of 3D meshes. Recent approaches tackle the human shape and pose transfer on a per-frame basis and do not yet consider the valuable information about the motion dynamics, e.g., body or clothing dynamics, inherently present in motion sequences. Recent datasets provide such sequences of 3D meshes, and this work investigates how to leverage the associated intrinsic temporal features in order to improve learning-based approaches on human shape transfer. These features are expected to help preserve temporal motion and identity consistency over motion sequences. To this aim, we introduce a new network architecture that takes as input successive 3D mesh frames in a motion sequence and which decoder is conditioned on the target shape identity. Training losses are designed to enforce temporal consistency between poses as well as shape preservation over the input frames. Experiments demonstrate substantially qualitative and quantitative improvements in using temporal features compared to optimization-based and recent learning-based methods

On some interactive mesh deformations

Techniques devoted to deform 3D models are an important research field in Computer Graphics. They can be used in differentstages: the modelling phase, the animation process and also during some special simulations. Additionally, some applications may require the manipulation of 3D models under certain restrictions to preserve the volume of the modified object. Hence, thepresent PhD Dissertation explores new algorithms to perform flexible, robust and efficient 3D deformations. Apart from this, it also researches on a new methodology to restrict these deformations so that the volume of the manipulated model remains constant. Some of the most used methods to achieve smooth deformations are those included in the Cage-Based Deformation paradigm. Cage-based deformations enclose the model to be deformed in a coarse polyhedron, the cage. Then, they usually rely on Generalized Barycentric Coordinates to relate the model with the vertices, and other geometric elements, of this cage, which are the control points or the deformation handles. Finally, every time that one of these handles is dragged, the model is deformed accordingly. Although this paradigm is simple, elegant and performs efficient deformations, some cage-free space deformation techniques have recently appeared. They increase the flexibility of the deformation handles, which do not need to be connected, and define powerful tools that make the deformation process more versatile and intuitive. In this context, the Dissertation introduces new Generalized Barycentric Coordinate systems specially designed to be used in a cage-free environment. Any user who wants to use the presented schemes only needs to locate a set of control points in the vicinity of the model that he or she wants to deform. These handles can be placed wherever he or she considers mode suitable and the only requirement is that the model has to be enclosed in their convex hull. Up to now, there are few techniques to produce volume-preserving space deformations. However, in recent years there has been a growing interest in performing constrained deformations due to their more realistic and physically plausible results. Our contribution to this research line consists in a deformation framework that preserves the volume of the 3D models by means of its gradient and a control surface to restrict the movement of the handles. Moreover, the proposed methodology is not restricted to the cage-based schemes, but it can also be used in a cage-free environment. Finally, our research can be specially useful for spatial deformations of biological and medical models. This kind of models represent real organs and tissues, which are often soft and lack an internal rigid structure. In addition, they are elastic and incompressible. Any application designed to deal with this group of models and to train or assist doctors must be flexible, robust, efficient and user-friendly. The combination of the proposed cage-free systems with the presented volume-preserving deformation framework satisfiesLes deformacions de models 3D s'utilitzen en diverses etapes de la generació de continguts digitals: durant la fase de modelatge, durant el procés d'animació i en alguns tipus de simulacions. A més a més, hi ha aplicacions que necessiten que la manipulació dels models 3D es faci tenint en compte certes restriccions que permeten la conservació del volum de l'objecte modificat. Tot plegat fa que les tècniques de deformació 3D siguin un camp d'estudi molt important dins del món dels Gràfics. Per aquesta raó, aquesta Tesi Doctoral estudia nous algorismes que permetin realitzar deformacions 3D de manera flexible, robusta i eficient i que, a més a més, permetin conservar el volum dels objectes modificats. Un dels paradigmes més utilitzats per tal de realitzar deformacions suaus és el conegut amb el nom de Deformacions Basades en un Poliedre Englobant. Aquesta família de mètodes embolcalla el model que es vol deformar, normalment representat com una malla de triangles, dins d'un poliedre simple, amb poques cares. Un cop fet això, estableix un sistema de Coordenades Baricèntriques Generalitzades per tal de definir els vèrtexs del model a partir dels vèrtexs del poliedre englobant, els quals s'anomenen punts de control o controls de la deformació. D'aquesta manera, cada cop que s'arrossega o es modifica un d'aquests punts de control, el model que es troba dins del poliedre englobant es deforma segons el sistema de coordenades que s'ha definit. Tot i que aquest paradigma és simple, elegant i eficient, des de fa ja uns anys han començat a aparèixer noves tècniques que no necessiten el poliedre englobant per tal de realitzar la deformació. El seu principal objectiu és augmentar la flexibilitat dels controls de la deformació i definir eines que facin que el procés de deformació sigui més versàtil i intuïtiu. Tenint en compte aquest factor, aquesta Tesi també estudia sistemes de Coordenades Baricèntriques Generalitzades dissenyats per realitzar deformacions sense la necessitat de definir el poliedre englobant. D'aquesta manera, qualsevol usuari que vulgui utilitzar els mètodes que es presenten en aquesta Dissertació només s'ha d'encarregar de definir un conjunt de punts de control al voltant del model que vol deformar, podent-los posar allí on consideri més oportú segons la deformació que vulgui obtenir. L'únic requeriment necessari és que el model ha de quedar dins de l'envolupant convexa d'aquests punts de control. Actualment existeixen pocs mètodes que realitzin deformacions 3D amb preservació del volum. No obstant això, d'un temps ençà ha augmentat l'interès per realitzar deformacions subjectes a certes restriccions que fan que el resultat sigui més realista i físicament versemblant. La contribució d'aquesta Tesi dins d'aquesta línia de recerca consisteix en un sistema de deformació que preserva el volum dels objectes 3D gràcies a còmput del seu gradient i a una superfície de control que restringeix el moviment dels punts de control. Aquest mètode es pot aplicar tant als sistemes de deformació que necessiten un poliedre englobant com als que no el necessiten. Finalment, i ja per acabar, la recerca realitzada pot ser especialment útil per tal de realitzar deformacions de models mèdics i biològics. Aquests tipus de models poden representar òrgans i teixits reals, els quals, normalment, són tous, mancats d'una estructura rígida interna, elàstics i incompressibles. Qualsevol aplicació dissenyada per treballar amb aquest tipus de models i per entrenar i donar assistència a usuaris mèdics hauria de ser flexible, robusta, eficient i fàcil d'utilitzar. La combinació dels mètodes de deformació proposats conjuntament amb el sistema de preservació de volum satisfà totes aquestes condicions. Per aquesta raó es creu que les contribucions realitzades poden esdevenir eines importants per produir deformacions mèdiques.Postprint (published version

Skeleton-Based Shape Deformation Using Simplex Transformations

This paper presents a novel skeleton-based method for deforming meshes, based on an approximate skeleton. The major difference from previous skeleton-based methods is that they used the skeleton to control movement of vertices, whereas we use it to control the simplices defining the model. This allows errors, that occur near joints in other methods, to be spread over the whole mesh, giving smooth transitions near joints. Our method also needs no vertex weights defined on the bones, which can be tedious to choose in previous methods

Skeleton-Based Shape Deformation Using Simplex Transformations

Abstract. This paper presents a novel skeleton-based method for deforming meshes, based on an approximate skeleton. The major difference from previous skeleton-based methods is that they used the skeleton to control movement of vertices, whereas we use it to control the simplices defining the model. This allows errors, that occur near joints in other methods, to be spread over the whole mesh, giving smooth transitions near joints. Our method also needs no vertex weights defined on the bones, which can be tedious to choose in previous methods.