Implicit Skinning: Real-Time Skin Deformation with Contact Modeling

SIGGRAPH 2013 Conference ProceedingsInternational audienceGeometric skinning techniques, such as smooth blending or dualquaternions, are very popular in the industry for their high performances, but fail to mimic realistic deformations. Other methods make use of physical simulation or control volume to better capture the skin behavior, yet they cannot deliver real-time feedback. In this paper, we present the first purely geometric method handling skin contact effects and muscular bulges in real-time. The insight is to exploit the advanced composition mechanism of volumetric, implicit representations for correcting the results of geometric skinning techniques. The mesh is first approximated by a set of implicit surfaces. At each animation step, these surfaces are combined in real-time and used to adjust the position of mesh vertices, starting from their smooth skinning position. This deformation step is done without any loss of detail and seamlessly handles contacts between skin parts. As it acts as a post-process, our method fits well into the standard animation pipeline. Moreover, it requires no intensive computation step such as collision detection, and therefore provides real-time performances

Déformation de la peau d'un personnage avec prise en compte des contacts

National audienceLors de l'animation d'un maillage représentant la peau d'un personnage ou d'un animal par exemple, des techniques dites de skinning sont utilisées pour le déformer au niveau des articulations. Bien que très populaires dans l'industrie pour leur très faible coût d'évaluation, les techniques de skinning géométrique comme le LBS (Linear Blending Skinning) ou les dual quaternions, ne permettent pas d'imiter de façon crédible les déformations des membres. Pour mieux capturer le comportement de la peau, d'autres méthodes basées seulement sur le maillage, utilisent des calculs coûteux comme la détection de collisions ou la correction de volume. Toutefois ces approches restent seulement adaptées au rendu hors ligne. Nous présentons la première méthode temps réel produisant une déformation du maillage en prenant en compte le contact de la peau et, éventuellement, le gonflement des muscles. Nous proposons d'utiliser de façon conjointe le maillage et une représentation volumique. Le maillage est approximé avec une surface implicite qui nous permet de le déformer de façon plausible tout en traitant les collisions et en conservant les détails du maillage

Methods for constraint-based conceptual free-form surface design

Zusammenfassung Der constraint-basierte Entwurf von Freiformfl„chen ist eine m„chtige Methode im Computer gest�tzten Entwurf. Bekannte Realisierungen beschr„nken sich jedoch meist auf Interpolation von Rand- und isoparametrischen Kurven. In diesem Zusammenhang sind die sog. "Multi-patch" Methoden die am weitesten verbreitete Vorgehensweise. Hier versucht man Fl„chenverb„nde aus einem Netz von dreidimensionalen Kurven (oft gemischt mit unstrukturierten Punktewolken) derart zu generieren, dass die Kurven und Punkte von den Fl„chen interpoliert werden. Die Kurven werden als R„nder von rechteckigen oder dreieckigen bi-polynomialen oder polynomialen Fl„chen betrachtet. Unter dieser Einschr„nkung leidet die Flexibilit„t des Verfahrens. In dieser Dissertation schlagen wir vor, beliebige, d.h. auch nicht iso-parametrische, Kurven zu verwenden. Dadurch ergeben sich folgende Vorteile: Erstens kann so beispielsweise eine B-spline Fl„che entlang einer benutzerdefinierten Kurve verformt werden w„hrend andere Kurven oder Punkte fixiert sind. Zweitens, kann eine B-spline Fl„che Kurven interpolieren, die sich nicht auf iso-parametrische Linien der Fl„che abbilden lassen. Wir behandeln drei Arten von Constraints: Inzidenz einer beliebigen Kurve auf einer B-spline Fl„che, Fixieren von Fl„chennormalen entlang einer beliebigen Kurve (dieser Constraint dient zur Herstellung von tangentialen šberg„ngen zwischen zwei Fl„chen) und die sog. Variational Constrains. Letztere dienen unter anderem zur Optimierung der physikalischen und optischen Eigenschaften der Fl„chen. Es handelt sich hierbei um die Gausschen Normalgleichungen der Fl„chenfunktionale zweiter Ordnung, wie sie in der Literatur bekannt sind. Die Dissertation gliedert sich in zwei Teile. Der erste Teil befasst sich mit der Aufstellung der linearen Gleichungssysteme, welche die oben erw„hnten Constraints repr„sentieren. Der zweite Teil behandelt Methoden zum L”sen dieser Gleichungssysteme. Der Kern des ersten Teiles ist die Erweiterung und Generalisierung des auf Polarformen (Blossoms) basierenden Algorithmus f�r Verkettung von Polynomen auf Bezier und B-spline Basis: Gegeben sei eine B-spline Fl„che und eine B-spline Kurve im Parameterraum der Fl„che. Wir zeigen, dass die Kontrollpunkte der dreidimensionalen Fl„chenkurve, welche als polynomiale Verkettung der beiden definiert ist, durch eine im Voraus berechenbare lineare Tranformation (eine Matrix) der Fl„chenkontrollpunkte ausgedr�ckt werden k”nnen. Dadurch k”nnen Inzidenzbeziehungen zwischen Kurven und Fl„chen exakt und auf eine sehr elegante und kompakte Art definiert werden. Im Vergleich zu den bekannten Methoden ist diese Vorgehensweise effizienter, numerisch stabiler und erh”ht nicht die Konditionszahl der zu l”senden linearen Gleichungen. Die Effizienz wird erreicht durch Verwendung von eigens daf�r entwickelten Datenstrukturen und sorgf„ltige Analyse von kombinatorischen Eigenschaften von Polarformen. Die Gleichungen zur Definition von Tangentialit„ts- und Variational Constraints werden als Anwendung und Erweiterung dieses Algorithmus implementiert. Beschrieben werden auch symbolische und numerische Operationen auf B-spline Polynomen (Multiplikation, Differenzierung, Integration). Dabei wird konsistent die Matrixdarstellung von B-spline Polynomen verwendet. Das L”sen dieser Art von Constraintproblemen bedeutet das Finden der Kontrollpunkte einer B-spline Fl„che derart, dass die definierten Bedingungen erf�llt werden. Dies wird durch L”sen von, im Allgemeinen, unterbestimmten und schlecht konditionierten linearen Gleichungssystemen bewerkstelligt. Da in solchen F„llen keine eindeutige, numerisch stabile L”sung existiert, f�hren die �blichen Methoden zum L”sen von linearen Gleichungssystemen nicht zum Erfolg. Wir greifen auf die Anwendung von sog. Regularisierungsmethoden zur�ck, die auf der Singul„rwertzerlegung (SVD) der Systemmatrix beruhen. Insbesondere wird die L-curve eingesetzt, ein "numerischer Hochfrequenzfilter", der uns in die Lage versetzt eine stabile L”sung zu berechnen. Allerdings reichen auch diese Methoden im Allgemeinen nicht aus, eine Fl„che zu generieren, welche die erw�nschten „sthetischen und physikalischen Eigenschaften besitzt. Verformt man eine Tensorproduktfl„che entlang einer nicht isoparametrischen Kurve, entstehen unerw�nschte Oszillationen und Verformungen. Dieser Effekt wird "Surface-Aliasing" genannt. Wir stellen zwei Methoden vor um diese Aliasing-Effekte zu beseitigen: Die erste Methode wird vorzugsweise f�r Deformationen einer existierenden B-spline Fl„che entlang einer nicht isoparametrischen Kurve angewendet. Es erfogt eine Umparametrisierung der zu verformenden Fl„che derart, dass die Kurve in der neuen Fl„che auf eine isoparametrische Linie abgebildet wird. Die Umparametrisierung einer B- spline Fl„che ist keine abgeschlossene Operation; die resultierende Fl„che besitzt i.A. keine B-spline Darstellung. Wir berechnen eine beliebig genaue Approximation der resultierenden Fl„che mittels Interpolation von Kurvennetzen, die von der umzuparametrisierenden Fl„che gewonnen werden. Die zweite Methode ist rein algebraisch: Es werden zus„tzliche Bedingungen an die L”sung des Gleichungssystems gestellt, die die Aliasing-Effekte unterdr�cken oder ganz beseitigen. Es wird ein restriktionsgebundenes Minimum einer Zielfunktion gesucht, deren globales Minimum bei "optimaler" Form der Fl„che eingenommen wird. Als Zielfunktionen werden Gl„ttungsfunktionale zweiter Ordnung eingesetzt. Die stabile L”sung eines solchen Optimierungsproblems kann aufgrund der nahezu linearen Abh„ngigkeit des Gleichungen nur mit Hilfe von Regularisierungsmethoden gewonnen werden, welche die vorgegebene Zielfunktion ber�cksichtigen. Wir wenden die sog. Modifizierte Singul„rwertzerlegung in Verbindung mit dem L-curve Filter an. Dieser Algorithmus minimiert den Fehler f�r die geometrischen Constraints so, dass die L”sung gleichzeitig m”glichst nah dem Optimum der Zielfunktion ist.The constrained-based design of free-form surfaces is currently limited to tensor-product interpolation of orthogonal curve networks or equally spaced grids of points. The, so- called, multi-patch methods applied mainly in the context of scattered data interpolation construct surfaces from given boundary curves and derivatives along them. The limitation to boundary curves or iso-parametric curves considerably lowers the flexibility of this approach. In this thesis, we propose to compute surfaces from arbitrary (that is, not only iso-parametric) curves. This allows us to deform a B-spline surface along an arbitrary user-defined curve, or, to interpolate a B-spline surface through a set of curves which cannot be mapped to iso-parametric lines of the surface. We consider three kinds of constraints: the incidence of a curve on a B-spline surface, prescribed surface normals along an arbitrary curve incident on a surface and the, so-called, variational constraints which enforce a physically and optically advantageous shape of the computed surfaces. The thesis is divided into two parts: in the first part, we describe efficient methods to set up the equations for above mentioned linear constraints between curves and surfaces. In the second part, we discuss methods for solving such constraints. The core of the first part is the extension and generalization of the blossom-based polynomial composition algorithm for B-splines: let be given a B-spline surface and a B-spline curve in the domain of that surface. We compute a matrix which represents a linear transformation of the surface control points such that after the transformation we obtain the control points of the curve representing the polynomial composition of the domain curve and the surface. The result is a 3D B-spline curve always exactly incident on the surface. This, so-called, composition matrix represents a set of linear curve-surface incidence constraints. Compared to methods used previously our approach is more efficient, numerically more stable and does not unnecessarily increase the condition number of the matrix. The thesis includes a careful analysis of the complexity and combinatorial properties of the algorithm. We also discuss topics regarding algebraic operations on B-spline polynomials (multiplication, differentiation, integration). The matrix representation of B-spline polynomials is used throughout the thesis. We show that the equations for tangency and variational constraints are easily obtained re-using the methods elaborated for incidence constraints. The solving of generalized curve-surface constraints means to find the control points of the unknown surface given one or several curves incident on that surface. This is accomplished by solving of large and, generally, under-determined and badly conditioned linear systems of equations. In such cases, no unique and numerically stable solution exists. Hence, the usual methods such as Gaussian elimination or QR-decomposition cannot be applied in straightforward manner. We propose to use regularization methods based on Singular Value Decomposition (SVD). We apply the so-called L-curve, which can be seen as an numerical high-frequency filter. The filter automatically singles out a stable solution such that best possible satisfaction of defined constraints is achieved. However, even the SVD along with the L-curve filter cannot be applied blindly: it turns out that it is not sufficient to require only algebraic stability of the solution. Tensor-product surfaces deformed along arbitrary incident curves exhibit unwanted deformations due to the rectangular structure of the model space. We discuss a geometric and an algebraic method to remove this, so-called, Surface aliasing effect. The first method reparametrizes the surface such that a general curve constraint is converted to iso-parametric curve constraint which can be easily solved by standard linear algebra methods without aliasing. The reparametrized surface is computed by means of the approximated surface-surface composition algorithm, which is also introduced in this thesis. While this is not possible symbolically, an arbitrary accurate approximation of the resulting surface is obtained using constrained curve network interpolation. The second method states additional constraints which suppress or completely remove the aliasing. Formally we solve a constrained least square approximation problem: we minimize an surface objective function subject to defined curve constraints. The objective function is chosen such that it takes in the minimal value if the surface has optimal shape; we use a linear combination of second order surface smoothing functionals. When solving such problems we have to deal with nearly linearly dependent equations. Problems of this type are called ill-posed. Therefore sophisticated numerical methods have to be applied in order to obtain a set of degrees of freedom (control points of the surface) which are sufficient to satisfy given constraints. The remaining unused degrees of freedom are used to enforce an optically pleasing shape of the surface. We apply the Modified Truncated SVD (MTSVD) algorithm in connection with the L-curve filter which determines a compromise between an optically pleasant shape of the surface and constraint satisfaction in a particularly efficient manner

Editing Fluid Simulations with Jet Particles

Fluid simulation is an important topic in computer graphics in the pursuit of adding realism to films, video games and virtual environments. The results of a fluid simulation are hard to edit in a way that provide a physically plausible solution. Edits need to preserve the incompressibility condition in order to create natural looking water and smoke simulations. In this thesis we present an approach that allows a simple artist-friendly interface for designing and editing complex fluid-like flows that are guaranteed to be incompressible in two and three dimensions. Key to our method is a formulation for the design of flows using jet particles. Jet particles are Lagrangian solutions to a regularised form of Euler’s equations, and their velocity fields are divergence-free which motivates their use in computer graphics. We constrain their dynamics to design divergence-free flows and utilise them effectively in a modern visual effects pipeline. Using just a handful of jet particles we produce visually convincing flows that implicitly satisfy the incompressibility condition. We demonstrate an interactive tool in two dimensions for designing a range of divergence-free deformations. Further we describe methods to couple these flows with existing simulations in order to give the artist creative control beyond the initial outcome. We present examples of local temporal edits to smoke simulations in 2D and 3D. The resulting methods provide promising new ways to design and edit fluid-like deformations and to create general deformations in 3D modelling. We show how to represent existing divergence-free velocity fields using jet particles, and design new vector fields for use in fluid control applications. Finally we provide an efficient implementation for deforming grids, meshes, volumes, level sets, vectors and tensors, given a jet particle flow

Learning to Transfer Texture from Clothing Images to 3D Humans

In this paper, we present a simple yet effective method to automatically transfer textures of clothing images (front and back) to 3D garments worn on top SMPL, in real time. We first automatically compute training pairs of images with aligned 3D garments using a custom non-rigid 3D to 2D registration method, which is accurate but slow. Using these pairs, we learn a mapping from pixels to the 3D garment surface. Our idea is to learn dense correspondences from garment image silhouettes to a 2D-UV map of a 3D garment surface using shape information alone, completely ignoring texture, which allows us to generalize to the wide range of web images. Several experiments demonstrate that our model is more accurate than widely used baselines such as thin-plate-spline warping and image-to-image translation networks while being orders of magnitude faster. Our model opens the door for applications such as virtual try-on, and allows for generation of 3D humans with varied textures which is necessary for learning.Comment: IEEE Conference on Computer Vision and Pattern Recognitio