Lagrangian Neural Style Transfer for Fluids

Artistically controlling the shape, motion and appearance of fluid simulations pose major challenges in visual effects production. In this paper, we present a neural style transfer approach from images to 3D fluids formulated in a Lagrangian viewpoint. Using particles for style transfer has unique benefits compared to grid-based techniques. Attributes are stored on the particles and hence are trivially transported by the particle motion. This intrinsically ensures temporal consistency of the optimized stylized structure and notably improves the resulting quality. Simultaneously, the expensive, recursive alignment of stylization velocity fields of grid approaches is unnecessary, reducing the computation time to less than an hour and rendering neural flow stylization practical in production settings. Moreover, the Lagrangian representation improves artistic control as it allows for multi-fluid stylization and consistent color transfer from images, and the generality of the method enables stylization of smoke and liquids likewise.Comment: ACM Transaction on Graphics (SIGGRAPH 2020), additional materials: http://www.byungsoo.me/project/lnst/index.htm

Variational data assimilation using targetted random walks

The variational approach to data assimilation is a widely used methodology for both online prediction and for reanalysis (offline hindcasting). In either of these scenarios it can be important to assess uncertainties in the assimilated state. Ideally it would be desirable to have complete information concerning the Bayesian posterior distribution for unknown state, given data. The purpose of this paper is to show that complete computational probing of this posterior distribution is now within reach in the offline situation. In this paper we will introduce an MCMC method which enables us to directly sample from the Bayesian\ud posterior distribution on the unknown functions of interest, given observations. Since we are aware that these\ud methods are currently too computationally expensive to consider using in an online filtering scenario, we frame this in the context of offline reanalysis. Using a simple random walk-type MCMC method, we are able to characterize the posterior distribution using only evaluations of the forward model of the problem, and of the model and data mismatch. No adjoint model is required for the method we use; however more sophisticated MCMC methods are available\ud which do exploit derivative information. For simplicity of exposition we consider the problem of assimilating data, either Eulerian or Lagrangian, into a low Reynolds number (Stokes flow) scenario in a two dimensional periodic geometry. We will show that in many cases it is possible to recover the initial condition and model error (which we describe as unknown forcing to the model) from data, and that with increasing amounts of informative data, the uncertainty in our estimations reduces

Quasi second-order methods for PDE-constrained forward and inverse problems

La conception assistée par ordinateur (CAO), les effets visuels, la robotique et de nombreux autres domaines tels que la biologie computationnelle, le génie aérospatial, etc. reposent sur la résolution de problèmes mathématiques. Dans la plupart des cas, des méthodes de calcul sont utilisées pour résoudre ces problèmes. Le choix et la construction de la méthode de calcul ont un impact important sur les résultats et l'efficacité du calcul. La structure du problème peut être utilisée pour créer des méthodes, qui sont plus rapides et produisent des résultats qualitativement meilleurs que les méthodes qui n'utilisent pas la structure. Cette thèse présente trois articles avec trois nouvelles méthodes de calcul s'attaquant à des problèmes de simulation et d'optimisation contraints par des équations aux dérivées partielles (EDP). Dans le premier article, nous abordons le problème de la dissipation d'énergie des solveurs fluides courants dans les effets visuels. Les solveurs de fluides sont omniprésents dans la création d'effets dans les courts et longs métrages d'animation. Nous présentons un schéma d'intégration temporelle pour la dynamique des fluides incompressibles qui préserve mieux l'énergie comparé aux nombreuses méthodes précédentes. La méthode présentée présente une faible surcharge et peut être intégrée à un large éventail de méthodes existantes. L'amélioration de la conservation de l'énergie permet la création d'animations nettement plus dynamiques. Nous abordons ensuite la conception computationelle dont le but est d'exploiter l'outils computationnel dans le but d'améliorer le processus de conception. Plus précisément, nous examinons l'analyse de sensibilité, qui calcule les sensibilités du résultat de la simulation par rapport aux paramètres de conception afin d'optimiser automatiquement la conception. Dans ce contexte, nous présentons une méthode efficace de calcul de la direction de recherche de Gauss-Newton, en tirant parti des solveurs linéaires directs épars modernes. Notre méthode réduit considérablement le coût de calcul du processus d'optimisation pour une certaine classe de problèmes de conception inverse. Enfin, nous examinons l'optimisation de la topologie à l'aide de techniques d'apprentissage automatique. Nous posons deux questions : Pouvons-nous faire de l'optimisation topologique sans maillage et pouvons-nous apprendre un espace de solutions d'optimisation topologique. Nous appliquons des représentations neuronales implicites et obtenons des résultats structurellement sensibles pour l'optimisation topologique sans maillage en guidant le réseau neuronal pendant le processus d'optimisation et en adaptant les méthodes d'optimisation topologique par éléments finis. Notre méthode produit une représentation continue du champ de densité. De plus, nous présentons des espaces de solution appris en utilisant la représentation neuronale implicite.Computer-aided design (CAD), visual effects, robotics and many other fields such as computational biology, aerospace engineering etc. rely on the solution of mathematical problems. In most cases, computational methods are used to solve these problems. The choice and construction of the computational method has large impact on the results and the computational efficiency. The structure of the problem can be used to create methods, that are faster and produce qualitatively better results than methods that do not use the structure. This thesis presents three articles with three new computational methods tackling partial differential equation (PDE) constrained simulation and optimization problems. In the first article, we tackle the problem of energy dissipation of common fluid solvers in visual effects. Fluid solvers are ubiquitously used to create effects in animated shorts and feature films. We present a time integration scheme for incompressible fluid dynamics which preserves energy better than many previous methods. The presented method has low overhead and can be integrated into a wide range of existing methods. The improved energy conservation leads to noticeably more dynamic animations. We then move on to computational design whose goal is to harnesses computational techniques for the design process. Specifically, we look at sensitivity analysis, which computes the sensitivities of the simulation result with respect to the design parameters to automatically optimize the design. In this context, we present an efficient way to compute the Gauss-Newton search direction, leveraging modern sparse direct linear solvers. Our method reduces the computational cost of the optimization process greatly for a certain class of inverse design problems. Finally, we look at topology optimization using machine learning techniques. We ask two questions: Can we do mesh-free topology optimization and can we learn a space of topology optimization solutions. We apply implicit neural representations and obtain structurally sensible results for mesh-free topology optimization by guiding the neural network during optimization process and adapting methods from finite element based topology optimization. Our method produces a continuous representation of the density field. Additionally, we present learned solution spaces using the implicit neural representation

Tools for fluid simulation control in computer graphics

L’animation basée sur la physique peut générer des systèmes aux comportements complexes et réalistes. Malheureusement, contrôler de tels systèmes est une tâche ardue. Dans le cas de la simulation de fluide, le processus de contrôle est particulièrement complexe. Bien que de nombreuses méthodes et outils ont été mis au point pour simuler et faire le rendu de fluides, trop peu de méthodes offrent un contrôle efficace et intuitif sur une simulation de fluide. Étant donné que le coût associé au contrôle vient souvent s’additionner au coût de la simulation, appliquer un contrôle sur une simulation à plus haute résolution rallonge chaque itération du processus de création. Afin d’accélérer ce processus, l’édition peut se faire sur une simulation basse résolution moins coûteuse. Nous pouvons donc considérer que la création d’un fluide contrôlé peut se diviser en deux phases: une phase de contrôle durant laquelle un artiste modifie le comportement d’une simulation basse résolution, et une phase d’augmentation de détail durant laquelle une version haute résolution de cette simulation est générée. Cette thèse présente deux projets, chacun contribuant à l’état de l’art relié à chacune de ces deux phases. Dans un premier temps, on introduit un nouveau système de contrôle de liquide représenté par un modèle particulaire. À l’aide de ce système, un artiste peut sélectionner dans une base de données une parcelle de liquide animé précalculée. Cette parcelle peut ensuite être placée dans une simulation afin d’en modifier son comportement. À chaque pas de simulation, notre système utilise la liste de parcelles actives afin de reproduire localement la vision de l’artiste. Une interface graphique intuitive a été développée, inspirée par les logiciels de montage vidéo, et permettant à un utilisateur non expert de simplement éditer une simulation de liquide. Dans un second temps, une méthode d’augmentation de détail est décrite. Nous proposons d’ajouter une étape supplémentaire de suivi après l’étape de projection du champ de vitesse d’une simulation de fumée eulérienne classique. Durant cette étape, un champ de perturbations de vitesse non-divergent est calculé, résultant en une meilleure correspondance des densités à haute et à basse résolution. L’animation de fumée résultante reproduit fidèlement l’aspect grossier de la simulation d’entrée, tout en étant augmentée à l’aide de détails simulés.Physics-based animation can generate dynamic systems of very complex and realistic behaviors. Unfortunately, controlling them is a daunting task. In particular, fluid simulation brings up particularly difficult problems to the control process. Although many methods and tools have been developed to convincingly simulate and render fluids, too few methods provide efficient and intuitive control over a simulation. Since control often comes with extra computations on top of the simulation cost, art-directing a high-resolution simulation leads to long iterations of the creative process. In order to shorten this process, editing could be performed on a faster, low-resolution model. Therefore, we can consider that the process of generating an art-directed fluid could be split into two stages: a control stage during which an artist modifies the behavior of a low-resolution simulation, and an upresolution stage during which a final high-resolution version of this simulation is driven. This thesis presents two projects, each one improving on the state of the art related to each of these two stages. First, we introduce a new particle-based liquid control system. Using this system, an artist selects patches of precomputed liquid animations from a database, and places them in a simulation to modify its behavior. At each simulation time step, our system uses these entities to control the simulation in order to reproduce the artist’s vision. An intuitive graphical user interface inspired by video editing tools has been developed, allowing a nontechnical user to simply edit a liquid animation. Second, a tracking solution for smoke upresolution is described. We propose to add an extra tracking step after the projection of a classical Eulerian smoke simulation. During this step, we solve for a divergence-free velocity perturbation field resulting in a better matching of the low-frequency density distribution between the low-resolution guide and the high-resolution simulation. The resulting smoke animation faithfully reproduces the coarse aspect of the low-resolution input, while being enhanced with simulated small-scale details

FluTO: Graded Multiscale Fluid Topology Optimization using Neural Networks

Fluid-flow devices with low dissipation, but high contact area, are of importance in many applications. A well-known strategy to design such devices is multi-scale topology optimization (MTO), where optimal microstructures are designed within each cell of a discretized domain. Unfortunately, MTO is computationally very expensive since one must perform homogenization of the evolving microstructures, during each step of the homogenization process. As an alternate, we propose here a graded multiscale topology optimization (GMTO) for designing fluid-flow devices. In the proposed method, several pre-selected but size-parameterized and orientable microstructures are used to fill the domain optimally. GMTO significantly reduces the computation while retaining many of the benefits of MTO. In particular, GMTO is implemented here using a neural-network (NN) since: (1) homogenization can be performed off-line, and used by the NN during optimization, (2) it enables continuous switching between microstructures during optimization, (3) the number of design variables and computational effort is independent of number of microstructure used, and, (4) it supports automatic differentiation, thereby eliminating manual sensitivity analysis. Several numerical results are presented to illustrate the proposed framework