Survey Report on Multi GPU Implementation in Open Source CFD Solver

A CFD (Computational Fluid Dynamics) solver is used for simulation of fluid flow and heat transfer. It helps in analyzing the various parameters in fluid flow of scientific applications. OpenFOAM (Open Field Operation and Manipulation) [14] is an open source Software which can be used to solve Computational Fluid Dynamics (CFD) problems. The OpenFOAM solves various equations e.g. Mass Conservation, Conjugate Heat Transformer. OpenFOAM solves CFD problems serially as well as in parallel. The motivation of the project is to reduce time for solving CFD problems by implementing it on GPU. The OpenFOAM a software contribution which (Open Field Operation and Manipulation) is open source Tool. OpenFOAM has a many of features to get answer to anything from complex liquid (or gas) moves getting mixed in trouble chemical reactions, turbulence and heat give property in law, to solid driving power and electromagnetic. Existing OpenFOAM executes serially, by introducing parallelism, time required for execution of OpenFOAM can be reduced. For introducing parallelism, System requires CUDA (Compute Unified Device Architecture) enabled CPU (Central Processing Unit). To achieve parallelism, openFOAM requires CUDA support and support is achieved by of gpu library. Library is used to introduce parallelism for single GPU and multigpu can improve performance of OpenFOAM

Acceleration of supersonic/hypersonic reactive CFD simulations via heterogeneous CPU-GPU supercomputing

The numerical study of reactive flows subjected to supersonic conditions is accelerated by the co-design of a novel strategy to integrate finite-rate chemistry by an adaptive multi-block ODE algebra solver for Graphical Processing Units (GPU), that is coupled to a parallel, shock-capturing Finite-Volume reactive flow solver running on CPUs. The resulting GPGPU solver is validated on Large Eddy Simulations (LES) of a scramjet configuration, whose experimental measurements are available from the literature. It is demonstrated that the proposed method significantly accelerates the solution of reactive CFD computations with Direct Integration of the finite-rate chemistry

Productivity, performance, and portability for computational fluid dynamics applications

Hardware trends over the last decade show increasing complexity and heterogeneity in high performance computing architectures, which presents developers of CFD applications with three key challenges; the need for achieving good performance, being able to utilise current and future hardware by being portable, and doing so in a productive manner. These three appear to contradict each other when using traditional programming approaches, but in recent years, several strategies such as template libraries and Domain Specific Languages have emerged as a potential solution; by giving up generality and focusing on a narrower domain of problems, all three can be achieved. This paper gives an overview of the state-of-the-art for delivering performance, portability, and productivity to CFD applications, ranging from high-level libraries that allow the symbolic description of PDEs to low-level techniques that target individual algorithmic patterns. We discuss advantages and challenges in using each approach, and review the performance benchmarking literature that compares implementations for hardware architectures and their programming methods, giving an overview of key applications and their comparative performance

Modélisation d'instabilités gravitaires au sein de la croûte partiellement fondue par une méthode de Volume-Of-Fluid

Les instabilités gravitaires au sein des racines orogéniques partiellement fondues peuvent être à l'origine du développement de dômes de migmatites. Non seulement ces dômes peuvent concentrer des matériaux d’intérêt économique, mais une meilleure compréhension de leur formation présente un intérêt fort dans la connaissance de l’évolution et de la différenciation de la croûte terrestre. Bien que les forces horizontales peuvent être impliquées dans la formation de dômes, l’objectif de cette thèse consistait à regarder uniquement l’influence des forces verticales en étudiant la convection et le diapirisme. Pour cela, nous avions le choix entre deux codes, basés sur la méthode numérique de Volume-Of-Fluid (VOF): JADIM (code de l'IMFT) et OpenFOAM (open-source). Nous avons dans un premier temps montré que la méthode VOF est adaptée à la modélisation des instabilités gravitaires en comparant les résultats obtenus avec i) ceux de la littérature concernant les instabilités de Rayleigh-Taylor et de Rayleigh-Bénard, ii) ceux donnés par le code de géodynamique ASPECT. Nous avons trouvé que JADIM et OpenFOAM fournissent des résultats en bon accord avec ceux de la littérature et conservent mieux la masse qu'ASPECT. Nous avons choisi OpenFOAM pour la suite de ce travail car il est plus rapide que JADIM. Ensuite, nous avons appliqué la méthode VOF au contexte de formation des dômes de migmatites, en considérant plus particulièrement le cas de l'île de Naxos (Grèce). Ces dômes se sont formés entre 24 et 16 millions d'années et présentent une structure imbriquée de sous- dômes de 2 km dans un dôme majeur de 10 km. Des datations sur zircon ont montré que les roches ont subi une alternance de température d'une période de 2 Ma. Ces dômes sont intéressants car ils se sont formés récemment dans l'histoire de la Terre dans une zone orogénique, ils sont donc mieux préservés que les dômes plus anciens. Nous avons cherché à montrer que ces structures peuvent résulter d'épisodes convectif et diapirique. Nous avons d'abord considéré la croûte chaude comme un système constitué de trois couches horizontales. Ce système ne permet pas de former des dômes imbriqués par convection et diapirisme. En effet, les dômes formés au cours de la simulation sont détruits par la convection. Nous avons donc complexifié le système. Nous avons pris en compte le chauffage interne, la fusion partielle, la dépendance des rhéologies sur la température et le taux de déformation, et avons ajouté des hétérogénéités compositionnelles (inclusions). Tous ces éléments ont fait l'objet de tests paramétriques et nous permettent finalement de proposer deux scénarios pour expliquer la formation des dômes de Naxos : le premier fait émerger des diapirs composés d'inclusions au dessus de cellules convectives locales, formées lors de la ségrégation des inclusions lourdes et légères, tandis que le second scénario permet aux inclusions de s'élever pendant la disparition de la cellule convective globale pour former des dômes lors du refroidissement du système. Toutefois, ces scénarios n'excluent pas le rôle de forces latérales extérieures à la fin de l'orogène pour expliquer l'exhumation des dômes. Plus généralement, nous avons trouvé que les caractéristiques des dômes (taille et homogénéité) sont déterminées par leur mode de formation (présence d'inclusions, de convection ...). L'analyse dimensionnelle des systèmes avec fusion partielle nous a permis de distinguer plusieurs régimes convectifs et de déterminer les paramètres nécessaires à la sédimentation (vers le haut et vers la bas) des inclusions lors d'une convection crustale

Integrating open FOAM and GPUs using amgX

Open source Field Operation and Manipulation (OpenFOAM) is a free, Opensource, feature rich Computational Fluid Dynamics (CFD) software that is used to solve a variety of problems in continuum mechanics. It has a large user base spread across various science and engineering disciplines and used in both academic and commercial contexts. Depending on the type of problem and required accuracy, an OpenFOAM simulation may take several weeks to complete. OpenFOAM simulations generally involve preprocessing, discretization, applying linear solvers and post processing. For sufficiently large simulations, linear solvers contribute to a large portion of the execution time. Hence, Graphics Processing Units (GPU) based linear solvers can give a significant speedup compared to the native CPU implementation. AmgX is a state of the art, high performance library which provides an elegant way to accelerate linear solvers on GPUs. AmgX library provides various flavors of multi-grid solvers, Krylov methods, smoothers, support for block systems and support for MPI. It also provides a flexible way to use nested solvers, smoothers and preconditioners. In this work, we implemented OpenFOAM solvers on GPUs using AmgX library and a set of helper functions which enables seamless integration of these solvers to OpenFOAM. These will take care of converting the linear system to AmgX’s format and apply the user specified configurations to solve it. Experiments carried out using a wind rotor simulation and a Fan wing simulations shows that the use of AmgX library gives upto 10% speedup in the total simulation time and 2x speedup in solving the linear system

GPU Acceleration of CFD Simulations in OpenFOAM

We introduce algorithmic advancements designed to expedite simulations in OpenFOAM using GPUs. These developments include the following. (a) The amgx4Foam library, which connects the open-source AmgX library from NVIDIA to OpenFOAM. Matrix generation, involving tasks such numerical integration and assembly, is performed on CPUs. Subsequently, the assembled matrix is processed on the CPU. This approach accelerates the computationally intensive linear solver phase of simulations on GPUs. (b) Enhancements to code performance in reactive flow simulations, by relocating the solution of finite-rate chemistry to GPUs, which serve as co-processors. We present code verification and validation along with performance metrics targeting two distinct application sets, namely, aerodynamics calculations and supersonic combustion with finite-rate chemistry