Haute performance pour le calcul de la dynamique des fluides dans les clusters et les clouds : l'expérience ADAPT

Abstract

In this thesis, we present our research work in the field of high performance computing in fluid mechanics (CFD)for cluster and cloud architectures. In general, we propose to develop an efficient solver, called ADAPT, for problemsolving of CFDs in a classic view corresponding to developments in MPI and in a view that leads us to representADAPT as a graph of tasks intended to be ordered on a cloud computing platform.As a first contribution, we propose a parallelization of the diffusion-convection equation coupled to a linear systemin 2D and 3D using MPI. A two-level parallelization is used in our implementation to take advantage of the currentdistributed multicore machines. A balanced distribution of the computational load is obtained by using the decompositionof the domain using METIS, as well as a relevant resolution of our very large linear system using the parallelsolver MUMPS (Massive Parallel MUltifrontal Solver).Our second contribution illustrates how to imagine the ADAPT framework, as depicted in the first contribution, asa Service. We transform the framework (in fact, a part of the framework) as a DAG (Direct Acyclic Graph) in orderto see it as a scientific workflow. Then we introduce new policies inside the RedisDG workflow engine, in order toschedule tasks of the DAG, opportunistically. We introduce into RedisDG the possibility to work with dynamic workers(they can leave or enter into the computing system as they want) and a multi-criteria approach to decide on the“best” worker to choose to execute a task. Experiments are conducted onDans cette thèse, nous présentons notre travail de recherche dans le domaine du calcul haute performance en mécaniquedes fluides (CFD) pour architectures de type cluster et cloud. De manière générale, nous nous proposonsde développer un solveur efficace, appelé ADAPT, pour la résolution de problèmes de CFD selon une vue classiquecorrespondant à des développements en MPI et selon une vue qui nous amène à représenter ADAPT comme un graphede tâches destinées à être ordonnancées sur une plateforme de type cloud computing.Comme première contribution, nous proposons une parallélisation de l’équation de diffusion-convection couplée àun système linéaire en 2D et en 3D à l’aide de MPI. Une parallélisation à deux niveaux est utilisée dans notre implémentationpour exploiter au mieux les capacités des machines multi-coeurs. Nous obtenons une distribution équilibréede la charge de calcul en utilisant la décomposition du domaine à l’aide de METIS, ainsi qu’une résolution pertinentede notre système linéaire creux de très grande taille en utilisant le solveur parallèle MUMPS (Solveur MUltifrontalMassivement Parallèle).Notre deuxième contribution illustre comment imaginer la plateforme ADAPT, telle que représentée dans la premièrecontribution, comme un service. Nous transformons le framework ADAPT (en fait, une partie du framework)en DAG (Direct Acyclic Graph) pour le voir comme un workflow scientifique. Ensuite, nous introduisons de nouvellespolitiques à l’intérieur du moteur de workflow RedisDG, afin de planifier les tâches du DAG, de manière opportuniste.Nous introduisons dans RedisDG la possibilité de travailler avec des machines dynamiques (elles peuvent quitter ouentrer dans le système de calcul comme elles veulent) et une approche multi-critères pour décider de la “meilleure”machine à choisir afin d’exécuter une tâche. Des expériences sont menées sur le workflow ADAPT pour illustrerl’efficacité de l’ordonnancement et des décisions d’ordonnancement dans le nouveau RedisDG