The EU Center of Excellence for Exascale in Solid Earth (ChEESE): Implementation, results, and roadmap for the second phase

publishedVersio

Préconditionnement du solveur itératif CARP-CG pour la solution de l'équation d'onde visco-élastique dans le domaine fréquentiel

A robust and efficient wave modeling method is the cornerstone of high resolution seismic inversion methods such as the frequency-domain Full Waveform Inversion (Virieux, 2009). After discretization, frequency-domain wave modeling amounts to the solution of large (up to several billion of unknowns for realistic case studies), sparse, indefinite and ill-conditioned linear systems. Furthermore, seismic inversion methods require the solution of this problem for numerous sources (from several thousands up to tens of thousands). In the acoustic approximation, 3D real case studies can be handled efficiently using direct solvers. However because of their tremendous intrinsic memory requirements, they are not yet adapted to the solution of the 3D elastodynamics equations. Iterative solvers provide an alternative to direct solvers. However, they require a preconditioning strategy to ensure convergence for the frequency-domain wave equation. Besides, multiple right-hand sides linear systems are not treated as efficiently as direct solvers do.In this thesis, we are interested in the use of a robust iterative solver adapted to the solution of these systems called CARP-CG (Gordon, 2010). The CARP-CG method has shown robust convergence properties for 2D and 3D elastic problems in highly heterogeneous media compared to standard Krylov methods such as GMRES or Bi-CGSTAB which require the use of a preconditioner to ensure convergence (Li, 2015). Despite the good convergence properties of CARP-CG, the latter still requires a large number of iterations to reach sufficient accuracy. I introduce an efficient preconditioning strategy adapted to the CARP-CG method and the frequency-domain wave problem. This preconditioner is computed as a sparse approximate inverse of a strongly damped wave propagation operator. The computation of the preconditioner is performed in a massively parallel algorithm for distributed memory architectures.The efficiency of the preconditioner is evaluated on several case studies. First, applications are performed on realistic synthetic models in the 2D visco-acoustic approximation (up to 40 Hz) and the 2D visco-elastic approximation (up to 20 Hz). These studies show that the CARP-CG method together with the preconditioning strategy is robust and efficient. The number of iterations is significantly reduced (up to a factor 9) enabling a speedup in the computation time by a factor up to 3.5. Second, this method is investigated in the 3D elastic approximation on a realistic synthetic case study on the range of frequencies 1.25 to 7.5 Hz. Very encouraging results are obtained with a significant reduction in the number of iterations. A slow increase of the number of iterations with respect to the frequency is noted.This preconditioning strategy adapted to the CARP-CG method implies larger memory requirements. However, this extra memory cost remains one order lower compared to direct solver memory requirement, and should be affordable on standard HPC facilities. The main bottleneck preventing from the possible use of this iterative solver for 3D elastic FWI remains the computation time for the wave equation solves.La résolution de l'équation des ondes acoustiques et élastiques en 3D dans le domaine fréquentiel représente un enjeu majeur dans le cadre de l'inversion des formes d'ondes pour l'imagerie haute résolution de cibles crustales (Virieux, 2009). Après discrétisation, ce problème revient à résoudre un système linéaire à valeurs complexes, creux, de grande taille non défini et mal conditionné. Les méthodes d'inversion sismique requièrent la solution de ce problème pour l'évaluation du problème direct pour un grand nombre de sources (plusieurs milliers voir dizaines de milliers). Dans l'approximation acoustique, les méthodes directes sont privilégiées. Cependant, le coût mémoire de ces méthodes les rendent aujourd'hui inutilisables pour résoudre les problèmes élastiques 3D. En raison de leur plus faible coût mémoire, les méthodes itératives pour les équations en fréquence peuvent être considérées pour l'élastodynamique. Cependant, une convergence rapide passe par des préconditionneurs adaptés pour les solveurs itératifs. Par ailleurs, les stratégies pour résoudre des systèmes linéaires avec des seconds membres multiples ne sont pas aussi efficaces que pour les méthodes directes. La modélisation dans le domaine temporelle quant à elle présente une importante complexité en coût de calcul et cette complexité croît linéairement avec le nombre de sources.Dans cette thèse, l'approche utilisant un solveur itératif est considérée. Le solveur itératif CARP-CG introduit par Gordon (2010) est considéré. Cette méthode est basée sur la méthode de Kaczmarz qui transforme un système linéaire mal conditionné en un système hermitien, positif et qui peut être résolu en utilisant les méthodes du type gradient conjugué (CG). Dans des configurations de forts contrastes et hétérogénéités, ce solveur s'est révélé être extrêmement robuste alors que les méthodes itératives standards basées sur les sous-espaces de Krylov telles que GMRES et BiCGSTAB nécessitent l'utilisation d'un préconditionneur pour converger (Li, 2015). Malgré les bonnes propriétés de la méthode CARP-CG, le nombre d'itérations nécessaires pour atteindre une précision suffisante reste néanmoins élevé. Je présente alors une stratégie de préconditionnement adaptée au problème de propagation des ondes et à la méthode CARP-CG. Ce préconditionneur est un inverse creux et approché d'un opérateur de propagation des ondes fortement amorti. Le calcul du préconditionneur est réalisé grâce un algorithme massivement parallèle pour les architectures à mémoire distribuée.La méthode développée est appliquée à des cas d'étude réalistes. Les applications sont faites sur des modèles synthétiques 2D dans l'approximation visco-acoustique pour des fréquences allant jusqu'à 40 Hz puis dans l'approximation élastique pour des fréquences allant jusqu'à 20 Hz. Ces études montrent l'efficacité de la méthode CARP-CG munie de la stratégie de préconditionnement. Le nombre d'itérations est fortement réduit (jusqu'à un facteur 9) permettant d'améliorer considérablement la complexité de la méthode CARP-CG. Des gains en temps de calcul allant jusqu'à un facteur 3.5 sont ainsi obtenus. La méthode est ensuite appliquée à un cas 3D synthétique et réaliste dans l'approximation visco-élastique pour des fréquences allant de 1.25 Hz à 7.5 Hz. Des résultats encourageants sont obtenus. Munie du préconditioneur, la méthode CARP-CG permet de résoudre ces systèmes linéaires deux fois plus rapidement.La stratégie de préconditionnement implique la nécessité de plus grandes ressources en mémoire pour le solveur itératif; cependant, elles ne constituent pas une limitation pour la méthode et restent très négligeables devant celles requises par les solveurs directs. La principale limitation réside dans le temps de calcul qui demeure assez significatif. Cependant, cette méthode constitue un solveur compétitif comparé aux autres solveurs en temps et direct utilisés aujourd'hui dans le cadre de l'inversion des formes d'ondes

Préconditionnement du solveur itératif CARP-CG pour la solution de l'équation d'onde visco-élastique dans le domaine fréquentiel

A robust and efficient wave modeling method is the cornerstone of high resolution seismic inversion methods such as the frequency-domain Full Waveform Inversion (Virieux, 2009). After discretization, frequency-domain wave modeling amounts to the solution of large (up to several billion of unknowns for realistic case studies), sparse, indefinite and ill-conditioned linear systems. Furthermore, seismic inversion methods require the solution of this problem for numerous sources (from several thousands up to tens of thousands). In the acoustic approximation, 3D real case studies can be handled efficiently using direct solvers. However because of their tremendous intrinsic memory requirements, they are not yet adapted to the solution of the 3D elastodynamics equations. Iterative solvers provide an alternative to direct solvers. However, they require a preconditioning strategy to ensure convergence for the frequency-domain wave equation. Besides, multiple right-hand sides linear systems are not treated as efficiently as direct solvers do.In this thesis, we are interested in the use of a robust iterative solver adapted to the solution of these systems called CARP-CG (Gordon, 2010). The CARP-CG method has shown robust convergence properties for 2D and 3D elastic problems in highly heterogeneous media compared to standard Krylov methods such as GMRES or Bi-CGSTAB which require the use of a preconditioner to ensure convergence (Li, 2015). Despite the good convergence properties of CARP-CG, the latter still requires a large number of iterations to reach sufficient accuracy. I introduce an efficient preconditioning strategy adapted to the CARP-CG method and the frequency-domain wave problem. This preconditioner is computed as a sparse approximate inverse of a strongly damped wave propagation operator. The computation of the preconditioner is performed in a massively parallel algorithm for distributed memory architectures.The efficiency of the preconditioner is evaluated on several case studies. First, applications are performed on realistic synthetic models in the 2D visco-acoustic approximation (up to 40 Hz) and the 2D visco-elastic approximation (up to 20 Hz). These studies show that the CARP-CG method together with the preconditioning strategy is robust and efficient. The number of iterations is significantly reduced (up to a factor 9) enabling a speedup in the computation time by a factor up to 3.5. Second, this method is investigated in the 3D elastic approximation on a realistic synthetic case study on the range of frequencies 1.25 to 7.5 Hz. Very encouraging results are obtained with a significant reduction in the number of iterations. A slow increase of the number of iterations with respect to the frequency is noted.This preconditioning strategy adapted to the CARP-CG method implies larger memory requirements. However, this extra memory cost remains one order lower compared to direct solver memory requirement, and should be affordable on standard HPC facilities. The main bottleneck preventing from the possible use of this iterative solver for 3D elastic FWI remains the computation time for the wave equation solves.La résolution de l'équation des ondes acoustiques et élastiques en 3D dans le domaine fréquentiel représente un enjeu majeur dans le cadre de l'inversion des formes d'ondes pour l'imagerie haute résolution de cibles crustales (Virieux, 2009). Après discrétisation, ce problème revient à résoudre un système linéaire à valeurs complexes, creux, de grande taille non défini et mal conditionné. Les méthodes d'inversion sismique requièrent la solution de ce problème pour l'évaluation du problème direct pour un grand nombre de sources (plusieurs milliers voir dizaines de milliers). Dans l'approximation acoustique, les méthodes directes sont privilégiées. Cependant, le coût mémoire de ces méthodes les rendent aujourd'hui inutilisables pour résoudre les problèmes élastiques 3D. En raison de leur plus faible coût mémoire, les méthodes itératives pour les équations en fréquence peuvent être considérées pour l'élastodynamique. Cependant, une convergence rapide passe par des préconditionneurs adaptés pour les solveurs itératifs. Par ailleurs, les stratégies pour résoudre des systèmes linéaires avec des seconds membres multiples ne sont pas aussi efficaces que pour les méthodes directes. La modélisation dans le domaine temporelle quant à elle présente une importante complexité en coût de calcul et cette complexité croît linéairement avec le nombre de sources.Dans cette thèse, l'approche utilisant un solveur itératif est considérée. Le solveur itératif CARP-CG introduit par Gordon (2010) est considéré. Cette méthode est basée sur la méthode de Kaczmarz qui transforme un système linéaire mal conditionné en un système hermitien, positif et qui peut être résolu en utilisant les méthodes du type gradient conjugué (CG). Dans des configurations de forts contrastes et hétérogénéités, ce solveur s'est révélé être extrêmement robuste alors que les méthodes itératives standards basées sur les sous-espaces de Krylov telles que GMRES et BiCGSTAB nécessitent l'utilisation d'un préconditionneur pour converger (Li, 2015). Malgré les bonnes propriétés de la méthode CARP-CG, le nombre d'itérations nécessaires pour atteindre une précision suffisante reste néanmoins élevé. Je présente alors une stratégie de préconditionnement adaptée au problème de propagation des ondes et à la méthode CARP-CG. Ce préconditionneur est un inverse creux et approché d'un opérateur de propagation des ondes fortement amorti. Le calcul du préconditionneur est réalisé grâce un algorithme massivement parallèle pour les architectures à mémoire distribuée.La méthode développée est appliquée à des cas d'étude réalistes. Les applications sont faites sur des modèles synthétiques 2D dans l'approximation visco-acoustique pour des fréquences allant jusqu'à 40 Hz puis dans l'approximation élastique pour des fréquences allant jusqu'à 20 Hz. Ces études montrent l'efficacité de la méthode CARP-CG munie de la stratégie de préconditionnement. Le nombre d'itérations est fortement réduit (jusqu'à un facteur 9) permettant d'améliorer considérablement la complexité de la méthode CARP-CG. Des gains en temps de calcul allant jusqu'à un facteur 3.5 sont ainsi obtenus. La méthode est ensuite appliquée à un cas 3D synthétique et réaliste dans l'approximation visco-élastique pour des fréquences allant de 1.25 Hz à 7.5 Hz. Des résultats encourageants sont obtenus. Munie du préconditioneur, la méthode CARP-CG permet de résoudre ces systèmes linéaires deux fois plus rapidement.La stratégie de préconditionnement implique la nécessité de plus grandes ressources en mémoire pour le solveur itératif; cependant, elles ne constituent pas une limitation pour la méthode et restent très négligeables devant celles requises par les solveurs directs. La principale limitation réside dans le temps de calcul qui demeure assez significatif. Cependant, cette méthode constitue un solveur compétitif comparé aux autres solveurs en temps et direct utilisés aujourd'hui dans le cadre de l'inversion des formes d'ondes

Preconditioning and multiple-right hand sides strategies for the solution of the frequency-domain wave propagation problem using the CGMN method

International audienceFrequency-domain waveform modeling in the acoustic and elastic approximations requires the solution of large ill-conditioned linear systems. In the context of frequency-domain full waveform inversion, the solutions of these systems are required for a large number of sources (i.e. right-hand sides). Because of their tremendous memory requirements, direct solvers are not yet adapted to the solution of 3D elastodynamics equations. We are thus interested in the use of efficient iterative solvers adapted to the solution of these systems. The CGMN method has shown robust convergence properties for 2D and 3D elastic problems in highly heterogeneous media, compared to standard Krylov methods, but still requires a large number of iterations to reach sufficient accuracy. In this study, the design of an efficient preconditioning strategy adapted to this method is investigated. This preconditioner is computed as a sparse approximate inverse of a heavily damped wave propagation operator. In addition, the single seed method is used to increase the efficiency of the solver for multiple right-hand sides. The efficiency of these two combined strategies is evaluated on the 2D BP2004 model in the visco-acoustic approximation, up to 40 Hz. An overall time speed-up equal to 3 and a reduction of the number of iterations by a factor 10 are observed

Preconditioning and multiple-right hand sides strategies for the solution of the frequency-domain wave propagation problem using the CGMN method

International audienceFrequency-domain waveform modeling in the acoustic and elastic approximations requires the solution of large ill-conditioned linear systems. In the context of frequency-domain full waveform inversion, the solutions of these systems are required for a large number of sources (i.e. right-hand sides). Because of their tremendous memory requirements, direct solvers are not yet adapted to the solution of 3D elastodynamics equations. We are thus interested in the use of efficient iterative solvers adapted to the solution of these systems. The CGMN method has shown robust convergence properties for 2D and 3D elastic problems in highly heterogeneous media, compared to standard Krylov methods, but still requires a large number of iterations to reach sufficient accuracy. In this study, the design of an efficient preconditioning strategy adapted to this method is investigated. This preconditioner is computed as a sparse approximate inverse of a heavily damped wave propagation operator. In addition, the single seed method is used to increase the efficiency of the solver for multiple right-hand sides. The efficiency of these two combined strategies is evaluated on the 2D BP2004 model in the visco-acoustic approximation, up to 40 Hz. An overall time speed-up equal to 3 and a reduction of the number of iterations by a factor 10 are observed