Online Calibration of Deep Learning Sub-Models for Hybrid Numerical Modeling Systems

Artificial intelligence and deep learning are currently reshaping numerical simulation frameworks by introducing new modeling capabilities. These frameworks are extensively investigated in the context of model correction and parameterization where they demonstrate great potential and often outperform traditional physical models. Most of these efforts in defining hybrid dynamical systems follow {offline} learning strategies in which the neural parameterization (called here sub-model) is trained to output an ideal correction. Yet, these hybrid models can face hard limitations when defining what should be a relevant sub-model response that would translate into a good forecasting performance. End-to-end learning schemes, also referred to as online learning, could address such a shortcoming by allowing the deep learning sub-models to train on historical data. However, defining end-to-end training schemes for the calibration of neural sub-models in hybrid systems requires working with an optimization problem that involves the solver of the physical equations. Online learning methodologies thus require the numerical model to be differentiable, which is not the case for most modeling systems. To overcome this difficulty and bypass the differentiability challenge of physical models, we present an efficient and practical online learning approach for hybrid systems. The method, called EGA for Euler Gradient Approximation, assumes an additive neural correction to the physical model, and an explicit Euler approximation of the gradients. We demonstrate that the EGA converges to the exact gradients in the limit of infinitely small time steps. Numerical experiments are performed on various case studies, including prototypical ocean-atmosphere dynamics. Results show significant improvements over offline learning, highlighting the potential of end-to-end online learning for hybrid modeling

Multi-platform experiments, numerical simulations and data science techniques for generation of new altimetric products: focus on mesoscale and sub- mesoscale variability (MANATEE – OSTST proposal)

Trabajo presentado en la Ocean Surface Topography Science Team Meeting (OSTST), celebrada online del 19 al 23 de octubre de 2020

CALYPSO 2019 Cruise Report: field campaign in the Mediterranean

This cruise aimed to identify transport pathways from the surface into the interior ocean during the late winter in the Alborán sea between the Strait of Gibraltar (5°40’W) and the prime meridian. Theory and previous observations indicated that these pathways likely originated at strong fronts, such as the one that separates salty Mediterranean water and the fresher water in owing from the Atlantic. Our goal was to map such pathways and quantify their transport. Since the outcropping isopycnals at the front extend to the deepest depths during the late winter, we planned the cruise at the end of the Spring, prior to the onset of thermal stratification of the surface mixed layer.Funding was provided by the Office of Naval Research under Contract No. N000141613130

Data-driven and learning-based approaches for the modeling, forecasting and reconstruction of geophysical dynamics: application to sea surface dynamics

[EN] This thesis focuses on the data-driven identification of dynamical representations of upper ocean dynamics for forecasting, simulation and data assimilation applications. We focus on practical considerations regarding the provided observations and tackle multiple issues, ranging from the parametrization of the models, their time integration, the space in which the models should be defined and their implementation in data assimilation schemes. The core of our work resides in proposing a new data-driven embedding technique. This framework optimises an augmented space as a solution of an optimization problem, parametrised by a trainable Ordinary Differential Equation (ODE) that can be used for several applications such as forecasting and data assimilation. We discuss the effectiveness of the proposed framework within two different parametrizations of the trainable ODE. Namely, the Linear-quadratic and Linear ones and show that both formulations lead to interesting applications and most importantly, connect with interesting state-of-the-art theory that helps understanding and constraining the proposed architecture. Regarding data assimilation applications, we explore two distinct methodologies. The first technique can be seen as an alternative to the ensemble Kalman filtering and the second one relates to the proposed dynamical embedding technique and can be extended to match recent advances of state-of-the-art filtering techniques.[FR] Cette thèse se focalise sur l’identification de représentations dynamiques des couches de surface de l’océan pour des applications de prévision, de simulation et d’assimilation de données. Nous nous concentrons sur des considérations pratiques concernant les observations fournies et abordons de multiples questions, allant de la paramétrisation des modèles à leur mise en œuvre dans des schémas d’assimilation de données, en passant par leur intégration temporelle et la définition de l’espace dans lequel ces modèles peuvent évoluer. Le cœur de notre travail réside dans la proposition d’une nouvelle technique d’enchâssement pilotée par les données. Cette méthode optimise un espace augmenté, paramétré par une Équation Différentielle Ordinaire (EDO). Cette EDO peut être utilisée pour plusieurs applications telles que la prévision et l’assimilation de données. Nous discutons de l’efficacité de la méthode proposée dans le cadre de deux paramétrisations différentes de l’EDO. À savoir, une paramétrisation linéaire et linéaire-quadratique, nous montrons que ces deux formulations mènent à des applications pertinentes et, plus important encore, sont liées à plusieurs travaux théoriques qui aident à comprendre et à contraindre l’architecture proposée. En ce qui concerne les applications d’assimilation de données, nous explorons deux méthodologies distinctes. La première technique peut être considérée comme une alternative au filtrage de Kalman d’ensemble et la seconde se rapporte à la technique d’enchâssement proposée et peut être étendue à plusieurs travaux dans le cadre du filtrage séquentiel.Peer reviewe

Approches basées données et apprentissage pour la modélisation, la prévision et la reconstruction de dynamiques géophysiques : application à la dynamique océanique de surface

Cette thèse se focalise sur l'identification de représentations dynamiques des couches de surface de l'océan pour des applications de prévision, de simulation et d'assimilation de données. Nousnous concentrons sur des considérations pratiques concernant les observations fournies et abordons de multiples questions, allant de la paramétrisation des modèles à leur mise en œuvre dans des schémas d'assimilation de données, en passant par leur intégration temporelle et la définition de l'espace dans lequel ces modèles peuvent évoluer.Le cœur de notre travail réside dans la proposition d'une nouvelle technique d'enchâssement pilotée par les données. Cette méthode optimise un espace augmenté, paramétré par une Équation Différentielle Ordinaire (EDO). Cette EDO peut être utilisée pour plusieurs applications telles que la prévision et l'assimilation de données. Nous discutons de l'efficacité de la méthode proposée dans le cadre de deux paramétrisations différentes de l'EDO. À savoir, une paramétrisation linéaire et linéaire-quadratique, nous montrons que ces deux formulations mènent à des applications pertinentes et, plus important encore, sont liées à plusieurs travaux théoriques qui aident à comprendre et à contraindre l'architecture proposée. En ce qui concerne les applications d'assimilation de données, nous explorons deux méthodologies distinctes. La première technique peut être considérée comme une alternative au filtrage de Kalman d'ensemble et la seconde se rapporte à la technique d'enchâssement proposée et peut être étendue à plusieurs travaux dans le cadre du filtrage séquentiel.This thesis focuses on the data-driven identification of dynamical representations of upper ocean dynamics for forecasting, simulation and data assimilation applications. We focus on practical considerations regarding the provided observations and tackle multiple issues, ranging from the parametrization of the models, their time integration, the space in which the models should be definedand their implementation in data assimilation schemes.The core of our work resides in proposing a new data-driven embedding technique. This framework optimises an augmented space as a solution of an optimization problem, parametrised by a trainable Ordinary Differential Equation (ODE) that can be used for several applications such as forecasting and data assimilation. We discuss the effectiveness of the proposed framework within two different parametrizations of the trainable ODE. Namely, the Linear-quadratic and Linear ones and show that both formulations lead to interesting applications and most importantly, connect with interesting state-of-theart theory that helps understanding and constraining the proposed architecture. Regarding data assimilation applications, we explore two distinct methodologies. The first technique can be seen as an alternative to the ensemble Kalman filtering and the second one relates to the proposed dynamical embedding technique and can be extended to match recent advances of state-of-the-art filtering techniques

Approches basées données et apprentissage pour la modélisation, la prévision et la reconstruction de dynamiques géophysiques : application à la dynamique océanique de surface

This thesis focuses on the data-driven identification of dynamical representations of upper ocean dynamics for forecasting, simulation and data assimilation applications. We focus on practical considerations regarding the provided observations and tackle multiple issues, ranging from the parametrization of the models, their time integration, the space in which the models should be definedand their implementation in data assimilation schemes.The core of our work resides in proposing a new data-driven embedding technique. This framework optimises an augmented space as a solution of an optimization problem, parametrised by a trainable Ordinary Differential Equation (ODE) that can be used for several applications such as forecasting and data assimilation. We discuss the effectiveness of the proposed framework within two different parametrizations of the trainable ODE. Namely, the Linear-quadratic and Linear ones and show that both formulations lead to interesting applications and most importantly, connect with interesting state-of-theart theory that helps understanding and constraining the proposed architecture. Regarding data assimilation applications, we explore two distinct methodologies. The first technique can be seen as an alternative to the ensemble Kalman filtering and the second one relates to the proposed dynamical embedding technique and can be extended to match recent advances of state-of-the-art filtering techniques.Cette thèse se focalise sur l'identification de représentations dynamiques des couches de surface de l'océan pour des applications de prévision, de simulation et d'assimilation de données. Nousnous concentrons sur des considérations pratiques concernant les observations fournies et abordons de multiples questions, allant de la paramétrisation des modèles à leur mise en œuvre dans des schémas d'assimilation de données, en passant par leur intégration temporelle et la définition de l'espace dans lequel ces modèles peuvent évoluer.Le cœur de notre travail réside dans la proposition d'une nouvelle technique d'enchâssement pilotée par les données. Cette méthode optimise un espace augmenté, paramétré par une Équation Différentielle Ordinaire (EDO). Cette EDO peut être utilisée pour plusieurs applications telles que la prévision et l'assimilation de données. Nous discutons de l'efficacité de la méthode proposée dans le cadre de deux paramétrisations différentes de l'EDO. À savoir, une paramétrisation linéaire et linéaire-quadratique, nous montrons que ces deux formulations mènent à des applications pertinentes et, plus important encore, sont liées à plusieurs travaux théoriques qui aident à comprendre et à contraindre l'architecture proposée. En ce qui concerne les applications d'assimilation de données, nous explorons deux méthodologies distinctes. La première technique peut être considérée comme une alternative au filtrage de Kalman d'ensemble et la seconde se rapporte à la technique d'enchâssement proposée et peut être étendue à plusieurs travaux dans le cadre du filtrage séquentiel

End-To-End Kalman Filter In A High Dimensional Linear Embedding Of The Observations

International audienc

End-To-End Kalman Filter In A High Dimensional Linear Embedding Of The Observations

International audienc

Neural embedding for closure models

International audienc