Image-based modelling of ocean surface circulation from satellite acquisitions

International audienceSatellite image sequences permit to visualise oceans' surface and their underlying dynamics. Processing these images is then of major interest in order to better understanding of the observed processes. As demonstrated by state-of-the-art, image assimilation allows to retrieve surface motion from image sequences, based on assumptions on the dynamics. In this paper we demonstrate that a simple heuristics, such as the Lagrangian constancy of velocity, can be used, and successfully replaces the complex physical properties described by the Navier-Stokes equations, for assessing surface circulation from satellite images. A data assimilation method is proposed that includes an additional term a(t) to this Lagrangian constancy equation. That term summarises all physical processes other than advection. A cost function is designed, which quantifies discrepancy between satellite data and model values. The cost function is minimised by the BFGS solver with a dual method of data assimilation. The result is the motion field and the additional term a(t). This last component models the forces, other than advection, that contribute to surface circulation. The approach has been tested on Sea Surface Temperature of Black Sea. Results are given on four image sequences and compared with state-of-the-art methods

Solving ill-posed Image Processing problems using Data Assimilation

International audienceData Assimilation is a mathematical framework used in environmental sciences to improve forecasts performed by meteorological, oceanographic or air quality simulation models. It aims to solve an evolution equation, describing the temporal dynamics, and an observation equation, linking the state vector and observations. In this article we use this framework to study a class of ill-posed Image Processing problems, usually solved by spatial and temporal regularization techniques. An approach is proposed to convert an ill-posed Image Processing problem in terms of a data Assimilation system, solved by a 4D-Var method. This is illustrated by the estimation of optical ow from a noisy image sequence, with the dynamic model ensuring the temporal regularity of the result. The innovation of the paper concerns first, the extensive description of the tasks to be achieved for going from an image processing problem to a data assimilation description; second, the theoretical analysis of the covariance matrices involved in the algorithm; and third a specic discretisation scheme ensuring the stability of computation for the application on optical flow estimation

Using models of dynamics for large displacement estimation on noisy acquisitions

The paper discusses the issue of motion estimation on noisy images displaying large displacements, due to high velocity values. ``Noisy'' means that the data contain either missing acquisitions on isolated points, regions, frames or noisy measures. Assuming the dynamics is partially accessible from heuristics and modeled, the objective is to include this knowledge in the computation of the solution even if large displacements occur from one frame to the next one and if the data are noisy. This is performed by Data Assimilation techniques which simultaneously solve an evolution equation and an observation equation. The evolution equation includes the partial knowledge on the dynamics. The observation equation describes the transport of image brightness and is written in a non-linear form in order to better characterize large displacements. The assimilation method is a weak 4D-Var algorithm, in which each component of the Data Assimilation system is associated to an error. We prove that the observation covariance matrix can be used to discard the noisy data during the computation of the solution letting the evolution equation estimate motion from adjacent frames on these pixels. The method is quantified on synthetic data and illustrated on oceanographic satellite images.Cet article traite du problème de l'estimation du mouvement sur des données bruitées montrant de grands déplacements engendrés par des vitesses élevées. Par données ``bruitées'' nous entendons des données qui contiennent à la fois des informations manquantes en des points isolés, des régions ou des plans image entiers et du bruit de mesure. En supposant que la dynamique de la séquence d'image peut être décrite par des heuristiques, le but est d'inclure cette connaissance dans le calcul de la solution et cela malgré la présence de vitesses élevées. Ceci est réalisé par assimilation de données en résolvant simultanément une équation d'évolution et une équation d'observation. L'équation d'évolution décrit imparfaitement la dynamique. L'équation d'observation décrit le transport de la luminosité par la vitesse et elle est écrite sous sa forme non linéaire afin de prendre en compte les grands déplacements. La méthode d'assimilation de données utilisée ici est le ``4DVar'' dans sa formulation faible et pour laquelle chaque composante du système à résoudre est associée à une erreur. Nous montrons que la matrice de covariance associée au modèle d'observation peut être utilisée pour éliminer du calcul de la solution les pixels qui contiennent une information bruitée. Pour ces pixels, l'équation d'évolution permet alors de calculer une solution admissible. La méthode proposée est évaluée sur des données synthétiques et appliquée sur des données océanographiques contenant de véritables données manquantes

Solving Ill-posed Problems Using Data Assimilation. Application to optical flow estimation

ISBN 978-989-8111-69-2International audienceData Assimilation is a mathematical framework used in environmental sciences to improve forecasts performed by meteorological, oceanographic or air quality simulation models. Data Assimilation techniques require the resolution of a system with three components: one describing the temporal evolution of a state vector, one coupling the observations and the state vector, and one defining the initial condition. In this article, we use this framework to study a class of ill-posed Image Processing problems, usually solved by spatial and temporal regularization techniques. A generic approach is defined to convert an ill-posed Image Processing problem in terms of a Data Assimilation system. This method is illustrated on the determination of optical flow from a sequence of images. The resulting software has two advantages: a quality criterion on input data is used for weighting their contribution in the computation of the solution and a dynamic model is proposed to ensure a significant temporal regularity on the solution

Coupling reduced models for optimal motion estimation

International audienceThe paper discusses the issue of motion estimation by image assimilation in numerical models, based on Navier-Stokes equations. In such context, models' reduction is an attractive approach that is used to decrease cost in memory and computation time. A reduced model is obtained from a Galerkin projection on a subspace, defined by its orthogonal basis. Long temporal image sequences may then be processed by a sliding-window method. On the first sub-window, a fixed basis is considered to define the reduced model. On the next ones, a Principal Order Decomposition is applied, in order to define a basis that is simultaneously small-size and adapted to the studied image data. Results are given on synthetic data and quantified according to state-of-the-art methods. Application to satellite images demonstrates the potential of the approach

Assimilation d'images dans un modèle réduit pour l'estimation du mouvement

Peer-reviewedNational audienceCet article décrit une méthode d'estimation du champ de vitesse apparent, sous-jacent à l'évolution temporelle d'une séquence d'images. Un modèle d'évolution, dit complet, est choisi pour représenter la dynamique du champ de vitesse et des images. La méthode de décomposition orthogonale propre est appliquée et fournit des bases de représentation des champs de vitesse et des images. La projection de Galerkin du modèle complet sur ces bases réduites définit alors le modèle réduit. Un algorithme d'assimilation variationelle de données est conçu afin d'estimer les coefficients des champs de vitesse à partir des coefficients des images observées. Le mouvement est ensuite restitué à partir de ces coefficients estimés. La méthode est validée sur des données synthétiques afin de quantifier les résultats

Continuous tracking of structures from an image sequence

National audienceThe talk describes an innovative method to simultaneously estimate motion and track a structure on an image sequence. To process noisy images, assumptions on dynamics should be involved. Consequently, the method relies on the dynamics equations of the studied physical system. Promissing results have been obtained on twin experiments in order to quantify the accuracy of the method. The approach has also been tested on satellite acquisitions in order to track clouds an meteorological satellite acquisitions. Further research will concern the conception of a multi-object tracking method

Assimilation de données pour estimer le mouvement et suivre un objet

National audienceCet article s'intéresse au problème de l'estimation du mouvement apparent sur une séquence d'images et au suivi d'un objet particulier. Pour ce faire, l'approche considérée est celle de l'assimilation de données, et, dans ce cas, de l'assimilation d'images. Cette approche repose sur les équations de la dynamique du système visualisé par la séquence d'images. Le modèle de dynamique considéré est la conservation lagrangienne de la vitesse et le transport des images et de la carte de distance qui modélise l'objet étudié. La méthode d'assimilation de données choisie, appelée 4D-Var, effectue une optimisation itérative d'une fonction de coût. Cette approche d'assimilation d'images est tout d'abord quantifiée au moyen d'une expérience jumelle, afin de démontrer l'amélioration obtenue sur l'estimation du mouvement. Puis la méthode est appliquée à une séquence d'images satellite météorologiques, avec l'objectif de suivre un nuage tropical. Les visualisations proposées illustrent les différentes composantes de la méthode

Images et Dynamique

The core of this research work concerns the estimation of the dynamics displayed on an image sequence, in particular on satellite acquisitions of the atmosphere and the ocean. The chosen approach is based on the optimal coupling of a numerical model, describing the observed system, and of the images. The mathematical methods are based on data assimilation technics.The model is named ``Image Model'', as it describes the temporal processes creating the evolution of the images. Its design is based either on heuristics or on simplified physical laws, as for instance the shallow water equations that are used for describing the satellite acquisitions of the ocean surface.The document concerns two main types of data assimilation methods: the variational technics, and in particular 4D-Var with or without model error, and the filtering technics, and in particular the ensemble Kalman filter. In each context, the mathematical components of the assimilation system are described and their impact is analyzed. A focus is given on the definition of observations from image data, in order to take into account the displayed structures, and on the definition of the observation operators.La motivation principale de ce travail est l'étude de la dynamique sous-jacente aux séquences d'images, en particulier les données acquises par satellite. L'approche scientifique repose sur l'utilisation d'un modèle mathématique de la dynamique du système observé par le capteur et sur son couplage avec les images par des méthodes d'assimilation de données.Le modèle considéré est appelé ``Modèle Image'', car il décrit les phénomènes temporels sous-jacents à l'évolution des images. Son élaboration repose soit sur des heuristiques soit sur une simplification de lois physiques (par exemple un modèle shallow-water est utilisé pour caractériser les images acquises par satellite sur l'océan).Ce manuscrit s'intéresse à deux types de méthodes d'assimilation : les techniques variationnelles, en particulier le 4D-Var avec ou sans terme d'erreur modèle, et les techniques de filtrage, en particulier le filtre de Kalman d'ensemble. Dans chacun de ces contextes, les différentes composantes mathématiques sont discutées et leur impact sur les résultats est analysée. Une attention particulière est donnée à la définition des observations à partir des images, afin de prendre en compte les structures visualisées, et aux opérateurs d'observation associés.Les méthodes sont illustrées par de nombreux résultats sur des séquences d'images de natures variées

Strategies for processing images with 4D-Var data assimilation methods

Data Assimilation is a well-known mathematical technic used, in environmental sciences, to improve, thanks to observation data, the forecasts obtained by meteorological, oceanographic or air quality simulation models. It aims to solve the evolution equations, describing the dynamics of the state variables, and an observation equation, linking at each space-time location the state vector and the observations. Data Assimilation allows to get a better knowledge of the actual system's state, named the reference. In this article, we first describe various strategies that can be applied in the framework of variational data assimilation to study various image processing issues. Second, we detail the mathematical setting and the analysis of pros and cons of each strategy for the issue of motion estimation. Last, results are provided on synthetic images and satellite acquisitions.L'assimilation de données est un outil largement utilisé dans les sciences de l'environnement pour améliorer, au moyen de données d'observation, les prédictions obtenues par les modèles de simulation. Elle s'applique en météorologie, en océanographie et en qualité de l'air, par exemple. L'assimilation de données permet de résoudre les équations d'évolution, décrivant la dynamique des variables d'état du modèle, et les équations d'observation, qui lient le vecteur d'état et les observations. Dans cet article, nous décrivons plusieurs stratégies d'assimilation d'images, dans le contexte de la formulation faible de l'assimilation variationnelle. Nous détaillons ensuite les équations mathématiques de ces stratégies et nous analysons leurs avantages et défauts respectifs pour une application à l'estimation du mouvement. Des résultats sont fournis sur des données synthétiques et des images satellite