Hyper-Spectral Image Analysis with Partially-Latent Regression and Spatial Markov Dependencies

Hyper-spectral data can be analyzed to recover physical properties at large planetary scales. This involves resolving inverse problems which can be addressed within machine learning, with the advantage that, once a relationship between physical parameters and spectra has been established in a data-driven fashion, the learned relationship can be used to estimate physical parameters for new hyper-spectral observations. Within this framework, we propose a spatially-constrained and partially-latent regression method which maps high-dimensional inputs (hyper-spectral images) onto low-dimensional responses (physical parameters such as the local chemical composition of the soil). The proposed regression model comprises two key features. Firstly, it combines a Gaussian mixture of locally-linear mappings (GLLiM) with a partially-latent response model. While the former makes high-dimensional regression tractable, the latter enables to deal with physical parameters that cannot be observed or, more generally, with data contaminated by experimental artifacts that cannot be explained with noise models. Secondly, spatial constraints are introduced in the model through a Markov random field (MRF) prior which provides a spatial structure to the Gaussian-mixture hidden variables. Experiments conducted on a database composed of remotely sensed observations collected from the Mars planet by the Mars Express orbiter demonstrate the effectiveness of the proposed model.Comment: 12 pages, 4 figures, 3 table

Interpolation de données manquantes dans des séquences multi-modales d'images géophysiques satellitaires

Session "Articles"National audienceCet article étudie l'estimation conjointe de données manquantes et de champs de déplacements dans des séquences multimodales d'observations satellitaires géophysiques. La complexité de la tâche est liée au taux élevé de données manquantes (entre 20% et 90%) pour des observations journalières de haute résolution et la reconstruction de structures fines en accord avec la dynamique sous jacente. Nous avons développé une méthode basée sur l'assimilation variationnelle de données pour des séries multimodales et multi-résolutions. A l'aide de données synthétiques et de données réelles de la surface océanique, une évaluation numérique et qualitative démontre l'apport de deux composantes clés du modèle proposé: la fusion d'informations multimodales à partir d'une contrainte géométrique basée sur les structures frontales, et la méthode d'assimilation variationnelle utilisant comme à priori dynamique un modèle d'advection-diffusion. Les expérimentations conduites montrent que de bonnes performances de reconstruction sont obtenues pour les observations hautes résolutions en dépit du pourcentage élevé de données manquante

Tracking Multiple Persons Based on a Variational Bayesian Model

International audienceObject tracking is an ubiquitous problem in computer vision with many applications in human-machine and human-robot interaction, augmented reality, driving assistance, surveillance, etc. Although thoroughly investigated, tracking multiple persons remains a challenging and an open problem. In this paper, an online variational Bayesian model for multiple-person tracking is proposed. This yields a variational expectation-maximization (VEM) algorithm. The computational efficiency of the proposed method is due to closed-form expressions for both the posterior distributions of the latent variables and for the estimation of the model parameters. A stochastic process that handles person birth and person death enables the tracker to handle a varying number of persons over long periods of time. The proposed method is benchmarked using the MOT 2016 dataset

Prévision de trajectoires de cyclones à l'aide de forêts aléatoires avec arbres de régression

International audienceNous présentons une étude pour la prédiction des trajectoires de cyclones dans l'océan Atlantique Nord à partir de données issues d'images satellites. On y extrait des mesures de vitesses de vent, de vorticité, d'humidité (base JRA-25)et des mesures de latitude, de longitude et de vitesse de vent instantanée des cyclones toutes les 6 heures (base IBTrACS). Les modèles de référence à ce jour ne tiennent pas compte des corrélations entre les données et les prévisions ce qui limite leur intérêt pour certains utilisateurs. Nous proposons ainsi de prédire le déplacement en latitude et le déplacement en longitude au même instant à un horizon de 120 h toutes les 6 h à l'aide de forêts aléatoires avec arbres de régression. Sur le long terme, à partir de 18 h, la méthode proposée donne de meilleurs résultats que les méthodes existantes

Segmentation of mesoscale ocean surface dynamics using satellite SST and SSH observations

International audienceMulti-satellite measurements of altimeter-derived Sea Surface Height (SSH) and Sea Surface Temperature (SST) provide a wealth of information about ocean circulation, especially mesoscale ocean dynamics which may involve strong spatio-temporal relationships between SSH and SST fields. Within an observation-driven framework, we investigate the extent to which mesoscale ocean dynamics may be decomposed into a mixture of dynamical modes, characterized by different local regressions between SSH and SST fields. Formally, we develop a novel latent class regression model to identify dynamical modes from joint SSH and SST observation series. Applied to the highly dynamical Agulhas region, we demonstrate and discuss the geophysical relevance of the proposed mixture model to achieve a spatio-temporal segmentation of the upper ocean dynamics

Variational and Shape Prior-based Level Set Model for Image Segmentation

International audienceA new image segmentation model based on level sets approach is presented herein. We deal with radiographic medical images where boundaries are not salient, and objects of interest have the same gray level as other structures in the image. Thus, an a priori information about the shape we look for is integrated in the level set evolution for good segmentation results. The proposed model also accounts a penalization term that forces the level set to be close to a signed distance function (SDF), which then avoids the re-initialization procedure. In addition, a variant and complete Mumford-Shah model is used in our functional; the added Hausdorff measure helps to better handle zones where boundaries are occluded or not salient. Finally, a weighted area term is added to the functional to make the level set drive rapidly to object's boundaries. The segmentation model is formulated in a variational framework, which, thanks to calculus of variations, yields to partial differential equations (PDEs) to guide the level set evolution. Results obtained on both synthetic and digital radiographs reconstruction (DRR) show that the proposed model improves on existing prior and non-prior shape based image segmentation

Spatio-temporal segmentation and estimation of ocean surface currents from satellite sea surface temperature fields

International audienceThe use of satellite Sea Surface Temperature (SST) fields to retrieve zonal and meridional surface currents (U,V) is now a widespread idea. Since the classical approach involves temporal differencing of SST fields, we investigate in this paper the extent to which mesoscale ocean dynamics may be decomposed into a superposition of dynamical modes, characterized by different linear relationships between surface currents and temperature fields. Based on a completely observation-driven approach, we propose a latent class regression model from local satellite surface currents and patches of SST measurements. Applied to the highly dynamical Agulhas region, we demonstrate and discuss the geophysical relevance of the proposed mixture model to achieve a spatio-temporal segmentation and tracking of the ocean surface dynamical modes. Moreover, we show the accuracy of the proposed model to predict mesoscale surface currents from SST single maps

On the use of visual motion in particle filter tracking

Particle filtering is now established as one of the most popular methods for visual tracking. Within this framework, a basic assumption is that the data are temporally independent given the sequence of object states. In this paper, we argue that in general the data are correlated, and that modeling such dependency should improve tracking robustness. Besides, the choice of using the transition prior as proposal distribution is also often made. Thus, the current observation data is not taken into account in the generation of the new samples, requesting the noise process of the prior to be large enough to handle abrupt trajectory changes between the previous image data and the new one. Therefore, many particles are either wasted in low likelihood area, resulting in a low efficiency of the sampling, or, more importantly, propagated on near distractor regions of the image, resulting in tracking failures. In this paper, we propose to handle both issues using motion. Explicit motion measurements are used to drive the sampling process towards the new interesting regions of the image, while implicit motion measurements are introduced in the likelihood evaluation to model the data correlation term. The proposed model allows to handle abrupt motion changes and to filter out visual distractors when tracking objects with generic models based on shape or color distribution representations. Experimental results compared against the CONDENSATION algorithm have demonstrated superior tracking performance.Le filtrage par méthode de Monte-Carlo séquentielle (MCS) est l’une des méthodes les plus populaires pour effectuer du suivi visuel. Dans ce contexte, une hypothèse importante faite généralement stipule que, étant donnée la position d’un objet dans des images successives, les observations extraites de ces dernières sont indépendantes. Dans cet article, nous soutenons que, au contraire, ces observation sont fortement corrélées et que la prise en compte de cette corrélation permet d’améliorer le suivi. Par ailleurs, un choix relativement fréquent consiste à utiliser le modèle dynamique a priori comme fonction de proposition. Par conséquent la génération des échantillons à l’instant courant se fait en aveugle, c’est-à-dire sans exploiter d’information liée à l’image courante. Il en résulte que la variance du bruit dans le modèle dynamique doit être fixée à une valeur importante afin de pouvoir appréhender de rapides changements de trajectoire. De ce fait de nombreuses particules sont générées inutilement dans des régions de faible vraisemblance, ce qui réduit l’efficacité de l’échantillonnage, ou sont propagées sur des ambiguïtés voisines de la vraie trajectoire, ce qui, ultérieurement, peut conduire à des erreurs de suivi. Dans cet article, nous proposons d’utiliser le mouvement visuel afin de remédier aux deux problèmes soulevés. Des mesures de mouvement explicites sont utilisées pour diriger l’échantillonnage vers les nouvelles régions intéressantes de l’image, tandis que des mesures implicites et explicites sont introduites dans la distribution de vraisemblance afin de modéliser la corrélation entre données temporelles. Le nouveau modèle permet d’appréhender des mouvements brusques et de lever des ambiguïtés visuelles tout en gardant des modèles d’objet simples basés sur des contours ou des distribution de couleurs, comme le montrent les résultats obtenus sur plusieurs séquences et comparés à la méthode classique de CONDENSATION