From representation learning to thematic classification - Application to hierarchical analysis of hyperspectral images

Numerous frameworks have been developed in order to analyze the increasing amount of available image data. Among those methods, supervised classification has received considerable attention leading to the development of state-of-the-art classification methods. These methods aim at inferring the class of each observation given a specific class nomenclature by exploiting a set of labeled observations. Thanks to extensive research efforts of the community, classification methods have become very efficient. Nevertheless, the results of a classification remains a highlevel interpretation of the scene since it only gives a single class to summarize all information in a given pixel. Contrary to classification methods, representation learning methods are model-based approaches designed especially to handle high-dimensional data and extract meaningful latent variables. By using physic-based models, these methods allow the user to extract very meaningful variables and get a very detailed interpretation of the considered image. The main objective of this thesis is to develop a unified framework for classification and representation learning. These two methods provide complementary approaches allowing to address the problem using a hierarchical modeling approach. The representation learning approach is used to build a low-level model of the data whereas classification is used to incorporate supervised information and may be seen as a high-level interpretation of the data. Two different paradigms, namely Bayesian models and optimization approaches, are explored to set up this hierarchical model. The proposed models are then tested in the specific context of hyperspectral imaging where the representation learning task is specified as a spectral unmixing proble

Fusion rapide d'images multispectrales et hyperspectrales en astronomie infrarouge.

Le James Webb Space Telescope (JWST) sera lancé en octobre 2021 et fournira des images multispectrales (à basse résolution spectrale) sur de larges champs de vue (avec une haute résolution spatiale) et des images hyperspectrales (à haute résolution spectrale) sur des petits champs de vue (avec une plus basse résolution spatiale). Les travaux de cette thèse ont pour but de développer des méthodes de fusion qui combinent ces images pour reconstruire la scène astrophysique observée à haute résolution spatiale et spectrale. Le produit fusionné permettra une amélioration de l'interprétation scientifique des données. Ces travaux s'inscrivent dans le programme d'observation prioritaire Early Release Science "Radiative Feedback of Massive Stars" qui sera mené lors de la première vague des missions scientifiques du JWST en septembre 2022. Le problème de fusion d'images de résolutions spatiales et spectrales différentes a été largement étudié dans un contexte d'observation de la Terre. Les méthodes les plus performantes sont basées sur la résolution de problèmes inverses, en minimisant un critère de fidélité aux données complété par un terme de régularisation. Le terme d'attache aux données est formulé d'après un modèle direct des instruments d'observation. Le terme de régularisation peut être interprété comme une information a priori sur l'image fusionnée. Les principaux enjeux de la fusion de données pour le JWST sont le très gros volume des données fusionnées, considérablement plus grand que la taille typique des images rencontrées en observation de la Terre, et la complexité des deux instruments d’observation. Dans cette thèse, nous proposons d'abord un cadre générique permettant de simuler des observations telles qu'elles seront fournies par deux instruments embarqués sur le JWST: l'imageur multispectral NIRCam et le spectromètre NIRSpec. Ce protocole repose principalement sur une image de référence à hautes résolutions spatiale et spectrale et sur la modélisation des instruments considérés. Dans ces travaux, l'image de référence est synthétiquement créée en exploitant une factorisation réaliste des caractéristiques spatiales et spectrales d'une région de photodissociation. Pour simuler les images multi- et hyperspectrales, nous établissons un modèle d’observation précis respectant les spécifications des instruments NIRCam et de NIRSpec. Ce modèle direct tient compte des particularités des instruments d'observation astrophysique, à savoir un flou spectralement variant pour chacun des instruments, et de leurs caractéristiques de bruit particulières. Ce cadre générique, inspiré par le célèbre protocole de Wald et al. (2005), rend possible la simulation de données réalistes qui seront utilisées pour évaluer les performances des algorithmes de fusion. Ensuite, nous exploitons le modèle direct précédemment établi pour formuler la tâche de fusion comme un problème inverse. En complément du terme d'attache aux données obtenu, un certain nombre de régularisations sont explorées. Tout d'abord, une régularisation spectrale est définie en suivant une hypothèse de rang faible sur l’image fusionnée. Ensuite, les régularisations spatiales suivantes sont eßxplorées : régularisation de type Sobolev, régularisation de type Sobolev à poids, représentation par patch et apprentissage de dictionnaires. Pour surmonter la complexité des modèles instrumentaux ainsi que la très grande taille des données, une implémentation rapide est proposée, en résolvant le problème dans le domaine spatial de Fourier et dans un sousespace spectral. Une importance particulière a été accordée à une prise en compte des incertitudes liées au problème : erreurs de pointage du télescope et de recalage des images

Matrix cofactorization for joint representation learning and supervised classification : application to hyperspectral image analysis

International audienceSupervised classification and representation learning are two widely used classes of methods to analyze multivariate images. Although complementary, these methods have been scarcely considered jointly in a hierarchical modeling. In this paper, a method coupling these two approaches is designed using a matrix cofactorization formulation. Each task is modeled as a factorization matrix problem and a term relating both coding matrices is then introduced to drive an appropriate coupling. The link can be interpreted as a clustering operation over the low-dimensional representation vectors. The attribution vectors of the clustering are then used as features vectors for the classification task, i.e., the coding vectors of the corresponding factorization problem. A proximal gradient descent algorithm, ensuring convergence to a critical point of the objective function, is then derived to solve the resulting non-convex non-smooth optimization problem. An evaluation of the proposed method is finally conducted both on synthetic and real data in the specific context of hyperspectral image interpretation, unifying two standard analysis techniques, namely unmixing and classification