Image Fusion in Remote Sensing and Quality Evaluation of Fused Images

In remote sensing, acquired optical images of high spectral resolution have usually a lower spatial resolution than images of lower spectral resolution. This is due to physical, cost and complexity constraints. To make the most of the available imagery, many image fusion techniques have been developed to address this problem. Image fusion is an ill-posed inverse problem where an image of low spatial resolution and high spectral resolution is enhanced in spatial-resolution by using an auxiliary image of high spatial resolution and low spectral resolution. It is assumed that both images display the same scene and are properly co-registered. Thus, the problem is essentially to transfer details from the higher spatial resolution auxiliary image to the upscaled lower resolution image in a manner that minimizes the spatial and spectral distortion of the fused image. The most common image fusion problem is pansharpening, where a multispectral (MS) image is enhanced using wide-band panchromatic (PAN) image. A similar problem is the enhancement of a hyperspectral (HS) image by either a PAN image or an MS image. As there is no reference image available, the reliable quantitative evaluation of the quality of the fused image is a difficult problem. This thesis addresses the image fusion problem in three different ways and also addresses the problem of quantitative quality evaluation.Í fjarkönnun hafa myndir með háa rófsupplausn lægri rúmupplausn en myndir með lægri rófsupplausn vegna eðlisfræðilegra og kostnaðarlegra takmarkana. Til að auka upplýsingamagn slíkra mynda hafa verið þróaðar fjölmargar sambræðsluaðferðir á síðustu tveimur áratugum. Myndsambræðsla er illa framsett andhverft vandmál (e. inverse problem) þar sem rúmupplausn myndar af hárri rófsupplausn er aukin með því að nota upplýsingar frá mynd af hárri rúmupplausn og lægri rófsupplausn. Það er gert ráð fyrir að báðar myndir sýni nákvæmlega sama landsvæði. Þannig er vandamálið í eðli sínu að flytja fíngerða eiginleika myndar af hærri rúmupplausn yfir á mynd af lægri rúmupplausn sem hefur verið brúuð upp í stærð hinnar myndarinnar, án þess að skerða gæði rófsupplýsinga upphaflegu myndarinnar. Algengasta myndbræðsluvandamálið í fjarkönnun er svokölluð panskerpun (e. pansharpening) þar sem fjölrásamynd (e. multispectral image) er endurbætt í rúmi með svokallaðri víðbandsmynd (e. panchromatic image) sem hefur aðeins eina rás af hárri upplausn. Annað svipað vandamál er sambræðsla háfjölrásamyndar (e. hyperspectral image) og annaðhvort fjölrásamyndar eða víðbandsmyndar. Þar sem myndsambræðsla er andhverft vandmál er engin háupplausnar samanburðarmynd tiltæk, sem gerir mat á gæðum sambræddu myndarinnar að erfiðu vandamáli. Í þessari ritgerð eru kynntar þrjár aðferðir sem taka á myndsambræðlsu og einnig er fjallað um mat á gæðum sambræddra mynda, þá sérstaklega panskerptra mynda

Fusion rapide d'images multispectrales et hyperspectrales en astronomie infrarouge.

Le James Webb Space Telescope (JWST) sera lancé en octobre 2021 et fournira des images multispectrales (à basse résolution spectrale) sur de larges champs de vue (avec une haute résolution spatiale) et des images hyperspectrales (à haute résolution spectrale) sur des petits champs de vue (avec une plus basse résolution spatiale). Les travaux de cette thèse ont pour but de développer des méthodes de fusion qui combinent ces images pour reconstruire la scène astrophysique observée à haute résolution spatiale et spectrale. Le produit fusionné permettra une amélioration de l'interprétation scientifique des données. Ces travaux s'inscrivent dans le programme d'observation prioritaire Early Release Science "Radiative Feedback of Massive Stars" qui sera mené lors de la première vague des missions scientifiques du JWST en septembre 2022. Le problème de fusion d'images de résolutions spatiales et spectrales différentes a été largement étudié dans un contexte d'observation de la Terre. Les méthodes les plus performantes sont basées sur la résolution de problèmes inverses, en minimisant un critère de fidélité aux données complété par un terme de régularisation. Le terme d'attache aux données est formulé d'après un modèle direct des instruments d'observation. Le terme de régularisation peut être interprété comme une information a priori sur l'image fusionnée. Les principaux enjeux de la fusion de données pour le JWST sont le très gros volume des données fusionnées, considérablement plus grand que la taille typique des images rencontrées en observation de la Terre, et la complexité des deux instruments d’observation. Dans cette thèse, nous proposons d'abord un cadre générique permettant de simuler des observations telles qu'elles seront fournies par deux instruments embarqués sur le JWST: l'imageur multispectral NIRCam et le spectromètre NIRSpec. Ce protocole repose principalement sur une image de référence à hautes résolutions spatiale et spectrale et sur la modélisation des instruments considérés. Dans ces travaux, l'image de référence est synthétiquement créée en exploitant une factorisation réaliste des caractéristiques spatiales et spectrales d'une région de photodissociation. Pour simuler les images multi- et hyperspectrales, nous établissons un modèle d’observation précis respectant les spécifications des instruments NIRCam et de NIRSpec. Ce modèle direct tient compte des particularités des instruments d'observation astrophysique, à savoir un flou spectralement variant pour chacun des instruments, et de leurs caractéristiques de bruit particulières. Ce cadre générique, inspiré par le célèbre protocole de Wald et al. (2005), rend possible la simulation de données réalistes qui seront utilisées pour évaluer les performances des algorithmes de fusion. Ensuite, nous exploitons le modèle direct précédemment établi pour formuler la tâche de fusion comme un problème inverse. En complément du terme d'attache aux données obtenu, un certain nombre de régularisations sont explorées. Tout d'abord, une régularisation spectrale est définie en suivant une hypothèse de rang faible sur l’image fusionnée. Ensuite, les régularisations spatiales suivantes sont eßxplorées : régularisation de type Sobolev, régularisation de type Sobolev à poids, représentation par patch et apprentissage de dictionnaires. Pour surmonter la complexité des modèles instrumentaux ainsi que la très grande taille des données, une implémentation rapide est proposée, en résolvant le problème dans le domaine spatial de Fourier et dans un sousespace spectral. Une importance particulière a été accordée à une prise en compte des incertitudes liées au problème : erreurs de pointage du télescope et de recalage des images