A Convex Approach for Image Restoration with Exact Poisson-Gaussian Likelihood

International audienceThe Poisson-Gaussian model can accurately describe the noise present in a number of imaging systems. However most existing restoration methods rely on approximations of the Poisson-Gaussian noise statistics. We propose a convex optimization strategy for the reconstruction of images degraded by a linear operator and corrupted with a mixed Poisson-Gaussian noise. The originality of our approach consists of considering the exact, mixed continuous-discrete model corresponding to the data statistics. After establishing the Lipschitz differentiability and convexity of the Poisson-Gaussian neg-log-likelihood, we derive a primal-dual iterative scheme for minimizing the associated penalized criterion. The proposed method is applicable to a large choice of convex penalty terms. The robustness of our scheme allows us to handle computational difficulties due to infinite sums arising from the computation of the gradient of the criterion. We propose finite bounds for these sums, that are dependent on the current image estimate, and thus adapted to each iteration of our algorithm. The proposed approach is validated on image restoration examples. Then, the exact data fidelity term is used as a reference for studying some of its various approximations. We show that in a variational framework the Shifted Poisson and Exponential approximations lead to very good restoration results

Fusion rapide d'images multispectrales et hyperspectrales en astronomie infrarouge.

Le James Webb Space Telescope (JWST) sera lancé en octobre 2021 et fournira des images multispectrales (à basse résolution spectrale) sur de larges champs de vue (avec une haute résolution spatiale) et des images hyperspectrales (à haute résolution spectrale) sur des petits champs de vue (avec une plus basse résolution spatiale). Les travaux de cette thèse ont pour but de développer des méthodes de fusion qui combinent ces images pour reconstruire la scène astrophysique observée à haute résolution spatiale et spectrale. Le produit fusionné permettra une amélioration de l'interprétation scientifique des données. Ces travaux s'inscrivent dans le programme d'observation prioritaire Early Release Science "Radiative Feedback of Massive Stars" qui sera mené lors de la première vague des missions scientifiques du JWST en septembre 2022. Le problème de fusion d'images de résolutions spatiales et spectrales différentes a été largement étudié dans un contexte d'observation de la Terre. Les méthodes les plus performantes sont basées sur la résolution de problèmes inverses, en minimisant un critère de fidélité aux données complété par un terme de régularisation. Le terme d'attache aux données est formulé d'après un modèle direct des instruments d'observation. Le terme de régularisation peut être interprété comme une information a priori sur l'image fusionnée. Les principaux enjeux de la fusion de données pour le JWST sont le très gros volume des données fusionnées, considérablement plus grand que la taille typique des images rencontrées en observation de la Terre, et la complexité des deux instruments d’observation. Dans cette thèse, nous proposons d'abord un cadre générique permettant de simuler des observations telles qu'elles seront fournies par deux instruments embarqués sur le JWST: l'imageur multispectral NIRCam et le spectromètre NIRSpec. Ce protocole repose principalement sur une image de référence à hautes résolutions spatiale et spectrale et sur la modélisation des instruments considérés. Dans ces travaux, l'image de référence est synthétiquement créée en exploitant une factorisation réaliste des caractéristiques spatiales et spectrales d'une région de photodissociation. Pour simuler les images multi- et hyperspectrales, nous établissons un modèle d’observation précis respectant les spécifications des instruments NIRCam et de NIRSpec. Ce modèle direct tient compte des particularités des instruments d'observation astrophysique, à savoir un flou spectralement variant pour chacun des instruments, et de leurs caractéristiques de bruit particulières. Ce cadre générique, inspiré par le célèbre protocole de Wald et al. (2005), rend possible la simulation de données réalistes qui seront utilisées pour évaluer les performances des algorithmes de fusion. Ensuite, nous exploitons le modèle direct précédemment établi pour formuler la tâche de fusion comme un problème inverse. En complément du terme d'attache aux données obtenu, un certain nombre de régularisations sont explorées. Tout d'abord, une régularisation spectrale est définie en suivant une hypothèse de rang faible sur l’image fusionnée. Ensuite, les régularisations spatiales suivantes sont eßxplorées : régularisation de type Sobolev, régularisation de type Sobolev à poids, représentation par patch et apprentissage de dictionnaires. Pour surmonter la complexité des modèles instrumentaux ainsi que la très grande taille des données, une implémentation rapide est proposée, en résolvant le problème dans le domaine spatial de Fourier et dans un sousespace spectral. Une importance particulière a été accordée à une prise en compte des incertitudes liées au problème : erreurs de pointage du télescope et de recalage des images

New PDE models for imaging problems and applications

Variational methods and Partial Differential Equations (PDEs) have been extensively employed for the mathematical formulation of a myriad of problems describing physical phenomena such as heat propagation, thermodynamic transformations and many more. In imaging, PDEs following variational principles are often considered. In their general form these models combine a regularisation and a data fitting term, balancing one against the other appropriately. Total variation (TV) regularisation is often used due to its edgepreserving and smoothing properties. In this thesis, we focus on the design of TV-based models for several different applications. We start considering PDE models encoding higher-order derivatives to overcome wellknown TV reconstruction drawbacks. Due to their high differential order and nonlinear nature, the computation of the numerical solution of these equations is often challenging. In this thesis, we propose directional splitting techniques and use Newton-type methods that despite these numerical hurdles render reliable and efficient computational schemes. Next, we discuss the problem of choosing the appropriate data fitting term in the case when multiple noise statistics in the data are present due, for instance, to different acquisition and transmission problems. We propose a novel variational model which encodes appropriately and consistently the different noise distributions in this case. Balancing the effect of the regularisation against the data fitting is also crucial. For this sake, we consider a learning approach which estimates the optimal ratio between the two by using training sets of examples via bilevel optimisation. Numerically, we use a combination of SemiSmooth (SSN) and quasi-Newton methods to solve the problem efficiently. Finally, we consider TV-based models in the framework of graphs for image segmentation problems. Here, spectral properties combined with matrix completion techniques are needed to overcome the computational limitations due to the large amount of image data. Further, a semi-supervised technique for the measurement of the segmented region by means of the Hough transform is proposed