Apport d'une voie panchromatique pour le démélange d'images hyperspectrales

In the field of Earth remote sensing, the blind methods for unmixing hyperspectral (HS) images aim at estimating the spectra of the surface materials present in the image and their abundances in each pixel. Most of the state-of-the-art unmixing methods use assumptions which are not necessarily fulfilled by real data. For example, they often assume the presence of at least one pure pixel for each material or the knowledge of a set of spectra that are quite close to the one seeked for their initialization. These unmixing methods then present limitations. The possibility of using a panchromatic (PAN) image co-registered with a HS image may reduce some of these limitations.In this work, such a HS-PAN unmixing method is developed in the context of the HYPXIM/HYPEX-2 space mission which would ship a HS sensor with an 8 m Ground Sampling Distance (GSD) and a 2 m GSD PAN camera.We first studied different ways of using the PAN image, in particular the computation of local statistics. A heterogeneity criterion computed on the PAN image and tested on two real images has proved to be able to detect pure HS pixels. With this result, a first unmixing method called Heterogeneity-Based Endmember Extraction (HBEE) has been developed. It allows one to estimate spectra (called endmembers) represented by pure HS pixels by detecting all the pure HS pixels and then classifying them. A first set of endmembers is thus extracted.HBEE’s hypothesis does not allow one to estimate all the endmembers from the image. To tackle this problem, we have developed a second unmixing method that aims at estimating the remaining endmembers. This method, called Local Constrained Non-negative Matrix Factorisation (LCNMF), is iterative and local. At each iteration, it computes a reconstruction error map between the original HS image and the one rebuilt with the endmembers estimated by HBEE and LCNMF at the previous iteration. Then, it detects the most poorly rebuilt area and estimates a new endmember in this area.The sensitivity of the performances of the HBEE-LCNMF method with respect to its parameters has been evaluated for synthetic data as well as real data for which a precise groundtruth is available. This study showed that our method correctly estimates the endmembers as well as their number. It also showed that the performance of our method is greatly influenced by the presence of shadows. A set of default parameter values has also been derived from this study.Finally, the performances of our method and of a selection of state-of-the-art methods have been compared. For synthetic data, HBEE-LCNMF yields the best performance. Our method provides equivalent performance compared to the other methods when applied to real data containing less than about ten materials. However, its performance decrease faster than that of most other methods when the image size increases.The use of HBEE-LCNMF is then suitable for medium-size images containing less than about ten materials. One of the perspectives of this work is to divide large images into smaller regions and apply the method to each of them.Cette thèse s'articule autour du démélange spectral sur des images d'observation de la Terre. La problématique est d'estimer de manière aveugle les spectres en réflectance ainsi que les abondances des matériaux purs présents dans une image hyperspectrale (HS) dont chaque pixel contient la contribution spectrale d’un ou de plusieurs de ces matériaux. La plupart des méthodes de démélange de la littérature se fondent sur des hypothèses qui ne sont pas nécessairement vérifiées sur des images réelles, par exemple la présence d’un pixel pur pour chaque matériau, ou la connaissance d’un jeu de spectres initial très proche de celui recherché. Elles présentent donc des limitations. La possibilité de coupler une image HS avec une image panchromatique (PAN) est une opportunité pour réduire certaines de ces limitations.L’application visée pour une telle méthode de démélange HS-PAN est la mission spatiale HYPXIM/HYPEX-2, qui prévoit d’embarquer une caméra HS de résolution spatiale limitée (de l’ordre de 8 m) ainsi qu'une caméra PAN de résolution spatiale plus fine (de l’ordre de 2 m). Nous avons tout d'abord étudié les différentes possibilités d'utilisation de l’image PAN, notamment aux travers de ses statistiques locales. Nous avons montré que, sur deux jeux de données réelles, il est possible de détecter des pixels purs sur l’image HS à l'aide d'un critère d'hétérogénéité calculé sur l'image PAN. Une première méthode de démélange spectral, nommée Heterogeneity-Based Endmember Extraction (HBEE), a alors été développée. Elle permet d'estimer les spectres des matériaux représentés par des pixels purs dans l'image, en s'appuyant sur une étape de détection des pixels purs suivie d'une étape de classification. L'hypothèse que pose HBEE ne permet pas d’estimer tous les spectres représentant les matériaux purs présents dans l’image (appelés pôles de mélange). Nous avons donc développé une méthode d'estimation des spectres des matériaux qui ne sont pas représentés par des pixels purs. Cette méthode, baptisée Local Constrained Non-negative Matrix Factorisation (LCNMF), est itérative et locale. A chaque itération, elle calcule la carte de l'erreur de reconstruction entre l'image HS originale et l'image reconstruite avec le jeu de pôles de mélange estimés par HBEE et par LCNMF jusqu’à l’itération précédente, puis elle détecte la zone la plus mal reconstruite et y estime le pôle de mélange inconnu, supposé unique sur cette zone.La sensibilité des performances de HBEE-LCNMF à ses paramètres ainsi que son comportement ont été évalués sur données synthétiques, puis sur des données réelles dont la vérité terrain est maîtrisée. Cette étude a montré les avantages de la méthode lorsque les hypothèses posées sont vérifiées, notamment sa capacité à estimer correctement les pôles de mélange ainsi que leur nombre. Elle a aussi mis en évidence les limites de la méthode, en particulier en présence d’ombre. Des valeurs de paramètres par défaut ont ainsi été définies. Enfin, les performances de HBEE-LCNMF ont été comparées à celles d'une sélection de méthodes de l'état de l'art du démélange spectral. Sur données synthétiques, HBEE-LCNMF produit les meilleures performances. Sur des images réelles contenant moins d’une dizaine de matériaux, les performances de la méthode développée sont équivalentes à ou meilleures que celles des autres méthodes. Mais, les performances de HBEE-LCNMF se dégradent plus rapidement que celles des autres méthodes lorsque la taille des images augmente.L’utilisation de la méthode HBEE-LCNMF est donc recommandé dans le traitement d'images de taille limitée et contenant moins d'une dizaine de matériaux purs. Une des perspectives de ce travail est d’appliquer notre méthode sur une image de grande taille qui aura été préalablement découpée en plusieurs régions de taille réduite

Using a panchromatic image for hyperspectral image unmixing

Cette thèse s'articule autour du démélange spectral sur des images d'observation de la Terre. La problématique est d'estimer de manière aveugle les spectres en réflectance ainsi que les abondances des matériaux purs présents dans une image hyperspectrale (HS) dont chaque pixel contient la contribution spectrale d'un ou de plusieurs de ces matériaux. La plupart des méthodes de démélange de la littérature se fondent sur des hypothèses qui ne sont pas nécessairement vérifiées sur des images réelles, par exemple la présence d'un pixel pur pour chaque matériau, ou la connaissance d'un jeu de spectres initial très proche de celui recherché. Elles présentent donc des limitations. La possibilité de coupler une image HS avec une image panchromatique (PAN) est une opportunité pour réduire certaines de ces limitations. L'application visée pour une telle méthode de démélange HS-PAN est la mission spatiale HYPXIM/HYPEX-2, qui prévoit d'embarquer une caméra HS de résolution spatiale limitée (de l'ordre de 8 m) ainsi qu'une caméra PAN de résolution spatiale plus fine (de l'ordre de 2 m). Nous avons tout d'abord étudié les différentes possibilités d'utilisation de l'image PAN, notamment aux travers de ses statistiques locales. Nous avons montré que, sur deux jeux de données réelles, il est possible de détecter des pixels purs sur l'image HS à l'aide d'un critère d'hétérogénéité calculé sur l'image PAN. Une première méthode de démélange spectral, nommée Heterogeneity-Based Endmember Extraction (HBEE), a alors été développée. Elle permet d'estimer les spectres des matériaux représentés par des pixels purs dans l'image, en s'appuyant sur une étape de détection des pixels purs suivie d'une étape de classification. L'hypothèse que pose HBEE ne permet pas d'estimer tous les spectres représentant les matériaux purs présents dans l'image (appelés pôles de mélange). Nous avons donc développé une méthode d'estimation des spectres des matériaux qui ne sont pas représentés par des pixels purs. Cette méthode, baptisée Local Constrained Non-negative Matrix Factorisation (LCNMF), est itérative et locale. A chaque itération, elle calcule la carte de l'erreur de reconstruction entre l'image HS originale et l'image reconstruite avec le jeu de pôles de mélange estimés par HBEE et par LCNMF jusqu'à l'itération précédente, puis elle détecte la zone la plus mal reconstruite et y estime le pôle de mélange inconnu, supposé unique sur cette zone. La sensibilité des performances de HBEE-LCNMF à ses paramètres ainsi que son comportement ont été évalués sur données synthétiques, puis sur des données réelles dont la vérité terrain est maîtrisée. Cette étude a montré les avantages de la méthode lorsque les hypothèses posées sont vérifiées, notamment sa capacité à estimer correctement les pôles de mélange ainsi que leur nombre. Elle a aussi mis en évidence les limites de la méthode, en particulier en présence d'ombre. Des valeurs de paramètres par défaut ont ainsi été définies. Enfin, les performances de HBEE-LCNMF ont été comparées à celles d'une sélection de méthodes de l'état de l'art du démélange spectral. Sur données synthétiques, HBEE-LCNMF produit les meilleures performances. Sur des images réelles contenant moins d'une dizaine de matériaux, les performances de la méthode développée sont équivalentes à ou meilleures que celles des autres méthodes. L'utilisation de la méthode HBEE-LCNMF est donc recommandé dans le traitement d'images de taille limitée et contenant moins d'une dizaine de matériaux purs. Une des perspectives de ce travail est d'appliquer notre méthode sur une image de grande taille qui aura été préalablement découpée en plusieurs régions de taille réduite.In the field of Earth remote sensing, the blind methods for unmixing hyperspectral (HS) images aim at estimating the spectra of the surface materials present in the image and their abundances in each pixel. Most of the state-of-the-art unmixing methods use assumptions which are not necessarily fulfilled by real data. For example, they often assume the presence of at least one pure pixel for each material or the knowledge of a set of spectra that are quite close to the one seeked for their initialization. These unmixing methods then present limitations. The possibility of using a panchromatic (PAN) image co-registered with a HS image may reduce some of these limitations. In this work, such a HS-PAN unmixing method is developed in the context of the HYPXIM/HYPEX-2 space mission which would ship a HS sensor with an 8 m Ground Sampling Distance (GSD) and a 2 m GSD PAN camera. We first studied different ways of using the PAN image, in particular the computation of local statistics. A heterogeneity criterion computed on the PAN image and tested on two real images has proved to be able to detect pure HS pixels. With this result, a first unmixing method called Heterogeneity-Based Endmember Extraction (HBEE) has been developed. It allows one to estimate spectra (called endmembers) represented by pure HS pixels by detecting all the pure HS pixels and then classifying them. A first set of endmembers is thus extracted. HBEE's hypothesis does not allow one to estimate all the endmembers from the image. To tackle this problem, we have developed a second unmixing method that aims at estimating the remaining endmembers. This method, called Local Constrained Non-negative Matrix Factorisation (LCNMF), is iterative and local. At each iteration, it computes a reconstruction error map between the original HS image and the one rebuilt with the endmembers estimated by HBEE and LCNMF at the previous iteration. Then, it detects the most poorly rebuilt area and estimates a new endmember in this area. The sensitivity of the performances of the HBEE-LCNMF method with respect to its parameters has been evaluated for synthetic data as well as real data for which a precise groundtruth is available. This study showed that our method correctly estimates the endmembers as well as their number. It also showed that the performance of our method is greatly influenced by the presence of shadows. A set of default parameter values has also been derived from this study. Finally, the performances of our method and of a selection of state-of-the-art methods have been compared. For synthetic data, HBEE-LCNMF yields the best performance. Our method provides equivalent performance compared to the other methods when applied to real data containing less than about ten materials. However, its performance decrease faster than that of most other methods when the image size increases. The use of HBEE-LCNMF is then suitable for medium-size images containing less than about ten materials. One of the perspectives of this work is to divide large images into smaller regions and apply the method to each of them

Analytical performance analysis for blind quantum source separation with time-varying coupling

International audienceClassical, i.e. non-quantum, blind source separation (BSS) methods estimate unknown source signals by using only mixed signals obtained by transferring these source signals through a mixing transform, which typically has unknown parameter values. We developed quantum versions of BSS, in which the mixing parameter values almost always remained fixed over time. We here show that rapidly varying mixing is much more complex to handle, because unknown quantum states cannot be cloned, i.e. copied. We avoid this issue thanks to a specific separating system based on a master-slave structure. We provide an original analytical analysis of the performance of that structure, depending on the mismatch between its master and slave inverting blocks

Analytical performance analysis for blind quantum source separation with time-varying coupling

International audienceClassical, i.e. non-quantum, blind source separation (BSS) methods estimate unknown source signals by using only mixed signals obtained by transferring these source signals through a mixing transform, which typically has unknown parameter values. We developed quantum versions of BSS, in which the mixing parameter values almost always remained fixed over time. We here show that rapidly varying mixing is much more complex to handle, because unknown quantum states cannot be cloned, i.e. copied. We avoid this issue thanks to a specific separating system based on a master-slave structure. We provide an original analytical analysis of the performance of that structure, depending on the mismatch between its master and slave inverting blocks

A new hyperspectral unmixing method using co-registered hyperspectral and panchromatic images

International audienceIn this paper, we propose a novel way of unmixing space-borne hyperspectral images using a co-registered hyperspec-tral image and a high-spatial-resolution panchromatic image. The unmixing is achieved by a two-step approach. First, an extraction of pure pixels using a panchromatic homogeneity criterion is performed and a reconstruction error map is generated. Then, a local semi-supervised Non-negative Matrix Factorization (NMF) is performed on badly reconstructed areas in order to estimate material spectra that are not represented by pure pixels in the image. This approach is tested on real data for the first step, and on both synthetic and real data for the second step

Utilisation d'une image panchromatique pour améliorer le démixage hyperspectral

International audienceHyperspectral unmixing is a widely studied field of research aiming at estimating the pure material signatures and their abundance fractions from hyperspectral images. Most spectral unmixing methods are based on prior knowledge and assumptions that induce limitations, such as the existence of at least one pure pixel for each material. This work presents a new approach aiming to overcome some of these limitations by introducing a co-registered panchromatic image in the unmixing process. Our method, called Heterogeneity-Based Endmember Extraction coupled with Local Constrained Non-negative Matrix Factorization (HBEE-LCNMF), has several steps: a first set of endmembers is estimated based on a heterogeneity criterion applied on the panchromatic image followed by a spectral clustering. Then, in order to complete this first endmember set, a local approach using a constrained non-negative matrix factorization strategy, is proposed. The performance of our method, in regards of several criteria, is compared to those of state-of-the-art methods obtained on synthetic and satellite data describing urban and periurban scenes, and considering the French HYPXIM/HYPEX2 mission characteristics. The synthetic images are built with real spectral reflectances and do not contain a pure pixel for each endmember. The satellite images are simulated from airborne acquisition with the spatial and spectral features of the mission. Our method demonstrates the benefit of a panchromatic image to reduce some well-known limitations in unmixing hyperspectral data. On synthetic data, our method reduces the spectral angle between the endmembers and the real material spectra by 46% compared to the Vertex Component Analysis (VCA) and N-finder (N-FINDR) methods. On real data, HBEE-LCNMF and other methods yield equivalent performance, but, the proposed method shows more robustness over the data sets compared to the tested state-of-the-art methods. Moreover, HBEE-LCNMF does not require one to know the number of endmembers.Le démixage hyperspectral est un domaine de recherche largement étudié visant à estimer les signatures de matériaux purs et leurs fractions d'abondance à partir d'images hyperspectrales. La plupart des méthodes de démixage spectral sont basées sur des connaissances et des hypothèses a priori qui induisent des limitations telles que l'existence d'au moins un pixel pur pour chaque matériau. Ce travail présente une nouvelle approche visant à surmonter certaines de ces limitations en introduisant une image panchromatique co-enregistrée dans le processus de démixage. Notre méthode, dénommée HBEE-LCNMF, comporte plusieurs étapes: un premier ensemble de membres terminaux est estimé sur la base d'un critère d'hétérogénéité appliqué sur l'image panchromatique suivi d'un clustering spectral. Ensuite, afin de compléter ce premier ensemble de membres finaux, une approche locale utilisant une stratégie de factorisation matricielle non négative contrainte, est proposée. Les performances de notre méthode, au regard de plusieurs critères, sont comparées à celles de la méthode de pointe obtenue sur données synthétiques et satellitaires. Les images synthétiques sont construites avec une réflectance spectrale réelle. Les images satellites sont simulées à partir d'une acquisition aéroportée avec les caractéristiques spatiales et spectrales de la mission française HYPXIM. Notre méthode démontre l'avantage d'une image panchromatique pour réduire certaines limitations bien connues du démixage des données hyperspectrales. Sur des données synthétiques, notre méthode réduit l'angle spectral entre les extrémités et les spectres de matériaux réels de 46 \% par rapport aux méthodes VCA et NFINDR. Sur des données réelles, les méthodes HBEE-LCNMF et autres donnent des performances équivalentes, mais la méthode proposée montre une plus grande robustesse sur les ensembles de données par rapport aux méthodes de pointe testées. De plus, HBEE-LCNMF n'exige pas que l'on connaisse le nombre de membres terminaux, ce qui est une tâche difficile selon l'image

Caractérisation de la qualité biologique des Masses d'Eau Côtières : Cartographie des herbiers de Zostera noltei du Bassin d'Arcachon (MEC FRFC06 – Arcachon amont) par imagerie hyperspectrale

In 2019, the Zostera noltei beds of the coastal water body "MEC FRFC06 - Arcachon amont" were mapped from a hyperspectral image acquired for this purpose. The use of an automatic classification, based on a spectral unmixing method, combined with field validation and post-processing, made it possible to determine the extent of this species with a good level of reliability. The area colonised by Zostera noltei in 2019 was compared to that of 1989 and 2012. The results obtained show that after a period of strong regression starting in the 2000s, the area of these intertidal meadows has been relatively stable between 2012 and 2019. The next map, which will be produced in 2025, will confirm or refute this trend.En 2019, les herbiers de Zostera noltei de la masse d’eau côtière "MEC FRFC06 - Arcachon amont" ont été cartographiés à partir d’une image hyperspectrale acquise à cet effet. L’utilisation d’une classification automatique, basée sur une méthode de démélange spectral, associée à de la validation terrain et du post-traitement, a permis de déterminer l’emprise de cette espèce avec un bon niveau de fiabilité. La surface colonisée par Zostera noltei en 2019 a été comparée à celles des années 1989 et 2012. Les résultats obtenus montrent qu’après une période de forte régression ayant débuté au cours des années 2000, l’emprise de ces herbiers intertidaux a été relativement stable entre 2012 et 2019. La prochaine carte, qui sera produite en 2025, permettra de confirmer ou d’infirmer cette tendance