Kernel Feature Extraction Methods for Remote Sensing Data Analysis

Technological advances in the last decades have improved our capabilities of collecting and storing high data volumes. However, this makes that in some fields, such as remote sensing several problems are generated in the data processing due to the peculiar characteristics of their data. High data volume, high dimensionality, heterogeneity and their nonlinearity, make that the analysis and extraction of relevant information from these images could be a bottleneck for many real applications. The research applying image processing and machine learning techniques along with feature extraction, allows the reduction of the data dimensionality while keeps the maximum information. Therefore, developments and applications of feature extraction methodologies using these techniques have increased exponentially in remote sensing. This improves the data visualization and the knowledge discovery. Several feature extraction methods have been addressed in the literature depending on the data availability, which can be classified in supervised, semisupervised and unsupervised. In particular, feature extraction can use in combination with kernel methods (nonlinear). The process for obtaining a space that keeps greater information content is facilitated by this combination. One of the most important properties of the combination is that can be directly used for general tasks including classification, regression, clustering, ranking, compression, or data visualization. In this Thesis, we address the problems of different nonlinear feature extraction approaches based on kernel methods for remote sensing data analysis. Several improvements to the current feature extraction methods are proposed to transform the data in order to make high dimensional data tasks easier, such as classification or biophysical parameter estimation. This Thesis focus on three main objectives to reach these improvements in the current feature extraction methods: The first objective is to include invariances into supervised kernel feature extraction methods. Throughout these invariances it is possible to generate virtual samples that help to mitigate the problem of the reduced number of samples in supervised methods. The proposed algorithm is a simple method that essentially generates new (synthetic) training samples from available labeled samples. These samples along with original samples should be used in feature extraction methods obtaining more independent features between them that without virtual samples. The introduction of prior knowledge by means of the virtual samples could obtain classification and biophysical parameter estimation methods more robust than without them. The second objective is to use the generative kernels, i.e. probabilistic kernels, that directly learn by means of clustering techniques from original data by finding local-to-global similarities along the manifold. The proposed kernel is useful for general feature extraction purposes. Furthermore, the kernel attempts to improve the current methods because the kernel not only contains labeled data information but also uses the unlabeled information of the manifold. Moreover, the proposed kernel is parameter free in contrast with the parameterized functions such as, the radial basis function (RBF). Using probabilistic kernels is sought to obtain new unsupervised and semisupervised methods in order to reduce the number and cost of labeled data in remote sensing. Third objective is to develop new kernel feature extraction methods for improving the features obtained by the current methods. Optimizing the functional could obtain improvements in new algorithm. For instance, the Optimized Kernel Entropy Component Analysis (OKECA) method. The method is based on the Independent Component Analysis (ICA) framework resulting more efficient than the standard Kernel Entropy Component Analysis (KECA) method in terms of dimensionality reduction. In this Thesis, the methods are focused on remote sensing data analysis. Nevertheless, feature extraction methods are used to analyze data of several research fields whereas data are multidimensional. For these reasons, the results are illustrated into experimental sequence. First, the projections are analyzed by means of Toy examples. The algorithms are tested through standard databases with supervised information to proceed to the last step, the analysis of remote sensing images by the proposed methods

Cost-Effective Sensor Systems for Measuring Extracted Chlorophyll-a Concentration

Chlorophyll-a concentration is one of the most measured metrics in both water quality and plant health monitoring. It is an indicator of algal biomass and provides insight into stressors such as eutrophication and bloom risk. It is also a widely used metric in terrestrial ecosystems as an indicator of photosynthetic activity and nutrient limitation. Most currently used laboratory-based methods for measuring chlorophyll-a exploit spectroscopic techniques and require expensive instrumentation, like spectrophotometer or fluorometer. In addition, the readings are taken inside a black box to avoid optical noise. The purpose of this thesis is to propose a smart, low-cost, and portable sensor system to measure the concentration of chlorophyll-a in an extracted solution. The goals were achieved using two distinct spectral method. The first approach involves two consumer-grade spectral sensors that read the optical reflectance at 12 discrete wavelengths in visible and near-infrared spectra. The system was tuned for an optimal distance from the sensors to the solution and an enclosure was printed to maintain the distance, as well as to avoid natural light interference. Extracted chlorophyll-a solutions of 52 different concentrations were prepared, and at least 5 readings per sample were taken using the proposed smart sensor system. The ground truth values of the samples were measured in the laboratory using Thermo Nano 2000C. After cleaning the anomalous data, different machine learning models were trained to determine the significant wavelengths that contribute most towards chlorophyll-a measurement. Finally, a decision tree model with 5 important features was chosen based on the lowest Root Mean Square and Mean Absolute Error when it was tested on the validation set. The final model resulted in a mean error of ±0.9 μg/L when applied on the test set. The total cost for the device was around CAD 135. For the next approach, a rapid system has been proposed using electric impedance spectroscopy (EIS) to measure the concentration of chlorophyll-a, extracted into 95%(v/v) ethanol. Two electrodes accompanied with a high precision impedance converter from Analog Device was used for the development of the sensor. The system was tuned for a fixed electrode orientation, effective area, electrode to electrode distance and excitation voltage by studying different relevant experiments. The proposed sensor was calibrated using the impedance of 95%(v/v) ethanol. Extracted chlorophyll solutions of 60 different concentrations were prepared. At least 5 readings per sample were taken using the proposed system from 1.5 kHz to 7.5 kHz. Samples were then analyzed using standard methods by a spectrophotometer (Genesys20) from Thermo Scientific. Study of Pearson coefficient, principal component analysis, variance inflation factor and backward elimination were used to identify the significant features for chlorophyll-a measurement using EIS. Finally, a simple linear regression model with 11 important features in the range 2.3kHz to 4.7kHz was chosen based on the lowest Root Mean Square (RMS) and Mean Absolute (MA) Error. The coefficient of determination, R2 of the fitted model was 0.93. MAE for the final proposed model is ±0.904 μgL-1 when applied on the test set

Machine Learning for Robust Understanding of Scene Materials in Hyperspectral Images

The major challenges in hyperspectral (HS) imaging and data analysis are expensive sensors, high dimensionality of the signal, limited ground truth, and spectral variability. This dissertation develops and analyzes machine learning based methods to address these problems. In the first part, we examine one of the most important HS data analysis tasks-vegetation parameter estimation. We present two Gaussian processes based approaches for improving the accuracy of vegetation parameter retrieval when ground truth is limited and/or spectral variability is high. The first is the adoption of covariance functions based on well-established metrics, such as, spectral angle and spectral correlation, which are known to be better measures of similarity for spectral data. The second is the joint modeling of related vegetation parameters by multitask Gaussian processes so that the prediction accuracy of the vegetation parameter of interest can be improved with the aid of related vegetation parameters for which a larger set of ground truth is available. The efficacy of the proposed methods is demonstrated by comparing them against state-of-the art approaches on three real-world HS datasets and one synthetic dataset. In the second part, we demonstrate how Bayesian optimization can be applied to jointly tune the different components of hyperspectral data analysis frameworks for better performance. Experimental validation on the spatial-spectral classification framework consisting of a classifier and a Markov random field is provided. In the third part, we investigate whether high dimensional HS spectra can be reconstructed from low dimensional multispectral (MS) signals, that can be obtained from much cheaper, lower spectral resolution sensors. A novel end-to-end convolutional residual neural network architecture is proposed that can simultaneously optimize both the MS bands and the transformation to reconstruct HS spectra from MS signals by analyzing a large quantity of HS data. The learned band can be implemented in sensor hardware and the learned transformation can be incorporated in the data processing pipeline to build a low-cost hyperspectral data collection system. Using a diverse set of real-world datasets, we show how the proposed approach of optimizing MS bands along with the transformation rather than just optimizing the transformation with fixed bands, as proposed by previous studies, can drastically increase the reconstruction accuracy. Additionally, we also investigate the prospects of using reconstructed HS spectra for land cover classification

The EnMAP Managed Vegetation Scientific Processor

Nach jahrelanger wissenschaftlicher und technischer Vorbereitungszeit wird voraussichtlich Ende des Jahres 2020 der Start der orbitalen Phase einer unbemannten deutschen Weltraum-Mission initiiert. Das Environmental Mapping and Analysis Program (EnMAP) wird an Bord des gleichnamigen Satelliten einen hyperspektralen Sensor zur Erfassung terrestrischer Oberflächen tragen. In den Umweltdisziplinen zur Erforschung von Ökosystemen, landwirtschaftlicher, forstwirtschaftlicher und urbaner Flächen, im Bereich der Küsten- und Inlandsgewässer sowie der Geologie und Bodenkunde bereitete man sich im Vorfeld des Starts auf die kommenden Daten vor. Zwar existiert bereits eine Vielzahl an Algorithmen zur wissenschaftlichen Analyse von spektralen Daten, allerdings ergeben sich auch neue Herausforderungen, da die EnMAP-Mission bislang im weltweiten Kontext der Fernerkundung einzigartig ist. Die Abdeckung des vollen optischen Spektrums (420 nm – 2450 nm) in Verbindung mit einer moderaten räumlichen Auflösung von 30 m und einem hohen Signal-Rausch-Verhältnis von mindestens 180 im kurzwelligen Infrarot und über 400 im sichtbaren Spektrum, ermöglichen eine Aufnahmequalität, die bislang nur von flugzeuggestützten Systemen erreicht werden konnte. Die Bemühungen in dieser Dissertation umfassen Aktivitäten in der wissenschaftlichen Vorbereitungsphase zu agrargeographischen Fragestellungen. Algorithmen und Tools zur Analyse der hyperspektralen Daten werden kostenlos im QGIS-Plugin EnMAP-Box 3 zur Verfügung gestellt. Die drängenden Fragen im Agrarsektor drehen sich hierbei um die Ableitung biochemischer und biophysikalischer Parameter aus Fernerkundungsdaten, weshalb die übergeordnete Problemstellung des Promotionsvorhabens die Entwicklung eines wissenschaftsbasierten EnMAP-Tools für bewirtschaftete Vegetationsflächen (EnMAP Managed Vegetation Scientific Processor) darstellt. Zu Beginn wurde eine umfassende Feldkampagne geplant, welche ab April 2014 umgesetzt wurde. Neben der spektralen Erfassung von Blatt-, Bestands- und Bodensignaturen in einem Winterweizen- und einem Maisfeld erfolgte auch die Messung wesentlicher Pflanzenparameter an den exakt gleichen Positionen. Hierzu zählt die non-destruktive Ableitung des Blattflächenindex (LAI), des Blattchlorophyllgehalts (Ccab), des Blattwassergehalts (EWT oder Cw), des relativen Blatttrockengewichts (LMA oder Cm), des mittleren Blattneigungswinkels im Bestand (ALIA) sowie weiterer sekundärer Parameter wie Wuchshöhe, das phänologisches Stadium und der Sonnenvektor. Um die Fähigkeit des späteren EnMAP-Satelliten sich um bis zu 30° orthogonal zur Flugrichtung zu kippen nachzustellen, wurden die spektralen Aufnahmen aus verschiedenen Betrachtungswinkeln erstellt, die dieser Aufnahme-Geometrien nachempfunden sind. Ein gängiges Verfahren zur Ableitung der relevanten Pflanzenparameter ist die Verwendung des Strahlungstransfermodells PROSAIL, welches das spektrale Signal einer Vegetationsfläche auf Basis der zugrundeliegenden biophysikalischen und biochemischen Parameter simuliert. Bei der Umkehr dieses Prozesses können ebendiese Variablen von gemessenen spektralen Daten abgeleitet werden. Hierzu wurde eine Datenbank (Look-Up-Table, LUT) aus PROSAIL-Modellläufen aufgebaut und die in den Feldkampagnen gemessenen Spektren mit dieser abgeglichen. Mit dieser Methode der LUT-Invertierung aus unterschiedlichen Aufnahmewinkeln konnten Genauigkeiten bei der LAI-Schätzung von 18 % und bei Blattchlorophyll von 20 % erzielt werden. Eine starke Anisotropie, also eine Reflexionsabhängigkeit von der Beleuchtungs- und Aufnahmerichtung, wurde bei Winterweizen vor allem für frühe Entwicklungsstadien festgestellt. Bei einer anschließenden Studie zur Unsicherheitsanalyse des Spektralmodells wurden PROSAIL-Ergebnisse, bei denen real gemessene Pflanzenparameter als Input dienten, den zugehörigen Reflektanzspektren gegenübergestellt. Es zeigten sich hierbei mitunter starke Abweichungen zwischen gemessenen und modellierten Spektren, die im Falle des Winterweizens einen saisonalen Verlauf zeichneten. Vor allem während frühen Wachstumsstadien tendierte das Modell dazu die Reflektanz im nahen Infrarot zu überschätzen, während es gegen Ende der Wachstumsperiode eher eine Unterschätzung aufwies. Als Unsicherheitsfaktor wurde die Parametrisierung des Modells ausgemacht, wenn der ALIA-Parameter als echter physikalische Blattwinkel interpretiert wird. Es wurde geschlussfolgert, dass eine Separierung von LAI und ALIA bei der Invertierung von PROSAIL eine korrekte Abschätzung der weniger sensitiven Parameter behindert. Die Erstellung des Vegetations-Prozessors erforderte die Verwendung von Regressions-Algorithmen des maschinellen Lernens (MLRA), da eine Verteilung von großen LUTs an die User nicht praktikabel wäre. Die MLRAs wurden an synthetischen Datensätzen trainiert, wobei zunächst die Optimierung der Hyperparameter im Vordergrund stand, bevor die Anwendung an echten Spektraldaten unternommen wurde. Es konnten dabei erst aussagekräftige Ergebnisse produziert werden, als die Trainingsdaten mit einem künstlichen Rauschen belegt wurden, da die Algorithmen unter einer Überanpassung an die Modellumgebung litten. Mithilfe des Prozessors konnten schließlich LAI, ALIA, Ccab und Cw aus hyperspektralen Daten abgeleitet werden. Künstliche neuronale Netze dienen dabei als Blackbox-Modelle, die in kurzer Zeit große Datenmengen verarbeiten können und somit einen entscheidenden Beitrag zur modernen angewandten Fernerkundung für eine breite User-Community leisten.After years of scientific and technical preparation, the launch of an unmanned German space-mission is planned to be initiated in 2020. The Environmental Mapping and Analysis Program (EnMAP) is going to provide an equally named hyperspectral imager to map land surfaces. Scientists of environmental disciplines of monitoring of ecosystems, agricultural, forestry and urban areas as well as coastal and inland waters, geology and soils prepared themselves for the upcoming data prior to the actual launch. Although there already exists a variety of useful algorithms for a profound analysis of spectral data, new challenges will arise given the uniqueness of the EnMAP-mission in the global context of remote sensing; i.e. coverage of the full range of the optical spectrum (420 nm – 2450 nm) in combination with a moderate spatial resolution of 30 m and a high signal-to-noise ratio of at least 180 in the shortwave infrared and above 400 in the visible spectrum. This enables an imaging quality which to this date has only been reached by airborne systems. The efforts of this dissertation comprise activities in the scientific preparation phase for agro-geographical tasks. Algorithms and tools for an analysis of hyperspectral data are being provided for free in the QGIS-plugin EnMAP-Box 3. Urgent questions in the agricultural sector revolve around the derivation of biochemical and biophysical parameters from remote sensing data. For this reason, the overarching objective of this promotion is the development of a scientific EnMAP-tool for managed areas of vegetation (EnMAP Managed Vegetation Scientific Processor). At first, an extensive field campaign was planned and then started in April, 2014. Apart from spectral observations of leaves, canopies and soils in a winter wheat and a maize field, also relevant plant parameters were acquired at the exact same spots. Namely, they are the Leaf Area Index (LAI), leaf chlorophyll content (Ccab), leaf water content (EWT or Cw), relative dry leaf weight (LMA or Cm), Average Leaf Inclination Angle (ALIA) as well as other secondary parameters like canopy height, phenological stage and the solar vector. Spectral measurements were captured from different observation angles to match ground data with the sensing geometry of the future EnMAP-satellite, which can be tilted up to 30° orthogonal to its direction of flight. A common procedure to derive relevant crop parameters is to make use of the radiative transfer model PROSAIL, which simulates the spectral signal of a vegetated surface based on biophysical and biochemical input parameters. If this process is reverted, said parameters can be derived from measured spectral data. To do so, a Look-Up-Table (LUT) is built containing model runs of PROSAIL and then subsequently compared against spectra from the field campaigns. With this approach of LUT-inversions from different observation angles, an accuracy of 18 % could be achieved for LAI and 20 % for Ccab. Strong anisotropic effects, i.e. dependence on illumination geometry and sensor orientation, were identified for winter wheat mainly in the early stages of plant development. In a consecutive study about uncertainties of the spectral model, PROSAIL results fed with in situ measured crop parameters as input, were opposed to their associated reflectance signatures. A strong deviation between measured and modelled spectra was observed, which – in the case of winter wheat – showed a seasonal behavior. The model tended to overestimate reflectances in the near infrared for early phenological stages and to underestimate them at end of the growing period. The parametrization of the model was identified as an uncertainty factor if the ALIA parameter is interpreted as true physical leaf inclinations. It was concluded that a separation of LAI and ALIA at inversion of PROSAIL prevents an adequate estimation of the less sensitive parameters. The development of the vegetation processor required the use of Machine Learning Regression Algorithms (MLRA), since distribution of large LUTs to the user would be impracticable. The MLRAs were trained with synthetic datasets with primary importance to optimize their hyperparameters, before attempting to apply the algorithms to real spectral data. Significant results could not be obtained until training data were altered with artificial noise, because algorithms suffered from overfitting to the model environment. Executing the processor allowed to derive LAI, ALIA, Ccab and Cw from hyperspectral data. Artificial neural networks served as black box models, which digest great amount of data in a short period of time and thus make a decisive contribution to modern applied remote sensing with relevance for a broad user-community

The EnMAP Managed Vegetation Scientific Processor

Nach jahrelanger wissenschaftlicher und technischer Vorbereitungszeit wird voraussichtlich Ende des Jahres 2020 der Start der orbitalen Phase einer unbemannten deutschen Weltraum-Mission initiiert. Das Environmental Mapping and Analysis Program (EnMAP) wird an Bord des gleichnamigen Satelliten einen hyperspektralen Sensor zur Erfassung terrestrischer Oberflächen tragen. In den Umweltdisziplinen zur Erforschung von Ökosystemen, landwirtschaftlicher, forstwirtschaftlicher und urbaner Flächen, im Bereich der Küsten- und Inlandsgewässer sowie der Geologie und Bodenkunde bereitete man sich im Vorfeld des Starts auf die kommenden Daten vor. Zwar existiert bereits eine Vielzahl an Algorithmen zur wissenschaftlichen Analyse von spektralen Daten, allerdings ergeben sich auch neue Herausforderungen, da die EnMAP-Mission bislang im weltweiten Kontext der Fernerkundung einzigartig ist. Die Abdeckung des vollen optischen Spektrums (420 nm – 2450 nm) in Verbindung mit einer moderaten räumlichen Auflösung von 30 m und einem hohen Signal-Rausch-Verhältnis von mindestens 180 im kurzwelligen Infrarot und über 400 im sichtbaren Spektrum, ermöglichen eine Aufnahmequalität, die bislang nur von flugzeuggestützten Systemen erreicht werden konnte. Die Bemühungen in dieser Dissertation umfassen Aktivitäten in der wissenschaftlichen Vorbereitungsphase zu agrargeographischen Fragestellungen. Algorithmen und Tools zur Analyse der hyperspektralen Daten werden kostenlos im QGIS-Plugin EnMAP-Box 3 zur Verfügung gestellt. Die drängenden Fragen im Agrarsektor drehen sich hierbei um die Ableitung biochemischer und biophysikalischer Parameter aus Fernerkundungsdaten, weshalb die übergeordnete Problemstellung des Promotionsvorhabens die Entwicklung eines wissenschaftsbasierten EnMAP-Tools für bewirtschaftete Vegetationsflächen (EnMAP Managed Vegetation Scientific Processor) darstellt. Zu Beginn wurde eine umfassende Feldkampagne geplant, welche ab April 2014 umgesetzt wurde. Neben der spektralen Erfassung von Blatt-, Bestands- und Bodensignaturen in einem Winterweizen- und einem Maisfeld erfolgte auch die Messung wesentlicher Pflanzenparameter an den exakt gleichen Positionen. Hierzu zählt die non-destruktive Ableitung des Blattflächenindex (LAI), des Blattchlorophyllgehalts (Ccab), des Blattwassergehalts (EWT oder Cw), des relativen Blatttrockengewichts (LMA oder Cm), des mittleren Blattneigungswinkels im Bestand (ALIA) sowie weiterer sekundärer Parameter wie Wuchshöhe, das phänologisches Stadium und der Sonnenvektor. Um die Fähigkeit des späteren EnMAP-Satelliten sich um bis zu 30° orthogonal zur Flugrichtung zu kippen nachzustellen, wurden die spektralen Aufnahmen aus verschiedenen Betrachtungswinkeln erstellt, die dieser Aufnahme-Geometrien nachempfunden sind. Ein gängiges Verfahren zur Ableitung der relevanten Pflanzenparameter ist die Verwendung des Strahlungstransfermodells PROSAIL, welches das spektrale Signal einer Vegetationsfläche auf Basis der zugrundeliegenden biophysikalischen und biochemischen Parameter simuliert. Bei der Umkehr dieses Prozesses können ebendiese Variablen von gemessenen spektralen Daten abgeleitet werden. Hierzu wurde eine Datenbank (Look-Up-Table, LUT) aus PROSAIL-Modellläufen aufgebaut und die in den Feldkampagnen gemessenen Spektren mit dieser abgeglichen. Mit dieser Methode der LUT-Invertierung aus unterschiedlichen Aufnahmewinkeln konnten Genauigkeiten bei der LAI-Schätzung von 18 % und bei Blattchlorophyll von 20 % erzielt werden. Eine starke Anisotropie, also eine Reflexionsabhängigkeit von der Beleuchtungs- und Aufnahmerichtung, wurde bei Winterweizen vor allem für frühe Entwicklungsstadien festgestellt. Bei einer anschließenden Studie zur Unsicherheitsanalyse des Spektralmodells wurden PROSAIL-Ergebnisse, bei denen real gemessene Pflanzenparameter als Input dienten, den zugehörigen Reflektanzspektren gegenübergestellt. Es zeigten sich hierbei mitunter starke Abweichungen zwischen gemessenen und modellierten Spektren, die im Falle des Winterweizens einen saisonalen Verlauf zeichneten. Vor allem während frühen Wachstumsstadien tendierte das Modell dazu die Reflektanz im nahen Infrarot zu überschätzen, während es gegen Ende der Wachstumsperiode eher eine Unterschätzung aufwies. Als Unsicherheitsfaktor wurde die Parametrisierung des Modells ausgemacht, wenn der ALIA-Parameter als echter physikalische Blattwinkel interpretiert wird. Es wurde geschlussfolgert, dass eine Separierung von LAI und ALIA bei der Invertierung von PROSAIL eine korrekte Abschätzung der weniger sensitiven Parameter behindert. Die Erstellung des Vegetations-Prozessors erforderte die Verwendung von Regressions-Algorithmen des maschinellen Lernens (MLRA), da eine Verteilung von großen LUTs an die User nicht praktikabel wäre. Die MLRAs wurden an synthetischen Datensätzen trainiert, wobei zunächst die Optimierung der Hyperparameter im Vordergrund stand, bevor die Anwendung an echten Spektraldaten unternommen wurde. Es konnten dabei erst aussagekräftige Ergebnisse produziert werden, als die Trainingsdaten mit einem künstlichen Rauschen belegt wurden, da die Algorithmen unter einer Überanpassung an die Modellumgebung litten. Mithilfe des Prozessors konnten schließlich LAI, ALIA, Ccab und Cw aus hyperspektralen Daten abgeleitet werden. Künstliche neuronale Netze dienen dabei als Blackbox-Modelle, die in kurzer Zeit große Datenmengen verarbeiten können und somit einen entscheidenden Beitrag zur modernen angewandten Fernerkundung für eine breite User-Community leisten.After years of scientific and technical preparation, the launch of an unmanned German space-mission is planned to be initiated in 2020. The Environmental Mapping and Analysis Program (EnMAP) is going to provide an equally named hyperspectral imager to map land surfaces. Scientists of environmental disciplines of monitoring of ecosystems, agricultural, forestry and urban areas as well as coastal and inland waters, geology and soils prepared themselves for the upcoming data prior to the actual launch. Although there already exists a variety of useful algorithms for a profound analysis of spectral data, new challenges will arise given the uniqueness of the EnMAP-mission in the global context of remote sensing; i.e. coverage of the full range of the optical spectrum (420 nm – 2450 nm) in combination with a moderate spatial resolution of 30 m and a high signal-to-noise ratio of at least 180 in the shortwave infrared and above 400 in the visible spectrum. This enables an imaging quality which to this date has only been reached by airborne systems. The efforts of this dissertation comprise activities in the scientific preparation phase for agro-geographical tasks. Algorithms and tools for an analysis of hyperspectral data are being provided for free in the QGIS-plugin EnMAP-Box 3. Urgent questions in the agricultural sector revolve around the derivation of biochemical and biophysical parameters from remote sensing data. For this reason, the overarching objective of this promotion is the development of a scientific EnMAP-tool for managed areas of vegetation (EnMAP Managed Vegetation Scientific Processor). At first, an extensive field campaign was planned and then started in April, 2014. Apart from spectral observations of leaves, canopies and soils in a winter wheat and a maize field, also relevant plant parameters were acquired at the exact same spots. Namely, they are the Leaf Area Index (LAI), leaf chlorophyll content (Ccab), leaf water content (EWT or Cw), relative dry leaf weight (LMA or Cm), Average Leaf Inclination Angle (ALIA) as well as other secondary parameters like canopy height, phenological stage and the solar vector. Spectral measurements were captured from different observation angles to match ground data with the sensing geometry of the future EnMAP-satellite, which can be tilted up to 30° orthogonal to its direction of flight. A common procedure to derive relevant crop parameters is to make use of the radiative transfer model PROSAIL, which simulates the spectral signal of a vegetated surface based on biophysical and biochemical input parameters. If this process is reverted, said parameters can be derived from measured spectral data. To do so, a Look-Up-Table (LUT) is built containing model runs of PROSAIL and then subsequently compared against spectra from the field campaigns. With this approach of LUT-inversions from different observation angles, an accuracy of 18 % could be achieved for LAI and 20 % for Ccab. Strong anisotropic effects, i.e. dependence on illumination geometry and sensor orientation, were identified for winter wheat mainly in the early stages of plant development. In a consecutive study about uncertainties of the spectral model, PROSAIL results fed with in situ measured crop parameters as input, were opposed to their associated reflectance signatures. A strong deviation between measured and modelled spectra was observed, which – in the case of winter wheat – showed a seasonal behavior. The model tended to overestimate reflectances in the near infrared for early phenological stages and to underestimate them at end of the growing period. The parametrization of the model was identified as an uncertainty factor if the ALIA parameter is interpreted as true physical leaf inclinations. It was concluded that a separation of LAI and ALIA at inversion of PROSAIL prevents an adequate estimation of the less sensitive parameters. The development of the vegetation processor required the use of Machine Learning Regression Algorithms (MLRA), since distribution of large LUTs to the user would be impracticable. The MLRAs were trained with synthetic datasets with primary importance to optimize their hyperparameters, before attempting to apply the algorithms to real spectral data. Significant results could not be obtained until training data were altered with artificial noise, because algorithms suffered from overfitting to the model environment. Executing the processor allowed to derive LAI, ALIA, Ccab and Cw from hyperspectral data. Artificial neural networks served as black box models, which digest great amount of data in a short period of time and thus make a decisive contribution to modern applied remote sensing with relevance for a broad user-community

Mineral identification using data-mining in hyperspectral infrared imagery

Les applications de l’imagerie infrarouge dans le domaine de la géologie sont principalement des applications hyperspectrales. Elles permettent entre autre l’identification minérale, la cartographie, ainsi que l’estimation de la portée. Le plus souvent, ces acquisitions sont réalisées in-situ soit à l’aide de capteurs aéroportés, soit à l’aide de dispositifs portatifs. La découverte de minéraux indicateurs a permis d’améliorer grandement l’exploration minérale. Ceci est en partie dû à l’utilisation d’instruments portatifs. Dans ce contexte le développement de systèmes automatisés permettrait d’augmenter à la fois la qualité de l’exploration et la précision de la détection des indicateurs. C’est dans ce cadre que s’inscrit le travail mené dans ce doctorat. Le sujet consistait en l’utilisation de méthodes d’apprentissage automatique appliquées à l’analyse (au traitement) d’images hyperspectrales prises dans les longueurs d’onde infrarouge. L’objectif recherché étant l’identification de grains minéraux de petites tailles utilisés comme indicateurs minéral -ogiques. Une application potentielle de cette recherche serait le développement d’un outil logiciel d’assistance pour l’analyse des échantillons lors de l’exploration minérale. Les expériences ont été menées en laboratoire dans la gamme relative à l’infrarouge thermique (Long Wave InfraRed, LWIR) de 7.7m à 11.8 m. Ces essais ont permis de proposer une méthode pour calculer l’annulation du continuum. La méthode utilisée lors de ces essais utilise la factorisation matricielle non négative (NMF). En utlisant une factorisation du premier ordre on peut déduire le rayonnement de pénétration, lequel peut ensuite être comparé et analysé par rapport à d’autres méthodes plus communes. L’analyse des résultats spectraux en comparaison avec plusieurs bibliothèques existantes de données a permis de mettre en évidence la suppression du continuum. Les expérience ayant menés à ce résultat ont été conduites en utilisant une plaque Infragold ainsi qu’un objectif macro LWIR. L’identification automatique de grains de différents matériaux tels que la pyrope, l’olivine et le quartz a commencé. Lors d’une phase de comparaison entre des approches supervisées et non supervisées, cette dernière s’est montrée plus approprié en raison du comportement indépendant par rapport à l’étape d’entraînement. Afin de confirmer la qualité de ces résultats quatre expériences ont été menées. Lors d’une première expérience deux algorithmes ont été évalués pour application de regroupements en utilisant l’approche FCC (False Colour Composite). Cet essai a permis d’observer une vitesse de convergence, jusqu’a vingt fois plus rapide, ainsi qu’une efficacité significativement accrue concernant l’identification en comparaison des résultats de la littérature. Cependant des essais effectués sur des données LWIR ont montré un manque de prédiction de la surface du grain lorsque les grains étaient irréguliers avec présence d’agrégats minéraux. La seconde expérience a consisté, en une analyse quantitaive comparative entre deux bases de données de Ground Truth (GT), nommée rigid-GT et observed-GT (rigide-GT: étiquet manuel de la région, observée-GT:étiquetage manuel les pixels). La précision des résultats était 1.5 fois meilleur lorsque l’on a utlisé la base de données observed-GT que rigid-GT. Pour les deux dernières epxérience, des données venant d’un MEB (Microscope Électronique à Balayage) ainsi que d’un microscopie à fluorescence (XRF) ont été ajoutées. Ces données ont permis d’introduire des informations relatives tant aux agrégats minéraux qu’à la surface des grains. Les résultats ont été comparés par des techniques d’identification automatique des minéraux, utilisant ArcGIS. Cette dernière a montré une performance prometteuse quand à l’identification automatique et à aussi été utilisée pour la GT de validation. Dans l’ensemble, les quatre méthodes de cette thèse représentent des méthodologies bénéfiques pour l’identification des minéraux. Ces méthodes présentent l’avantage d’être non-destructives, relativement précises et d’avoir un faible coût en temps calcul ce qui pourrait les qualifier pour être utilisée dans des conditions de laboratoire ou sur le terrain.The geological applications of hyperspectral infrared imagery mainly consist in mineral identification, mapping, airborne or portable instruments, and core logging. Finding the mineral indicators offer considerable benefits in terms of mineralogy and mineral exploration which usually involves application of portable instrument and core logging. Moreover, faster and more mechanized systems development increases the precision of identifying mineral indicators and avoid any possible mis-classification. Therefore, the objective of this thesis was to create a tool to using hyperspectral infrared imagery and process the data through image analysis and machine learning methods to identify small size mineral grains used as mineral indicators. This system would be applied for different circumstances to provide an assistant for geological analysis and mineralogy exploration. The experiments were conducted in laboratory conditions in the long-wave infrared (7.7μm to 11.8μm - LWIR), with a LWIR-macro lens (to improve spatial resolution), an Infragold plate, and a heating source. The process began with a method to calculate the continuum removal. The approach is the application of Non-negative Matrix Factorization (NMF) to extract Rank-1 NMF and estimate the down-welling radiance and then compare it with other conventional methods. The results indicate successful suppression of the continuum from the spectra and enable the spectra to be compared with spectral libraries. Afterwards, to have an automated system, supervised and unsupervised approaches have been tested for identification of pyrope, olivine and quartz grains. The results indicated that the unsupervised approach was more suitable due to independent behavior against training stage. Once these results obtained, two algorithms were tested to create False Color Composites (FCC) applying a clustering approach. The results of this comparison indicate significant computational efficiency (more than 20 times faster) and promising performance for mineral identification. Finally, the reliability of the automated LWIR hyperspectral infrared mineral identification has been tested and the difficulty for identification of the irregular grain’s surface along with the mineral aggregates has been verified. The results were compared to two different Ground Truth(GT) (i.e. rigid-GT and observed-GT) for quantitative calculation. Observed-GT increased the accuracy up to 1.5 times than rigid-GT. The samples were also examined by Micro X-ray Fluorescence (XRF) and Scanning Electron Microscope (SEM) in order to retrieve information for the mineral aggregates and the grain’s surface (biotite, epidote, goethite, diopside, smithsonite, tourmaline, kyanite, scheelite, pyrope, olivine, and quartz). The results of XRF imagery compared with automatic mineral identification techniques, using ArcGIS, and represented a promising performance for automatic identification and have been used for GT validation. In overall, the four methods (i.e. 1.Continuum removal methods; 2. Classification or clustering methods for mineral identification; 3. Two algorithms for clustering of mineral spectra; 4. Reliability verification) in this thesis represent beneficial methodologies to identify minerals. These methods have the advantages to be a non-destructive, relatively accurate and have low computational complexity that might be used to identify and assess mineral grains in the laboratory conditions or in the field