Hyperspectral image spectral-spatial feature extraction via tensor principal component analysis

We consider the tensor-based spectral-spatial feature\ud extraction problem for hyperspectral image classification.\ud First, a tensor framework based on circular convolution is proposed.\ud Based on this framework, we extend the traditional PCA to\ud its tensorial version TPCA, which is applied to the spectral-spatial\ud features of hyperspectral image data. The experiments show\ud that the classification accuracy obtained using TPCA features\ud is significantly higher than the accuracies obtained by its rivals

Unsupervised Feature Learning by Autoencoder and Prototypical Contrastive Learning for Hyperspectral Classification

Unsupervised learning methods for feature extraction are becoming more and more popular. We combine the popular contrastive learning method (prototypical contrastive learning) and the classic representation learning method (autoencoder) to design an unsupervised feature learning network for hyperspectral classification. Experiments have proved that our two proposed autoencoder networks have good feature learning capabilities by themselves, and the contrastive learning network we designed can better combine the features of the two to learn more representative features. As a result, our method surpasses other comparison methods in the hyperspectral classification experiments, including some supervised methods. Moreover, our method maintains a fast feature extraction speed than baseline methods. In addition, our method reduces the requirements for huge computing resources, separates feature extraction and contrastive learning, and allows more researchers to conduct research and experiments on unsupervised contrastive learning

Low-Rank and Sparse Decomposition for Hyperspectral Image Enhancement and Clustering

In this dissertation, some new algorithms are developed for hyperspectral imaging analysis enhancement. Tensor data format is applied in hyperspectral dataset sparse and low-rank decomposition, which could enhance the classification and detection performance. And multi-view learning technique is applied in hyperspectral imaging clustering. Furthermore, kernel version of multi-view learning technique has been proposed, which could improve clustering performance. Most of low-rank and sparse decomposition algorithms are based on matrix data format for HSI analysis. As HSI contains high spectral dimensions, tensor based extended low-rank and sparse decomposition (TELRSD) is proposed in this dissertation for better performance of HSI classification with low-rank tensor part, and HSI detection with sparse tensor part. With this tensor based method, HSI is processed in 3D data format, and information between spectral bands and pixels maintain integrated during decomposition process. This proposed algorithm is compared with other state-of-art methods. And the experiment results show that TELRSD has the best performance among all those comparison algorithms. HSI clustering is an unsupervised task, which aims to group pixels into different groups without labeled information. Low-rank sparse subspace clustering (LRSSC) is the most popular algorithms for this clustering task. The spatial-spectral based multi-view low-rank sparse subspace clustering (SSMLC) algorithms is proposed in this dissertation, which extended LRSSC with multi-view learning technique. In this algorithm, spectral and spatial views are created to generate multi-view dataset of HSI, where spectral partition, morphological component analysis (MCA) and principle component analysis (PCA) are applied to create others views. Furthermore, kernel version of SSMLC (k-SSMLC) also has been investigated. The performance of SSMLC and k-SSMLC are compared with sparse subspace clustering (SSC), low-rank sparse subspace clustering (LRSSC), and spectral-spatial sparse subspace clustering (S4C). It has shown that SSMLC could improve the performance of LRSSC, and k-SSMLC has the best performance. The spectral clustering has been proved that it equivalent to non-negative matrix factorization (NMF) problem. In this case, NMF could be applied to the clustering problem. In order to include local and nonlinear features in data source, orthogonal NMF (ONMF), graph-regularized NMF (GNMF) and kernel NMF (k-NMF) has been proposed for better clustering performance. The non-linear orthogonal graph NMF combine both kernel, orthogonal and graph constraints in NMF (k-OGNMF), which push up the clustering performance further. In the HSI domain, kernel multi-view based orthogonal graph NMF (k-MOGNMF) is applied for subspace clustering, where k-OGNMF is extended with multi-view algorithm, and it has better performance and computation efficiency

Application of very high-resolution satellite imagery to identify individual tree crowns

Num contexto de crescentes mudanças mundiais, as áreas florestais tem sido alvo de pressões e intervenções antrópicas, como alterações climáticas, urbanização e crescimento demográfico, que continuam a provocar desflorestação e a degradação florestal a um ritmo alarmante. Por um lado, várias partes do mundo estão a ser vítimas de tendências acentuadas de desflorestação, grande parte das quais em florestas primárias de elevado valor para a conservação da biodiversidade e a regulação de serviços naturais essenciais. Por outro lado, em outras regiões, nomeadamente na Europa, a reflorestação está a ser promovida, precisamente como medida de apoio aos serviços e recursos naturais fornecidos pelas florestas. Neste contexto, é imperativo estabelecer a capacidade de, regularmente, monitorizar recursos e ecossistemas florestais. Por esta razão, a deteção remota tem se destacado como uma das poucas formas de monitorização, capaz de realizar observações contínuas e frequentes em diferentes escalas temporais e espaciais. No entanto, a eficácia destes métodos depende em grande parte da acessibilidade de amostras para treinar e definir o modelo. Se fosse possível reutilizar amostras de imagens previamente processadas para utilização em diferentes contextos ou períodos de tempo, o trabalho associado à recolha de novas amostras seria significativamente reduzido. No contexto da classificação de imagens, a transferibilidade de conhecimento tem este mesmo objetivo, adaptando um modelo treinado numa tarefa original para fazer previsões numa nova tarefa. Neste contexto, os principais objetivos deste trabalho consistem em: (1) avaliar a capacidade de algoritmos computacionais para a deteção de copas de árvores utilizando imagens de satélite de muito alta resolução; (2) determinar quais elementos das imagens maximizam a qualidade, fiabilidade e robustez dos resultados da classificação; (3) testar os algoritmos desenvolvidos com imagens de diferentes períodos de tempo e de diferentes regiões, de modo a avaliar a sua transferibilidade em termos de diferentes características temporais e espaciais. De maneira a alcançar estes objetivos, recorremos a uma base de imagens do satélite Pleiades, com 0,5 metros de resolução, na quais realizamos correção atmosférica e pan-sharpening. No âmbito deste projeto, foram analisadas dez áreas de interesse, de nove imagens. A maioria (quatro) dos locais situava-se em Espanha e dois em Portugal. Para executar os algoritmos de classificação, foi selecionada uma área de interesse para cada imagem, exceto em Salamanca, na qual foram selecionadas duas, com solo e vegetação diferentes, para testar a resposta do classificador. Na maioria dos locais, as árvores encontram-se num padrão regular, com muitas delas a possuírem copas pequenas (cerca de 1,0 m de diâmetro), enquanto outras eram mais maduras, com diâmetro de copa de aproximadamente 6-8 m. Num par de parcelas, as árvores não se encontravam num padrão regular, mas estavam dispersas. Durante as fases de teste, utilizando um custom API no ambiente QGIS, recorremos a dois métodos de classificação distintos, um supervisionado (Random Forest) e outro não supervisionado (Mosaic Clustering). O método Random Forest recorre a múltiplas árvores de decisão individuais, treinadas num subconjunto aleatório de dados de treino, em vez do conjunto de dados original. Por área de interesse, cerca de 200 a 300 destas amostras de treino foram recolhidas para construir o modelo, que foi depois aplicado a áreas independentes não envolvidas no treino. O método Mosaic Clustering divide a área de interesse em pequenas parcelas, de extensão definida pelo utilizador. Posteriormente, o algoritmo limitava-se a atribuir células a um de dois grupos, representando árvores e não árvores, com base em valores de reflectância semelhantes de cada banda e caraterística. Depois de cobrir toda a imagem, produz a classificação final. Adicionalmente, nas primeiras fases de teste, adicionamos nova informação aos algoritmos através de elementos como o NDVI, Circular Convolution, Adaptive Thresholding e medidas texturais. Numa última fase de teste, procurámos compreender qual seria a capacidade de transferibilidade do algoritmo, treinando e aplicando modelos em imagens com características diferentes. Adotámos, como primeiro passo, um método simplificado de transferibilidade de conhecimento não supervisionado, procurando perceber quais as principais falhas que advêm da não adaptação dos conjuntos de dados aos domínios em causa, de modo a, no futuro do projeto, decidir melhor quais os métodos estabelecidos de transferibilidade e adaptação de domínio a utilizar. Para testar a transferibilidade dos algoritmos, começámos por treinar os modelos em uma imagem de cada vez, utilizando todas as diferentes combinações de informação, e depois efetuámos a classificação, utilizando cada modelo individual, em todas as restantes imagens. De seguida, treinámos os modelos em todas as imagens ao mesmo tempo, exceto na que foi utilizada para o teste. Para realizar métodos de validação, dependemos de duas abordagens diferentes, uma estatística e uma qualitativa. A abordagem estatística envolve a utilização de amostras de validação. Mais concretamente, em cada imagem, 10% das amostras realizadas foram escolhidas aleatoriamente para servirem de amostras de validação. A abordagem qualitativa procura compreender melhor o significado prático dos resultados estatísticos e o impacto da inclusão de nova informação em elementos como o número de árvores detetadas e o tipo de problemas de classificação, encontrados em cada área de interesse. No que respeita ao primeiro objetivo, contámos manualmente o número de polígonos que foram identificados como copas de árvores, para cada combinação de informação, em cada imagem, e procedemos à comparação desses resultados com os resultados estatísticos recolhidos anteriormente. Para o segundo objetivo, avaliámos os principais problemas que se destacaram nos resultados da classificação, sendo estes (1) polígonos mal classificados; (2) árvores misturadas; (3) polígonos fragmentados. Foi utilizada uma abordagem de validação adicional nos testes de transferibilidade, baseada num algoritmo de árvore de decisão individual e superficial. Este algoritmo baseou-se no algoritmo anteriormente utilizado em todas as fases de teste, com a principal diferença de que se baseava apenas numa única árvore de decisão em vez de um conjunto de árvores. Esta abordagem permitiu-nos estimar as decisões que o algoritmo Random Forest estava a tomar e, com essa informação, comparar os limiares das classes definidos por cada modelo de treino com a distribuição de valores da informação das árvores detetadas na imagem prevista. Em primeiro lugar, os resultados mostram que o algoritmo é capaz de realizar deteção de copas de árvores, utilizando imagens de satélite de muito alta resolução. Além disso, também é possível estabelecer que a inclusão de informação adicional tem um impacto na melhoria dos resultados estatísticos, no número de copas de árvores detetados, e na redução dos problemas de classificação encontrados. Em segundo lugar, foi possível identificar a Circular Convolution e as medidas texturais como os dois elementos que mais impacto positivo tiveram nos resultados de classificação, enquanto o NDVI e o Adaptive Thresholding são as que menos melhoraram os resultados. Em terceiro lugar, verificámos que os algoritmos testados ainda não são capazes de ser aplicados num contexto de transferibilidade. A fim de cumprir os objectivos do projeto Life Terra, e resolver as questões acima mencionadas, três abordagens complementares podem ser adoptadas. Em primeiro lugar, alargar o conjunto de dados de treino incluindo novas informações de diferentes contextos geográficos garantiria que o modelo esteja apto a atuar em todos os locais possíveis. Em segundo lugar, e a fim de garantir que o algoritmo seja capaz de lidar com uma maior extensão geográfica e, subsequentemente, uma maior quantidade de informação de treino, pode-se justificar uma transição para Convoluted Neural Networks. Por último, a aplicação de métodos de adaptação ao domínio pode encurtar as lacunas entre os domínios de destino e de origem, assegurando que a informação pré-existente seja o mais semelhante possível, apesar das grandes diferenças que podem ocorrer entre os locais de plantação no âmbito do projeto Life Terra. Em resumo, este estudo permitiu melhorar a nossa compreensão da capacidade do algoritmo para efetuar a deteção de copas de árvores, dos fatores que influenciam o seu desempenho, e da sua capacidade para efetuar classificações de transferibilidade. Os seus resultados servirão de orientação para uma primeira versão de implementação a ser emitida para o projeto Life Terra que pretende fornecer aos utilizadores e gestores de ecossistemas informações detalhadas sobre as árvores que plantaram ou adotaram.While various parts of the world are witnessing deforestation trends in primary forests of high value for biodiversity conservation and regulation of essential natural services, other regions, particularly in Europe, are actively promoting reforestation and ecosystem restoration activities. For this reason, dynamic monitoring of forest areas has become an important part of resource management and ecosystem maintenance, largely reliant on remote sensing methods to efficiently oversee forested areas on a timely and consistent basis. The main objectives of this work consist of: (1) evaluating the capability of computational algorithms for tree crown detection using very-high resolution satellite images; (2) determining what features of the images maximise the quality, reliability and robustness of classification outputs; (3) testing the developed algorithms with images from different time periods and different regions, in order to assess their transferability in terms of different temporal and spatial characteristics. In order to achieve this, we used a set of images from the Pleiades Satellite, in which atmospheric corrections and pan-sharpening approaches were performed. Two classification methods were tested, namely the k-means, a non-supervised clustering algorithm, and random forest, a supervised classification algorithm. Results show that the Mosaic Clustering and, specifically, the Random Forest algorithms are promising approaches for tree crown detection, with the addition of new features positively impacting tree crown detection results. Moreover, the results show that the algorithm is not yet capable of performing consistent transferability classifications, due to the domain gaps between sites. In summary, this study was able to improve our understanding of the algorithm's capability to perform tree crown detection, of which factors impact its performance, and of its ability to perform transferability classifications. Its results will serve as a guideline for a first implementation version to be issued for the Life Terra project

Tensor-based Hyperspectral Image Processing Methodology and its Applications in Impervious Surface and Land Cover Mapping

The emergence of hyperspectral imaging provides a new perspective for Earth observation, in addition to previously available orthophoto and multispectral imagery. This thesis focused on both the new data and new methodology in the field of hyperspectral imaging. First, the application of the future hyperspectral satellite EnMAP in impervious surface area (ISA) mapping was studied. During the search for the appropriate ISA mapping procedure for the new data, the subpixel classification based on nonnegative matrix factorization (NMF) achieved the best success. The simulated EnMAP image shows great potential in urban ISA mapping with over 85% accuracy. Unfortunately, the NMF based on the linear algebra only considers the spectral information and neglects the spatial information in the original image. The recent wide interest of applying the multilinear algebra in computer vision sheds light on this problem and raised the idea of nonnegative tensor factorization (NTF). This thesis found that the NTF has more advantages over the NMF when work with medium- rather than the high-spatial-resolution hyperspectral image. Furthermore, this thesis proposed to equip the NTF-based subpixel classification methods with the variations adopted from the NMF. By adopting the variations from the NMF, the urban ISA mapping results from the NTF were improved by ~2%. Lastly, the problem known as the curse of dimensionality is an obstacle in hyperspectral image applications. The majority of current dimension reduction (DR) methods are restricted to using only the spectral information, when the spatial information is neglected. To overcome this defect, two spectral-spatial methods: patch-based and tensor-patch-based, were thoroughly studied and compared in this thesis. To date, the popularity of the two solutions remains in computer vision studies and their applications in hyperspectral DR are limited. The patch-based and tensor-patch-based variations greatly improved the quality of dimension-reduced hyperspectral images, which then improved the land cover mapping results from them. In addition, this thesis proposed to use an improved method to produce an important intermediate result in the patch-based and tensor-patch-based DR process, which further improved the land cover mapping results