Change Detection in Remote Sensing Images Based on Image Mapping and a Deep Capsule Network

Homogeneous image change detection research has been well developed, and many methods have been proposed. However, change detection between heterogeneous images is challenging since heterogeneous images are in different domains. Therefore, direct heterogeneous image comparison in the way that we do it is difficult. In this paper, a method for heterogeneous synthetic aperture radar (SAR) image and optical image change detection is proposed, which is based on a pixel-level mapping method and a capsule network with a deep structure. The mapping method proposed transforms an image from one feature space to another feature space. Then, the images can be compared directly in a similarly transformed space. In the mapping process, some image blocks in unchanged areas are selected, and these blocks are only a small part of the image. Then, the weighted parameters are acquired by calculating the Euclidean distances between the pixel to be transformed and the pixels in these blocks. The Euclidean distance calculated according to the weighted coordinates is taken as the pixel gray value in another feature space. The other image is transformed in a similar manner. In the transformed feature space, these images are compared, and the fusion of the two different images is achieved. The two experimental images are input to a capsule network, which has a deep structure. The image fusion result is taken as the training labels. The training samples are selected according to the ratio of the center pixel label and its neighboring pixels’ labels. The capsule network can improve the detection result and suppress noise. Experiments on remote sensing datasets show the final detection results, and the proposed method obtains a satisfactory performance

Aplicações de modelos de deep learning para monitoramento ambiental e agrícola no Brasil

Tese (doutorado) — Universidade de Brasília, Instituto de Ciências Humanas, Departamento de Geografia, Programa de Pós-Graduação em Geografia, 2022.Algoritmos do novo campo de aprendizado de máquina conhecido como Deep Learning têm se popularizado recentemente, mostrando resultados superiores a modelos tradicionais em métodos de classificação e regressão. O histórico de sua utilização no campo do sensoriamento remoto ainda é breve, porém eles têm mostrado resultados similarmente superiores em processos como a classificação de uso e cobertura da terra e detecção de mudança. Esta tese teve como objetivo o desenvolvimento de metodologias utilizando estes algoritmos com um enfoque no monitoramento de alvos críticos no Brasil por via de imagens de satélite a fim de buscar modelos de alta precisão e acurácia para substituir metodologias utilizadas atualmente. Ao longo de seu desenvolvimento, foram produzidos três artigos onde foi avaliado o uso destes algoritmos para a detecção de três alvos distintos: (a) áreas queimadas no Cerrado brasileiro, (b) áreas desmatadas na região da Amazônia e (c) plantios de arroz no sul do Brasil. Apesar do objetivo similar na produção dos artigos, procurou-se distinguir suficientemente suas metodologias a fim de expandir o espaço metodológico conhecido para fornecer uma base teórica para facilitar e incentivar a adoção destes algoritmos em contexto nacional. O primeiro artigo avaliou diferentes dimensões de amostras para a classificação de áreas queimadas em imagens Landsat-8. O segundo artigo avaliou a utilização de séries temporais binárias de imagens Landsat para a detecção de novas áreas desmatadas entre os anos de 2017, 2018 e 2019. O último artigo utilizou imagens de radar Sentinel-1 (SAR) em uma série temporal contínua para a delimitação dos plantios de arroz no Rio Grande do Sul. Modelos similares foram utilizados em todos os artigos, porém certos modelos foram exclusivos a cada publicação, produzindo diferentes resultados. De maneira geral, os resultados encontrados mostram que algoritmos de Deep Learning são não só viáveis para detecção destes alvos mas também oferecem desempenho superior a métodos existentes na literatura, representando uma alternativa altamente eficiente para classificação e detecção de mudança dos alvos avaliados.Algorithms belonging to the new field of machine learning called Deep Learning have been gaining popularity recently, showing superior results when compared to traditional classification and regression methods. The history of their use in the field of remote sensing is not long, however they have been showing similarly superior results in processes such as land use classification and change detection. This thesis had as its objective the development of methodologies using these algorithms with a focus on monitoring critical targets in Brazil through satellite imagery in order to find high accuracy and precision models to substitute methods used currently. Through the development of this thesis, articles were produced evaluating their use for the detection of three distinct targets: (a) burnt areas in the Brazilian Cerrado, (b) deforested areas in the Amazon region and (c) rice fields in the south of Brazil. Despite the similar objective in the production of these articles, the methodologies in each of them was made sufficiently distinct in order to expand the methodological space known. The first article evaluated the use of differently sized samples to classify burnt areas in Landsat-8 imagery. The second article evaluated the use of binary Landsat time series to detect new deforested areas between the years of 2017, 2018 and 2019. The last article used continuous radar Sentinel-1 (SAR) time series to map rice fields in the state of Rio Grande do Sul. Similar models were used in all articles, however certain models were exclusive to each one. In general, the results show that not only are the Deep Learning models viable but also offer better results in comparison to other existing methods, representing an efficient alternative when it comes to the classification and change detection of the targets evaluated

Inteligência artificial e sistemas de irrigação por pivô central : desenvolvimento de estratégias e técnicas para o aprimoramento do mapeamento automático

Tese (doutorado) — Universidade de Brasília, Instituto de Ciências Humanas, Departamento de Geografia, Programa de Pós-Graduação em Geografia, 2022.A irrigação é o principal responsável pelo aumento da produtividade dos cultivos. Os sistemas de irrigação por pivô central (SIPC) são líderes em irrigação mecanizada no Brasil, com expressivo crescimento nas últimas décadas e projeção de aumento de mais de 134% de área até 2040. O método mais utilizado para identificação de SIPC é baseado na interpretação visual e mapeamento manual das feições circulares, tornando a tarefa demorada e trabalhosa. Nesse contexto, métodos baseados em Deep Learning (DL) apresentam grande potencial na classificação de imagens de sensoriamento remoto, utilizando Convolutional Neural Networks (CNN’s). O uso de DL provoca uma revolução na classificação de imagens, superando métodos tradicionais e alcançando maior precisão e eficiência, permitindo monitoramento regional e contínuo com baixo custo e agilidade. Essa pesquisa teve como objetivo aplicação de técnicas de DL utilizando algoritmos baseados em CNN’s para identificação de SIPC em imagens de sensoriamento remoto. O presente trabalho foi dividido em três capítulos principais: (a) identificação de SIPC em imagens Landsat-8/OLI, utilizando segmentação semântica com três algoritmos de CNN (U-Net, Deep ResUnet e SharpMask); (b) detecção de SIPC usando segmentação de instâncias de imagens multitemporais Sentinel-1/SAR (duas polarizações, VV e VH) utilizando o algoritmo Mask-RCNN, com o backbone ResNeXt-101-32x8d; e (c) detecção de SIPC utilizando imagens multitemporais Sentinel-2/MSI com diferentes percentuais de nuvens e segmentação de instâncias utilizando Mask-RCNN, com o backbone ResNext-101. As etapas metodológicas foram distintas entre os capítulos e todas apresentaram altos valores de métricas e grande capacidade de detecção de SIPC. As classificações utilizando imagens Landsat-8/OLI, e os algoritmos U-Net, Depp ResUnet e SharpMask tiveram respectivamente 0,96, 0,95 e 0,92 de coeficientes Kappa. As classificações usando imagens Sentinel-1/SAR apresentaram melhores métricas na combinação das duas polarizações VV+VH (75%AP, 91%AP50 e 86%AP75). A classificação de imagens Sentinel-2/MSI com nuvens apresentou métricas no conjunto de 6 imagens sem nuvens (80%AP e 93%AP50) bem próximas aos valores do conjunto de imagens com cenário extremo de nuvens (74%AP e 88%AP50), demonstrando que a utilização de imagens multitemporais, aumenta o poder preditivo no aprendizado. Uma contribuição significativa da pesquisa foi a proposição de reconstrução de imagens de grandes áreas, utilizando o algoritmo de janela deslizante, permitindo várias sobreposições de imagens classificadas e uma melhor estimativa de pivô por pixel. O presente estudo possibilitou o estabelecimento de metodologia adequada para detecção automática de pivô central utilizando três tipos diferentes de imagens de sensoriamento remoto, que estão disponíveis gratuitamente, além de um banco de dados com vetores de SIPC no Brasil Central.Irrigation is primarily responsible for increasing crop productivity. Center pivot irrigation systems (CPIS) are leaders in mechanized irrigation in Brazil, with significant growth in recent decades and a projected increase of more than 134% in area by 2040. The most used method for identifying CPIS is based on the interpretation visual and manual mapping of circular features, making the task time-consuming and laborious. In this context, methods based on Deep Learning (DL) have great potential in the classification of remote sensing images, using Convolutional Neural Networks (CNN's). The use of Deep Learning causes a revolution in image classification, surpassing traditional methods and achieving greater precision and efficiency, allowing regional and continuous monitoring with low cost and agility. This research aimed to apply DL techniques using algorithms based on CNN's to identify CIPS in remote sensing images. The present work was divided into three main chapters: (a) identification of CIPS in Landsat-8/OLI images, using semantic segmentation with three CNN algorithms (UNet, Deep ResUnet and SharpMask); (b) CPIS detection using Sentinel-1/SAR multitemporal image instance segmentation (two polarizations, VV and VH) using the Mask-RCNN algorithm, with the ResNeXt-101-32x8d backbone; and (c) SIPC detection using Sentinel2/MSI multitemporal images with different percentages of clouds and instance segmentation using Mask-RCNN, with the ResNext-101 backbone. The methodological steps were different between the chapters and all presented high metric values and great CPIS detection capacity. The classifications using Landsat-8/OLI images, and the U-Net, Depp ResUnet and SharpMask algorithms had respectively 0.96, 0.95 and 0.92 of Kappa coefficients. Classifications using Sentinel-1/SAR images showed better metrics in the combination of the two VV+VH polarizations (75%AP, 91%AP50 and 86%AP75). The classification of Sentinel-2/MSI images with clouds presented metrics in the set of 6 images without clouds (80%AP and 93%AP50) very close to the values of the set of images with extreme cloud scenario (74%AP and 88%AP50), demonstrating that the use of multitemporal images increases the predictive power in learning. A significant contribution of the research was the proposition of reconstruction of images of large areas, using the sliding window algorithm, allowing several overlaps of classified images and a better estimation of pivot per pixel. The present study made it possible to establish an adequate methodology for automatic center pivot detection using three different types of remote sensing images, which are freely available, in addition to a database with CPIS vectors in Central Brazil