Avaliação de metodologias de aprendizagem automática na classificação de culturas agrícolas com base em imagens do Sentinel-2

Trabalho de projeto de mestrado em Sistemas de Informação Geográfica (Tecnologias e Aplicações), Universidade de Lisboa, Faculdade de Ciências, 2020O elevado potencial das imagens de satélite abre novas possibilidades à recolha de informação para o desenvolvimento de produtos úteis ao mapeamento e monitorização agrícola que, a par do desenvolvimento de metodologias de análise de grandes volumes de dados, são instrumentos fundamentais na implementação de uma política agrícola comum (PAC) a nível europeu assente na automatização de processos de monitorização. O presente estudo tem como objetivo testar várias metodologias e algoritmos de aprendizagem automática para classificação de imagem com vista a construir modelos de classificação de culturas agrícolas e potenciar a transferência da aprendizagem que o classificador ganha em treino para permitir a sua aplicação em dados novos, atualizados anualmente. Usaram-se 84 imagens do satélite Sentinel-2 para seguimento do ciclo anual agrícola das culturas de verão em Portugal, entre Março e Setembro dos anos de 2018 e 2019, de três zonas geográficas distintas. Destas, extraíram-se as variáveis para a caracterização do perfil de cada parcela agrícola: os valores de refletância de cada banda e alguns marcadores fenológicos. Os dados foram processados e introduzidos em algoritmos de classificação supervisionada, para posterior comparação. De seguida, adotando o algoritmo que devolveu melhores resultados (Random Forest, RF) foram realizadas diversas classificações e análises de desempenho seguindo diferentes estratégias de amostragem. Os modelos de classificação com o RF mais bem sucedidos mostraram classificações com uma exatidão global (EG) entre os 78% e os 90%. Os modelos de classificação gerados com dados treino de 2018 permitiram classificar dados de qualquer zona do ano subsequente com uma EG superior a 77%. Houve uma maior degradação na EG da classificação na transferência do conhecimento entre regiões no mesmo ano ou em anos distintos do que na mesma região entre anos diferentes. Os resultados obtidos permitiram compreender os mecanismos de classificação de 37 classes de culturas agrícolas e delinear estratégias de amostragem baseadas em técnicas de transferência da aprendizagem para melhorar os modelos de classificação e possibilitar a sua aplicação entre anos e/ou zonas geográficas: a incorporação anual de dados de treino e a amostragem seletiva de parcelas corretamente classificadas (técnica de adaptação de domínio) podem ser estratégias a considerar futuramente para a melhoria dos modelos já desenvolvidos. O presente trabalho está integrado no projeto ‘Desenvolvimento de trabalho técnico-científico de apoio à implementação de um sistema de alerta para a monitorização da atividade agrícola com base em imagens de satélite e inteligência artificial (SAMAS-IA)’, do Instituto de Financiamento da Agricultura e Pescas, I.P. (IFAP) em parceria com a Faculdade de Ciências da Universidade de Lisboa.The potential of satellite imagery opens up new possibilities for acquiring information and product development useful for agricultural mapping and monitoring. Together with the development of methodologies for analyzing large volumes of data, these are important instruments in the implementation of a European Common Agricultural Policy (CAP) based on the automation of monitoring processes. The present study aims to test various methodologies and machine learning algorithms for image classification in order to develop crop classification models and use the transfer learning capabilities to its application in new data, updated annually. 84 images from the Sentinel-2 satellite were used to monitor the annual agricultural cycle of temporary summer crops in Portugal, between March and September 2018 and 2019, from three different regions. Each agricultural parcel profile was characterized using the extracted variables of: multiespectral bands reflectance values and phenological markers. Data was processed and subjected to supervised classification algorithms for comparison, followed by classification and performance analysis using different sampling strategies with the method that returned the best results: Random Forest, RF. The most successful classification models showed classifications with overall accuracy (OA) values between 78% and 90%. The classification models built with training data from 2018 were able to classify data from any region in the following year with an OA greater than 77%. There was a greater decrease in the OA of the classification when transfer learning in between regions of the same year (or of different years) happened than in the same region between different years. The results allowed the understanding of classification mechanisms of 37 agricultural classes and outline sampling strategies based on transfer learning techniques to improve the models and enable their application between years and / or geographical regions. The incorporation of training data on a year basis and the selective sampling of correctly classified objects (domain adaptation technique) is a strategy to consider for the improvement of the models already created. This study is part of the project ‘Development of technical-scientific work to support the implementation of an alert system for monitoring agricultural activity based on satellite imagery and artificial intelligence (SAMAS-IA)’, from the Fisheries and Agriculture Financing Institute (IFAP) in partnership with the Faculty of Sciences of the University of Lisbon