Índices espectrais baseados em programação genética para classificação de imagens de sensoriamento remoto

Orientador: Ricardo da Silva TorresDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Sensoriamento remoto é o conjunto de técnicas que permitem, por meio de sensores, analisar objetos a longas distâncias sem estabelecer contato físico com eles. Atualmente, sua contribuição em ciências naturais é enorme, dado que é possível adquirir imagens de alvos em mais regiões do espectro eletromagnético além do canal visível. Trabalhar com imagens compostas por múltiplas bandas espectrais requer tratar grandes quantidades de informação associada a uma única entidade, coisa que afeta negativamente o desempenho de algoritmos de predição, fazendo nacessário o uso de técnicas de redução da dimensionalidade. Este trabalho apresenta uma abordagem de extração de características baseada em índices espectrais aprendidos por Programação Genética (GP), que projetam os dados associados aos pixels em novos espaços de características, com o objetivo de aprimorar a acurácia de algoritmos de classificação. Índices espectrais são funções que relacionam a refletância, em canais específicos do espectro, com valores reais que podem ser interpretados como a abundância de características de interesse de objetos captados à distância. Com GP é possível aprender índices que maximizam a separabilidade de amostras de duas classes diferentes. Assim que os índices especializados para cada par possível de classes são obtidos, empregam-se duas abordagens diferentes para combiná-los e construir um sistema de classificação de pixels. Os resultados obtidos para os cenários binário e multi-classe mostram que o método proposto é competitivo com respeito a técnicas tradicionais de redução da dimensionalidade. Experimentos adicionais aplicando o método para análise sazonal de biomas tropicais mostram claramente a superioridade de índices aprendidos por GP para propósitos de discriminação, quando comparados a índices desenvolvidos por especialistas, independentemente da especificidade do problemaAbstract: Remote sensing is the set of techniques that allow, by means of sensor technologies, to analyze objects at long distances without making physical contact with them. Currently, its contribution for natural sciences is enormous, since it is possible to acquire images of target objects in more regions of the electromagnetic spectrum than the visible region only. Working with images composed of various spectral bands demands dealing with huge amounts of data associated with single entities, which affects negatively the performance in prediction tasks, and makes necessary the use of dimensionality reduction techniques. This work introduces a feature extraction approach, based on spectral indices learned by Genetic Programming (GP), to project data from pixel values into new feature spaces aiming to improve classification accuracy. Spectral indices are functions that map the reflectance of remotely sensed objects in specific wavelength intervals, into real scalars that can be interpreted as the abundance of features of interest. Through GP, it is possible to learn indices that maximize the separability of samples from two different classes. Once the indices specialized for all the pairs of classes are obtained, they are used in two different approaches to fuse them into a pixel classification system. Results for the binary and multi-class scenarios show that the proposed method is competitive with respect to traditional dimensionality reduction techniques. Additional experiments in tropical biomes seasonal analysis show clearly how superior GP-based spectral indices are for discrimination purposes, when compared to indices developed by experts, regardless the specificity of the problemMestradoCiência da ComputaçãoMestre em Ciência da Computação134089/2015-4CNP

Componentes e pontos de quebra em séries temporais na análise de imagens de sensoriamento remoto

Orientador: Ricardo da Silva TorresDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: A detecção e caracterização de mudanças temporais são indicadores cruciais no processo de compreensão da maneira como mecanismos complexos funcionam e evoluem. Técnicas e imagens de sensoriamento remoto têm sido amplamente empregadas nas últimas décadas com objetivo de detectar e investigar mudanças temporais na superfície terrestre. Tal detecção em dados de séries temporais é passível de ser refinada ainda mais isolando-se as componentes aditivas de tendência e sazonalidade do ruído subjacente. Este trabalho investiga, em particular, o método Breaks For Additive Season and Trend (BFAST) para a análise, decomposição e detecção de pontos de quebra em séries temporais associadas a dados de sensoriamento remoto. Os outputs do método são, então, utilizados em três distintas ¿ mas altamente interconectadas ¿ linhas de pesquisa: em uma melhor compreensão de fenômenos climáticos; na correlação com dados de distúrbios antropológicos; e em problemas de classificação usando funções de dissimilaridade descobertas por um framework evolucionário baseado em Programação Genética (GP). Experimentos realizados demonstram que a decomposição e pontos de quebra produziram resultados efetivos quando aplicados aos estudos com dados ecológicos, mas não foram capazes de melhorar os resultados de classificação quando comparados ao uso das séries brutas. As realizações nesses três contextos também culminaram na criação de duas ferramentas de análise de séries temporais com código aberto baseadas na web, sendo que uma delas foi tão bem aceita pela comunidade-alvo, que atualmente encontra-se integrada em uma plataforma privada de computação em nuvemAbstract: Detecting and characterizing temporal changes are crucial indicators in the process of understanding how complex mechanisms work and evolve. The use of remote sensing images and techniques has been broadly employed over the past decades in order to detect and investigate temporal changes on the Earth surface. Such change detection in time series data may be even further refined by isolating the additive long-term (trend) and cyclical (seasonal) components from the underlying noise. This work investigates the particular Breaks For Additive Season and Trend (BFAST) method for the analysis, decomposition, and breakpoint detection of time series associated with remote sensing data. The derived outputs from that method are, then, used in three distinct ¿ but highly interconnected ¿ research venues: in a better comprehension of climatic phenomena; in the correlation to human-induced disturbances data; and in data classification problems using time series dissimilarity functions discovered by a Genetic-Programming-(GP)-based evolutionary framework. Performed experiments show that decomposition and breakpoints produced insightful and effective results when applied to the ecological data studies, but could not further improve the classification results when compared to its raw time series counterpart. The achievements in those three contexts also led to the creation of two open-source web-based time series analysis tools. One of those tools was so well received by the target community, that it is currently integrated into a private cloud computing platformMestradoCiência da ComputaçãoMestre em Ciência da Computação132847/2015-92015/02105-0CNPQFAPES

Um estudo comparativo das abordagens de detecção e reconhecimento de texto para cenários de computação restrita

Orientadores: Ricardo da Silva Torres, Allan da Silva PintoDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Textos são elementos fundamentais para uma efetiva comunicação em nosso cotidiano. A mobilidade de pessoas e veículos em ambientes urbanos e a busca por um produto de interesse em uma prateleira de supermercado são exemplos de atividades em que o entendimento dos elementos textuais presentes no ambiente são essenciais para a execução da tarefa. Recentemente, diversos avanços na área de visão computacional têm sido reportados na literatura, com o desenvolvimento de algoritmos e métodos que objetivam reconhecer objetos e textos em cenas. Entretanto, a detecção e reconhecimento de textos são problemas considerados em aberto devido a diversos fatores que atuam como fontes de variabilidades durante a geração e captura de textos em cenas, o que podem impactar as taxas de detecção e reconhecimento de maneira significativa. Exemplo destes fatores incluem diferentes formas dos elementos textuais (e.g., circular ou em linha curva), estilos e tamanhos da fonte, textura, cor, variação de brilho e contraste, entre outros. Além disso, os recentes métodos considerados estado-da-arte, baseados em aprendizagem profunda, demandam altos custos de processamento computacional, o que dificulta a utilização de tais métodos em cenários de computação restritiva. Esta dissertação apresenta um estudo comparativo de técnicas de detecção e reconhecimento de texto, considerando tanto os métodos baseados em aprendizado profundo quanto os métodos que utilizam algoritmos clássicos de aprendizado de máquina. Esta dissertação também apresenta um método de fusão de caixas delimitadoras, baseado em programação genética (GP), desenvolvido para atuar tanto como uma etapa de pós-processamento, posterior a etapa de detecção, quanto para explorar a complementariedade dos algoritmos de detecção de texto investigados nesta dissertação. De acordo com o estudo comparativo apresentado neste trabalho, os métodos baseados em aprendizagem profunda são mais eficazes e menos eficientes, em comparação com os métodos clássicos da literatura e considerando as métricas adotadas. Além disso, o algoritmo de fusão proposto foi capaz de aprender informações complementares entre os métodos investigados nesta dissertação, o que resultou em uma melhora das taxas de precisão e revocação. Os experimentos foram conduzidos considerando os problemas de detecção de textos horizontais, verticais e de orientação arbitráriaAbstract: Texts are fundamental elements for effective communication in our daily lives. The mobility of people and vehicles in urban environments and the search for a product of interest on a supermarket shelf are examples of activities in which the understanding of the textual elements present in the environment is essential to succeed in such tasks. Recently, several advances in computer vision have been reported in the literature, with the development of algorithms and methods that aim to recognize objects and texts in scenes. However, text detection and recognition are still open problems due to several factors that act as sources of variability during scene text generation and capture, which can significantly impact detection and recognition rates of current algorithms. Examples of these factors include different shapes of textual elements (e.g., circular or curved), font styles and sizes, texture, color, brightness and contrast variation, among others. Besides, recent state-of-the-art methods based on deep learning demand high computational processing costs, which difficult their use in restricted computing scenarios. This dissertation presents a comparative study of text detection and recognition techniques, considering methods based on deep learning and methods that use classical machine learning algorithms. This dissertation also presents an algorithm for fusing bounding boxes, based on genetic programming (GP), developed to act as a post-processing step for a single text detector and to explore the complementarity of text detection algorithms investigated in this dissertation. According to the comparative study presented in this work, the methods based on deep learning are more effective and less efficient, in comparison to classic methods for text detection investigated in this work, considering the adopted metrics. Furthermore, the proposed GP-based fusion algorithm was able to learn complementary information from the methods investigated in this dissertation, which resulted in an improvement of precision and recall rates. The experiments were conducted considering text detection problems involving horizontal, vertical and arbitrary orientationsMestradoCiência da ComputaçãoMestre em Ciência da ComputaçãoCAPE

Recuperação multimodal e interativa de informação orientada por diversidade

Orientador: Ricardo da Silva TorresTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Os métodos de Recuperação da Informação, especialmente considerando-se dados multimídia, evoluíram para a integração de múltiplas fontes de evidência na análise de relevância de itens em uma tarefa de busca. Neste contexto, para atenuar a distância semântica entre as propriedades de baixo nível extraídas do conteúdo dos objetos digitais e os conceitos semânticos de alto nível (objetos, categorias, etc.) e tornar estes sistemas adaptativos às diferentes necessidades dos usuários, modelos interativos que consideram o usuário mais próximo do processo de recuperação têm sido propostos, permitindo a sua interação com o sistema, principalmente por meio da realimentação de relevância implícita ou explícita. Analogamente, a promoção de diversidade surgiu como uma alternativa para lidar com consultas ambíguas ou incompletas. Adicionalmente, muitos trabalhos têm tratado a ideia de minimização do esforço requerido do usuário em fornecer julgamentos de relevância, à medida que mantém níveis aceitáveis de eficácia. Esta tese aborda, propõe e analisa experimentalmente métodos de recuperação da informação interativos e multimodais orientados por diversidade. Este trabalho aborda de forma abrangente a literatura acerca da recuperação interativa da informação e discute sobre os avanços recentes, os grandes desafios de pesquisa e oportunidades promissoras de trabalho. Nós propusemos e avaliamos dois métodos de aprimoramento do balanço entre relevância e diversidade, os quais integram múltiplas informações de imagens, tais como: propriedades visuais, metadados textuais, informação geográfica e descritores de credibilidade dos usuários. Por sua vez, como integração de técnicas de recuperação interativa e de promoção de diversidade, visando maximizar a cobertura de múltiplas interpretações/aspectos de busca e acelerar a transferência de informação entre o usuário e o sistema, nós propusemos e avaliamos um método multimodal de aprendizado para ranqueamento utilizando realimentação de relevância sobre resultados diversificados. Nossa análise experimental mostra que o uso conjunto de múltiplas fontes de informação teve impacto positivo nos algoritmos de balanceamento entre relevância e diversidade. Estes resultados sugerem que a integração de filtragem e re-ranqueamento multimodais é eficaz para o aumento da relevância dos resultados e também como mecanismo de potencialização dos métodos de diversificação. Além disso, com uma análise experimental minuciosa, nós investigamos várias questões de pesquisa relacionadas à possibilidade de aumento da diversidade dos resultados e a manutenção ou até mesmo melhoria da sua relevância em sessões interativas. Adicionalmente, nós analisamos como o esforço em diversificar afeta os resultados gerais de uma sessão de busca e como diferentes abordagens de diversificação se comportam para diferentes modalidades de dados. Analisando a eficácia geral e também em cada iteração de realimentação de relevância, nós mostramos que introduzir diversidade nos resultados pode prejudicar resultados iniciais, enquanto que aumenta significativamente a eficácia geral em uma sessão de busca, considerando-se não apenas a relevância e diversidade geral, mas também o quão cedo o usuário é exposto ao mesmo montante de itens relevantes e nível de diversidadeAbstract: Information retrieval methods, especially considering multimedia data, have evolved towards the integration of multiple sources of evidence in the analysis of the relevance of items considering a given user search task. In this context, for attenuating the semantic gap between low-level features extracted from the content of the digital objects and high-level semantic concepts (objects, categories, etc.) and making the systems adaptive to different user needs, interactive models have brought the user closer to the retrieval loop allowing user-system interaction mainly through implicit or explicit relevance feedback. Analogously, diversity promotion has emerged as an alternative for tackling ambiguous or underspecified queries. Additionally, several works have addressed the issue of minimizing the required user effort on providing relevance assessments while keeping an acceptable overall effectiveness. This thesis discusses, proposes, and experimentally analyzes multimodal and interactive diversity-oriented information retrieval methods. This work, comprehensively covers the interactive information retrieval literature and also discusses about recent advances, the great research challenges, and promising research opportunities. We have proposed and evaluated two relevance-diversity trade-off enhancement work-flows, which integrate multiple information from images, such as: visual features, textual metadata, geographic information, and user credibility descriptors. In turn, as an integration of interactive retrieval and diversity promotion techniques, for maximizing the coverage of multiple query interpretations/aspects and speeding up the information transfer between the user and the system, we have proposed and evaluated a multimodal learning-to-rank method trained with relevance feedback over diversified results. Our experimental analysis shows that the joint usage of multiple information sources positively impacted the relevance-diversity balancing algorithms. Our results also suggest that the integration of multimodal-relevance-based filtering and reranking was effective on improving result relevance and also boosted diversity promotion methods. Beyond it, with a thorough experimental analysis we have investigated several research questions related to the possibility of improving result diversity and keeping or even improving relevance in interactive search sessions. Moreover, we analyze how much the diversification effort affects overall search session results and how different diversification approaches behave for the different data modalities. By analyzing the overall and per feedback iteration effectiveness, we show that introducing diversity may harm initial results whereas it significantly enhances the overall session effectiveness not only considering the relevance and diversity, but also how early the user is exposed to the same amount of relevant items and diversityDoutoradoCiência da ComputaçãoDoutor em Ciência da ComputaçãoP-4388/2010140977/2012-0CAPESCNP

Image retrieval with relevance feedback based on genetic programing

Orientador: Ricardo da Silva TorresDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: A técnica de realimentação de relevância tem sido utilizada com o intuito de incorporar a subjetividade da percepção visual de usuários à recuperação de imagens por conteúdo. Basicamente, o processo de realimentação de relevância consiste na: (i) exibição de um pequeno conjunto de imagens; (ii) rotulação dessas imagens pelo usuário, indicando quais são relevantes ou não; (iii) e finalmente, aprendizado das preferências do usuário a partir das imagens rotuladas e seleção de um novo conjunto de imagens para exibição. O processo se repete até que o usuário esteja satisfeito. Esta dissertação apresenta dois arcabouços para recuperação de imagens por conteúdo com realimentação de relevância. Esses arcabouços utilizam programação genética para assimilar a percepção visual do usuário por meio de uma combinação de descritores. A utilização de programação genética é motivada pela sua capacidade exploratória do espaço de busca uma vez que esse espaço se adequa ao objetivo principal dos arcabouços propostos: encontrar, dentre todas as possíveis funções de combinação de descritores, aquela que melhor representa as características visuais que um usuário deseja ressaltar na realização de uma consulta. Os arcabouços desenvolvidos foram validados por meio de uma série de experimentos, envolvendo três diferentes bases de imagens e descritores de cor, forma e textura para a caracterização do conteúdo dessas imagens. Os arcabouços propostos foram comparados com três outros métodos de recuperação de imagens por conteúdo com realimentação de relevância, considerando-se a eficiência e a efetividade no processo de recuperação. Os resultados experimentais mostraram a superioridade dos arcabouços propostos. As contribuições dessa dissertação são: (i) estudo sobre diferentes técnicas de realimentação de relevância; (ii) proposta de dois arcabouços para recuperação de imagens por conteúdo com realimentação de relevância baseado em programação genética; (iii) implementação dos métodos propostos, validando-os por meio de uma série de experimentos e comparações com outros métodosAbstract: Relevance Feedback has been used to incorporate the subjectivity of user visual perception in content-based image retrieval tasks. The relevance feedback process consists in the following steps: (i) showing a small set of images; (ii) indication of relevant or irrelevant images by the user; (iii) and finally, learning the user needs from her feedback, and selecting a new set of images to be showed. This procedure is repeated until the user is satisfied. This dissertation presents two content-based image retrieval frameworks with relevance feedback. These frameworks employ Genetic Programming to discover a combination of descriptors that characterize the user perception of image similarity. The use of genetic programming is motivated by its capability of exploring the search space, which deals with the major goal of the proposed frameworks: find, among all combination functions of descriptors, the one that best represents the user needs. Several experiments were conducted to validate the proposed frameworks. These experiments employed three different images databases and color, shape and texture descriptors to represent the content of database images. The proposed frameworks were compared with three other content-based image retrieval methods regarding their efficiency and effectiveness in the retrieval process. Experiment results demonstrate the superiority of the proposed methods. The contributions of this work are: (i) study of different relevance feedback techniques; (ii) proposal of two content-based image retrieval frameworks with relevance feedback, based on genetic programming; (ii) implementation of the proposed methods and their validation with several experiments, and comparison with other methodsMestradoBanco de DadosMestre em Ciência da Computaçã

Programação genética baseada em árvores para classificação com uma classe com ênfase na geração de anomalias

Resumo: A PG (Programação Genetica) e aplicada com sucesso em Classicação. Entretanto, a pesquisa voltada a aplicação de PG para OCC (One-Class Classication) encontra-se em estagios iniciais, pois os poucos trabalhos relacionados existentes estão repletos de mudancas que não foram individualmente avaliadas e cujos propositos estão em resolver problemas provenientes do metodo de geracão de anomalias empregado e tambem na redução do tempo computacional da etapa de treino. Nesse contexto, e notavel que para tornar a PG em algoritmo de excelência para OCC o primeiro passo e avaliar sua abordagem convencional para o problema, algo que ainda no foi realizado, e objetivo central do presente trabalho, pois a introdução de novas ideias somente se justica ao se conhecer as limitações e os resultados obtidos pelo algoritmo convencional. Contudo, a aplicação de PG para OCC requer que o problema seja transformado em classicação binaria, cujas duas classes que compõem o conjunto de dados de treino são compostas por exemplos de perl normal e anormal. Porem, em diversos problemas de OCC e impraticavel obter exemplos anormais, por isto neste trabalho enfatiza-se a avaliacão de algoritmos para gerar exemplos anormais, algo que tambem ainda não foi realizado para PG. Entre os algoritmos de geração de anomalia estudados, selecionou-se o metodo pro- posto por Banhalmi et al. [6] que baseia-se em exemplos mais distantes da classe normal, o algoritmo baseado no conceito de hiperesfera proposto por Tax e Duin [38] e a tecnica RNS (Real-valued Negative Selection) inspirada em sistemas imunologicos proposta por Gonzales et al. [19] [20]. Um estudo comparativo entre eles foi realizado, para avaliar o desempenho de classicação obtido por um classicador induzido por PG convencio- nal sob uma abordagem de classicacão binaria. Vericou-se que o metodo proposto por Banhalmi et al. possibilitou a obtencão dos melhores resultados. O algoritmo de geracão de anomalias com melhor avaliacão foi empregado aos demais experimentos do presente trabalho, entre eles, um estudo comparativo entre a PG pro- posta no presente trabalho e as abordagens da literatura para OCC. Nesse experimento, vericou-se que a PG proposta neste trabalho obteve melhores resultados de classicacão em dois problemas OCC, em outros três obteve desempenho similar e em um deles foi in- ferior. Portanto, atesta-se a hipotese de que e possvel resolver OCC usando um algoritmo de PG convencional utilizando o algoritmo adequado para geracão de anomalias. O impacto de certos parâmetros da PG tambem foi avaliado. Entre eles o tamanho da populacão, que apresentou maior impacto no desempenho de classicacão em um problema OCC comparado a diferentes ajustes no tamanho da arvore e na taxa de mutacão. Alem disso, diferentes funcões de aptidão tambem foram experimentadas. Vericou-se que a funcão composta pela media das taxas individuais de acerto em cada classe apresentou melhor desempenho de classicacão OCC quando comparada ao uso da metrica AUC (Area Under the Receiver Operation Characteristic Curve). A taxa WMW (Wilcoxon- Mann-Whitney), considerada um estimador da AUC com custo computacional inferior, tambem foi aplicada como funcão de aptidão e apresentou resultado semelhante ao uso da AUC