Reconhecimento de formas em imagens através da associação de pontos e avaliação multicritério de arestas

A tarefa de reconhecer formas em imagens é uma atividade inserida na área da visão computacional e está diretamente relacionada ao problema de reconhecimento de padrões. Reconhecer umpadrão em uma imagem pode ser viabilizado por meio da utilização de grafos como estruturas matemáticas para representação de suas características. O processo de reconhecer uma imagem em outra pode ser executado por meio do casamento entre os grafos que as representam. Neste trabalho as formas presentes em imagens serão representadas por grafos e o processo de associação entre elas serámodelado como umproblema de atribuição quadrática. Além disso, são propostas técnicas de avaliação para custear a contribuição das associações entre vértices e arestas. São apresentadas também duas adaptações empregadas sobre a técnica Shape Context, além de um método de comparação de grafos baseado em busca em profundidade usando uma avaliaçãomulticritério das características de arestas. A aplicação dessas técnicas a grafos de linha gerados a partir dos grafos originais a serem comparados, é proposta, apresentando resultados promissores. As técnicas aqui implementadas são submetidas a testes aplicados sobre quatro bases de imagens utilizadas em diversos trabalhos existentes na literatura

Aprendizado de representações e correspondências baseadas em grafos para tarefas de classificação

Orientador: Ricardo da Silva TorresTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Muitas situações do mundo real podem ser modeladas por meio de objetos e seus relacionamentos, como, por exemplo, estradas conectando cidades em um mapa. Grafo é um conceito derivado da abstração dessas situações. Grafos são uma poderosa representação estrutural que codifica relações entre objetos e entre seus componentes em um único formalismo. Essa representação é tão poderosa que é aplicada em uma ampla gama de aplicações, de bioinformática a redes sociais. Dessa maneira, diversos problemas de reconhecimento de padrões são modelados para utilizar representações baseadas em grafos. Em problemas de classificação, os relacionamentos presentes entre objetos ou entre seus componentes são explorados para obter soluções efetivas e/ou eficientes. Nesta tese, nós investigamos o uso de grafos em problemas de classificação. Nós propomos duas linhas de pesquisa na tese: 1) uma representação baseada em grafos associados a objetos multi-modais; e 2) uma abordagem baseada em aprendizado para identificar correspondências entre grafos. Inicialmente, nós investigamos o uso do método Sacola de Grafos Visuais para representar regiões na classificação de imagens de sensoriamento remoto, considerando a distribuição espacial de pontos de interesse dentro da imagem. Quando é feita a combinação de representações de cores e textura, nós obtivemos resultados efetivos em duas bases de dados da literatura (Monte Santo e Campinas). Em segundo lugar, nós propomos duas novas extensões do método de Sacola de Grafos para a representação de objetos multi-modais. Ao utilizar essas abordagens, nós combinamos visões complementares de diferentes modalidades (por exemplo, descrições visuais e textuais). Nós validamos o uso dessas abordagens no problema de detecção de enchentes proposto pela iniciativa MediaEval, obtendo 86,9\% de acurácia nos 50 primeiros resultados retornados. Nós abordamos o problema de corresponência de grafos ao propor um arcabouço original para aprender a função de custo no método de distância de edição de grafos. Nós também apresentamos algumas implementações utilizando métodos de reconhecimento em cenário aberto e medidas de redes complexas para caracterizar propriedades locais de grafos. Até onde sabemos, nós fomos os primeiros a tratar o processo de aprendizado de custo como um problema de reconhecimento em cenário aberto e os primeiros a explorar medidas de redes complexas em tais problemas. Nós obtivemos resultados efetivos, que são comparáveis a diversos métodos da literatura em problemas de classificação de grafosAbstract: Many real-world situations can be modeled through objects and their relationships, like the roads connecting cities in a map. Graph is a concept derived from the abstraction of these situations. Graphs are a powerful structural representation, which encodes relationship among objects and among their components into a single formalism. This representation is so powerful that it is applied to a wide range of applications, ranging from bioinformatics to social networks. Thus, several pattern recognition problems are modeled to use graph-based representations. In classification problems, the relationships among objects or among their components are exploited to achieve effective and/or efficient solutions. In this thesis, we investigate the use of graphs in classification problems. Two research venues are followed: 1) proposal of graph-based multimodal object representations; and 2) proposal of learning-based approaches to support graph matching. Firstly, we investigated the use of the recently proposed Bag-of-Visual-Graphs method in the representation of regions in a remote sensing classification problem, considering the spatial distribution of interest points within the image. When we combined color and texture representations, we obtained effective results in two datasets of the literature (Monte Santo and Campinas). Secondly, we proposed two new extensions of the Bag-of-Graphs method to the representation of multimodal objects. By using these approaches, we can combine complementary views of different modalities (e.g., visual and textual descriptions). We validated the use of these approaches in the flooding detection problem proposed by the MediaEval initiative, achieving 86.9\% of accuracy at the Precision@50. We addressed the graph matching problem by proposing an original framework to learn the cost function in a graph edit distance method. We also presented a couple of formulations using open-set recognition methods and complex network measurements to characterize local graph properties. To the best of our knowledge, we were the first to conduct the cost learning process as an open-set recognition problem and to exploit complex network measurements in such problems. We have achieved effective results, which are comparable to several baselines in graph classification problemsDoutoradoCiência da ComputaçãoDoutor em Ciência da Computação2016/18429-141584/2016-5CAPESFAPESPCNP

Image Classification Based On Bag Of Visual Graphs

This paper proposes the Bag of Visual Graphs (BoVG), a new approach to encode the spatial relationships of visual words through a codebook of visual-word arrangements, represented by graphs. This graph-based codebook defines a descriptor for image representations that not only considers the frequency of occurrence of visual words, but also their spatial relationships. Experiments demonstrate that BoVG yields high-accuracy scores in classification tasks on the traditional Caltech-101 and Caltech-256 datasets. © 2013 IEEE.43124316The Institute of Electrical and Electronics Engineers (IEEE) Signal Processing SocietyLazebnik, S., Schmid, C., Ponce, J., Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories (2006) Proc. of IEEE Conf. on Computer Vision and Pattern RecognitionPenatti, O.A.B., Valle, E., Da Torres S, R., Encoding spatial arrangement of visual words (2011) Proc. of Iberoamerican Cong. in Pattern Recognition (CIARP)Boureau, Y.-L., Bach, F., Lecun, Y., Ponce, J., Learning mid-level features for recognition (2010) Proc. IEEE Conf. on Computer Vision and Pattern RecognitionRocha, A., Carvalho, T., Jelinek, H., Goldenstein, S., Wainer, J., Points of interest and visual dictionaries for automatic retinal lesion detection (2012) IEEE Transactions on Biomedical Engineering, 59 (8), pp. 2244-2253Cao, Y., Wang, C., Li, Z., Zhang, L., Zhang, L., Spatial-bag-of-features (2010) Proc of IEEE Conf. on Computer Vision and Pattern RecognitionKaraman, S., Jenny, B.-P., Megret, R., Bugeau, A., Multi-layer local graph words for object recognition (2012) Proc. of Intl. Conf.On Advances in Multimedia Modeling (MMM)Welling, M., Weber, M., Perona, P., Unsupervised learning of models for recognition (2000) Proc. European Conf. Computer VisionFergus, R., Perona, P., Zisserman, A., Object class recognition by unsupervised scale-invariant learning (2003) Proc. of IEEE Conf. Computer Vision and Pattern RecognitionMikolajczyk, K., Tuytelaars, T., Schmid, C., Zisserman, A., Matas, J., Schaffalitzky, F., Kadir, T., Van Gool, L., A comparison of affine region detectors (2005) Int. J. Comput. Vision, 65 (1-2), pp. 43-72Lowe, D.G., Distinctive image features from scale-invariant keypoints (2004) Int. Journal of Computer Vision, 60 (2), pp. 91-110Van De Sande, K.E.A., Gevers, T., Snoek, C.G.M., Evaluating color descriptors for object and scene recognition (2010) IEEE Transactions on Pattern Analysis and Machine Intelligence, 32 (9), pp. 1582-1596Cai, H., Yan, F., Mikolajczyk, K., Learning weights for codebook in image classification and retrieval (2010) Proc of IEEE Conf. Computer Vision and Pattern RecognitionVan Gemert, J.C., Veenman, C.J., Smeulders, A.W.M., Geusebroek, J.-M., Visual word ambiguity (2010) IEEE Transactions on Pattern Analysis and Machine Intelligence, 32 (7), pp. 1271-1283Viitaniemi, V., Laaksonen, J., Experiments on selection of codebooks for local image feature histograms (2008) Proc. Intl. Conf. on Visual Information Systems: Web-Based Visual Information Search and ManagementHashimoto, M., Cesar Jr., R.M., Object detection by keygraph classification (2009) Proc. of the Intl. Workshop on Graph-Based Representations in Pattern RecognitionJouili, S., Mili, I., Tabbone, S., Attributed graph matching using local descriptions (2009) ACIVS. 5807 of Lecture Notes in Computer Science, pp. 89-99. , SpringerOjala, T., Pietikainen, M., Maenpaa, T., Multiresolution gray-scale and rotation invariant texture classification with local binary patterns (2002) IEEE Transactions on Pattern Analysis and Machine Intelligence, 24 (7), pp. 971-987Sivic, J., Russell, B.C., Efros, A.A., Zisserman, A., Freeman, W.T., Discovering objects and their location in images (2005) IEEE International Conference on Computer VisionLi, F.-F., Fergus, R., Perona, P., Learning generative visual models from few training examples: An incremental bayesian approach tested on 101 object categories (2007) Computer Vision and Image Understanding, 106, pp. 59-70Griffin, G., Holub, A., Perona, P., (2007) Caltech-256 Object Category Dataset, , Tech. Rep. 7694, California Institute of TechnologyVan De Sande, K.E.A., Gevers, T., Snoek, C.G.M., Empowering visual categorization with the gpu (2011) IEEE Transactions on Multimedia, 13 (1), pp. 60-70Chang, C.-C., Lin, C.-J., LIBSVM: A library for support vector machines (2011) ACM Transactions on Intelligent Systems and Technology, 2, pp. 271-2727Huang, T.-K., Weng, R.C., Lin, C.-J., Generalized bradley-terry models and multi-class probability estimates (2006) J. Mach. Learn. Res, 7, pp. 85-115. , De