Overview of the ImageCLEFphoto 2008 photographic retrieval task

ImageCLEFphoto 2008 is an ad-hoc photo retrieval task and part of the ImageCLEF evaluation campaign. This task provides both the resources and the framework necessary to perform comparative laboratory-style evaluation of visual information retrieval systems. In 2008, the evaluation task concentrated on promoting diversity within the top 20 results from a multilingual image collection. This new challenge attracted a record number of submissions: a total of 24 participating groups submitting 1,042 system runs. Some of the findings include that the choice of annotation language is almost negligible and the best runs are by combining concept and content-based retrieval methods

Some Results Using Different Approaches to Merge Visual and Text-Based Features in CLEF’08 Photo Collection

This paper describes the participation of the MIRACLE team at the ImageCLEF Photographic Retrieval task of CLEF 2008. We succeeded in submitting 41 runs. Obtained results from text-based retrieval are better than content-based as previous experiments in the MIRACLE team campaigns [5, 6] using different software. Our main aim was to experiment with several merging approaches to fuse text-based retrieval and content-based retrieval results, and it happened that we improve the text-based baseline when applying one of the three merging algorithms, although visual results are lower than textual ones

Multimedia Retrieval by Means of Merge of Results from Textual and Content Based Retrieval Subsystems

The main goal of this paper it is to present our experiments in ImageCLEF 2009 Campaign (photo retrieval task). In 2008 we proved empirically that the Text-based Image Retrieval (TBIR) methods defeats the Content-based Image Retrieval CBIR “quality” of results, so this time we developed several experiments in which the CBIR helps the TBIR. The TBIR System [6] main improvement is the named-entity sub-module. In case of the CBIR system [3] the number of low-level features has been increased from the 68 component used at ImageCLEF 2008 up to 114 components, and only the Mahalanobis distance has been used. We propose an ad-hoc management of the topics delivered, and the generation of XML structures for 0.5 million captions of the photographs (corpus) delivered. Two different merging algorithms were developed and the third one tries to improve our previous cluster level results promoting the diversity. Our best run for precision metrics appeared in position 16th, in the 19th for MAP score, and for diversity value in position 11th, for a total of 84 submitted experiments. Our best and “only textual” experiment was the 6th one over 41

EXPLORANDO MÉTODOS NÃO SUPERVISIONADOS PARA DIVERSIFICAÇÃO VISUAL

Tradicionalmente, sistemas de recuperação de imagem por conteúdo estão sendoaprimorados utilizando mecanismos de aprendizado de máquina aliados à realimentaçãode relevância (Calumby et al. 2014), por meio da qual o usuário julga os resultadosapresentados, permitindo com o que o sistema aprenda e apresente melhores resultadosa cada interação.Em vários cenários, tão importante quanto a relevância dos itens é a diversidadedo resultado. No processo de recuperação por conteúdo, dadas as intenções de busca dousuário, não necessariamente os itens relevantes são aqueles que possuem maior valorde relevância em relação à consulta. Informações relevantes podem pertencer a itenscom conceitos diferentes (Sanderson et al. 2009). A diversidade no resultado é essencialpara que o sistema aprenda de forma mais precisa o que é realmente relevante na busca,pois permite ao usuário uma melhor visão dos possíveis itens obtidos como resultado.Porém, em contrapartida, pode também mostrar itens irrelevantes. Métodos dereranqueamento (Carbonell & Goldstein, 1998) e técnicas de agrupamento (Calumby etal. 2014) têm sido empregados com intuito de promover esta diversidade.Em recuperação de informação, a técnica Floresta de Caminhos Ótimos (OPF,do inglês Optimum-Path Forest) (Papa, 2009) tem sido aplicada tanto em realimentaçãode relevância (supervisionada)(da Silva et al. 2012) quanto em agrupamento de dados(Rocha et al. 2009)(não supervisionada), mas não com o foco em promoção dediversidade. Esta técnica, baseada na construção de árvores de caminhos ótimos, visaconectar itens, criando grupos conceitualmente homogêneos. Consequentemente, estesgrupos podem ser associadas às diferentes intenções de busca de um usuário oudiferentes interpretações que uma mesma consulta possa ter.O objetivo deste trabalho é avaliar métodos não supervisionados em buscainterativa com promoção de diversidade, comparando e analisando seus resultados emdiferentes modalidades de busca

Refinamento do Conjunto Inicial de Resultados Utilizando Informações Contextuais para Recuperação Interativa de Imagens

O avanço das tecnologias de captura e armazenamento de conteúdo digital proporcionaum aumento na quantidade de dados (imagens, vídeos, e-mails, documentos, etc) queconsequentemente demanda por desenvolvimento de técnicas para sua exploração tendoem vista sua grande quantidade e disponibilidade, em sistemas computacionais ao redordo mundo. Esses dados podem ser utilizados para fins diversos, como medicina, análiseforense, estudo de biodiversidade, redes sociais, bibliotecas digitais, entre outros (Lew,2001) e a eficácia em suas técnicas de exploração/recuperação podem tornar o acessomais fácil e produtivo.Quando trata-se de imagens, por exemplo, os principais paradigmas de buscaconsistem em levar em consideração informações textuais associadas (anotações,metadados, palavras-chave) para realizar sua recuperação para um usuário a partir debancos de dados (Lieberman & Rosenzweig, 2001). Outra abordagem comum se dáatravés da representação computacional das propriedades visuais de imagens (cor, formae textura) e com base nisso computar similaridade entre imagens. As entidadesresponsáveis por realizar esse processo são denominadas descritores. Os sistemascomputacionais de recuperação de imagens por conteúdo, podem, a partir de uma oumais imagens de consulta, ordenar as imagens de sua base deacordo com a similaridade em relação à imagem de consulta e retornar as maisparecidas para o usuário (Torres & Falcão, 2006).Um problema comum às duas abordagens citadas trata-se da noção desimilaridade, que varia de acordo com a percepção de cada usuário e da discrepânciaentre a interpretação das características semânticas de uma imagem por um ser humanoem relação à representação de suas propriedades por meio de uma máquina (gapsemântico). Com intuito de minimizar o problema tenta-se combinar descritores visuaisde modo a adaptar a busca às necessidades do usuário (Atrey et al., 2010). Outrapossibilidade é permitir que o usuário interaja com o sistema, indicando a relevância dasimagens no resultado o que possibilita ao sistema retornar outras similarmenterelevantes (Ruthven & Lalmas, 2010; Calumby et al., 2010). Com isso, à partir detécnicas de aprendizado de máquina é possível buscar por padrões que representem asnecessidades do usuário.A aplicação de técnicas de aprendizado de máquina com realimentação derelevância permitem ao usuário interagir com o sistema enquanto ele tenta aprendercomo atender às suas necessidades. Esse processo é realizado de maneira iterativaenquanto o usuário não se declarar satisfeito. O usuário alimenta o sistema ao longo dasiterações quando indica a relevância dos itens exibidos, desta forma, o sistema tentacodificar quais propriedades visuais melhor caracterizam as imagens informadas comorelevantes pelo usuário, portanto tende a retornar resultados mais relevantes, ao longodas iterações, em relação ao conjunto inicial. De forma intuitiva, se o conjunto inicialapresenta resultados não satisfatórios, a tendência é que o usuário não tenha comofornecer informação de qualidade para o sistema e assim os resultados consequentestambém sejam insatisfatórios (Calumby et al., 2017).Desta forma, têm-se desenvolvido técnicas de re-ranqueamento com o intuito demelhorar a eficácia de sistemas de recuperação de imagens. Exemplo disso é o métodode re-ranqueamento baseado em espaços contextuais (Pedronette et al., 2014). A ideiageral é explorar as informações que as relações entre várias imagens podem prover.Deste modo, é possível redefinir o grau de similaridade entre duas imagens levando emconsideração a similaridade de uma das imagens, em relação às suas vizinhas. Ou seja, épossível refinar as distâncias entre imagens levando em consideração o contexto em queuma delas estão inseridas.Este trabalho realizou a avaliação do emprego desta técnica, com intuito derefinar o conjunto inicial de resultados de busca de imagens por conteúdo e analisar seuimpacto ao longo das iterações

MIRACLE (FI) at ImageCLEFphoto 2009

The Miracle-FI participation at ImageCLEF 2009 photo retrieval task main goal was to improve the merge of content-based and text-based techniques in our experiments. The global system includes our own implemented tool IDRA (InDexing and Retrieving Automatically), and the Valencia University CBIR system. Analyzing both “topics_part1.txt” and “topics_part2.txt” task topics files, we have built different queries files, eliminating the negative sentences with the text from title and clusterTitle or clusterDescription, one query for each cluster (or not) of each topic from 1 to 25 and one for each of the three images of each topic from 26 to 50. In the CBIR system the number of low-level features has been increased from the 68 component used at ImageCLEF 2008 up to 114 components, and in this edition only the Mahalanobis distance has been used in our experiments. Three different merging algorithms were developed in order to fuse together different results lists from visual or textual modules, different textual indexations, or cluster level results into a unique topic level results list. For the five runs submitted we observe that MirFI1, MirFI2 and MifFI3 obtain quite higher precision values than the average ones. Experiment MirFI1, our best run for precision metrics (very similar to MirFI2 and MirFI3), appears in the 16th position in R-Precision classification and in the 19th in MAP one (from a total of 84 submitted experiments). MirFI4 and MirFI5 obtain our best diversity values, appearing in position 11th (over 84) in cluster recall classification, and being the 5th best group from all the 19 participating ones

The Wikipedia Image Retrieval Task

The wikipedia image retrieval task at ImageCLEF provides a testbed for the system-oriented evaluation of visual information retrieval from a collection of Wikipedia images. The aim is to investigate the effectiveness of retrieval approaches that exploit textual and visual evidence in the context of a large and heterogeneous collection of images that are searched for by users with diverse information needs. This chapter presents an overview of the available test collections, summarises the retrieval approaches employed by the groups that participated in the task during the 2008 and 2009 ImageCLEF campaigns, provides an analysis of the main evaluation results, identifies best practices for effective retrieval, and discusses open issues

The Wikipedia Image Retrieval Task

htmlabstractThe wikipedia image retrieval task at ImageCLEF provides a testbed for the system-oriented evaluation of visual information retrieval from a collection of Wikipedia images. The aim is to investigate the effectiveness of retrieval approaches that exploit textual and visual evidence in the context of a large and heterogeneous collection of images that are searched for by users with diverse information needs. This chapter presents an overview of the available test collections, summarises the retrieval approaches employed by the groups that participated in the task during the 2008 and 2009 ImageCLEF campaigns, provides an analysis of the main evaluation results, identifies best practices for effective retrieval, and discusses open issues

Mining photographic collections to enhance the precision and recall of search results using semantically controlled query expansion

Driven by a larger and more diverse user-base and datasets, modern Information Retrieval techniques are striving to become contextually-aware in order to provide users with a more satisfactory search experience. While text-only retrieval methods are significantly more accurate and faster to render results than purely visual retrieval methods, these latter provide a rich complementary medium which can be used to obtain relevant and different results from those obtained using text-only retrieval. Moreover, the visual retrieval methods can be used to learn the user’s context and preferences, in particular the user’s relevance feedback, and exploit them to narrow down the search to more accurate results. Despite the overall deficiency in precision of visual retrieval result, the top results are accurate enough to be used for query expansion, when expanded in a controlled manner. The method we propose overcomes the usual pitfalls of visual retrieval: 1. The hardware barrier giving rise to prohibitively slow systems. 2. Results dominated by noise. 3. A significant gap between the low-level features and the semantics of the query. In our thesis, the first barrier is overcome by employing a simple block-based visual features which outperforms a method based on MPEG-7 features specially at early precision (precision of the top results). For the second obstacle, lists from words semantically weighted according to their degree of relation to the original query or to relevance feedback from example images are formed. These lists provide filters through which the confidence in the candidate results is assessed for inclusion in the results. This allows for more reliable Pseudo-Relevance Feedback (PRF). This technique is then used to bridge the third barrier; the semantic gap. It consists of a second step query, re-querying the data set with an query expanded with weighted words obtained from the initial query, and semantically filtered (SF) without human intervention. We developed our PRF-SF method on the IAPR TC-12 benchmark dataset of 20,000 tourist images, obtaining promising results, and tested it on the different and much larger Belga benchmark dataset of approximately 500,000 news images originating from a different source. Our experiments confirmed the potential of the method in improving the overall Mean Average Precision, recall, as well as the level of diversity of the results measured using cluster recall