ImageCLEF 2019: Multimedia Retrieval in Lifelogging, Medical, Nature, and Security Applications

This paper presents an overview of the foreseen ImageCLEF 2019 lab that will be organized as part of the Conference and Labs of the Evaluation Forum - CLEF Labs 2019. ImageCLEF is an ongoing evaluation initiative (started in 2003) that promotes the evaluation of technologies for annotation, indexing and retrieval of visual data with the aim of providing information access to large collections of images in various usage scenarios and domains. In 2019, the 17th edition of ImageCLEF will run four main tasks: (i) a Lifelog task (videos, images and other sources) about daily activities understanding, retrieval and summarization, (ii) a Medical task that groups three previous tasks (caption analysis, tuberculosis prediction, and medical visual question answering) with newer data, (iii) a new Coral task about segmenting and labeling collections of coral images for 3D modeling, and (iv) a new Security task addressing the problems of automatically identifying forged content and retrieve hidden information. The strong participation, with over 100 research groups registering and 31 submitting results for the tasks in 2018 shows an important interest in this benchmarking campaign and we expect the new tasks to attract at least as many researchers for 2019

Rethinking the test collection methodology for personal self-tracking data

While vast volumes of personal data are being gathered daily by individuals, the MMM community has not really been tackling the challenge of developing novel retrieval algorithms for this data, due to the challenges of getting access to the data in the first place. While initial efforts have taken place on a small scale, it is our conjecture that a new evaluation paradigm is required in order to make progress in analysing, modeling and retrieving from personal data archives. In this position paper, we propose a new model of Evaluation-as-a-Service that re-imagines the test collection methodology for personal multimedia data in order to address the many challenges of releasing test collections of personal multimedia data

Lifelog: moments retrieval algorithm

O aumento da variedade e quantidade de dispositivos sensoriais portáteis ocasionou um paralelo crescimento da diversidade e quantidade de dados produzidos. Hoje em dia, qualquer individuo com recurso ao smartphone pessoal produz uma panóplia de registos diários de momentos. Esta tipologia de dados resulta de cenários quotidianos que são registados em imagem e frequentemente detalhados com dados biométricos bem como registos de actividades, localização e tempo. Ao armazenarmos esta diversidade de dados impõe-se a questão: como identificar e recuperar um momento exacto em largos arquivos de dados? A recuperação de um momento pode atender à simples acção de revisitar um episódio longínquo, mas também pode auxiliar pessoas com problemas de memória. A aplicação de sistemas computacionais para este fim é a principal resposta. Para além de identificarem e recuperarem um momento, são aplicados com o principal objectivo de melhorar a qualidade de vida humana. Estes factos exigem a estes sistemas uma redução de distâncias comunicacionais entre a linguagem natural e a linguagem computacional. Para tal, são constituídos por algoritmos de processamento e análise de texto que visam estabelecer uma ligação interactiva entre utilizadores e sistema. Neste sentido, a solução proposta nesta dissertação é baseada num algoritmo que recebe e entende o momento que o utilizador descreve e tenta devolver esse instante sob a forma de imagens retiradas da base de dados do utilizador onde esse momento possa estar representado. O seu desenvolvimento passa pela aplicação de metodologias descritas no estado de arte e novas abordagens no sistema de classificação de resultados. O algoritmo é incorporado por ferramentas NLP que são fundamentais na comunicação entre ambas as partes. Além disso, engloba a função matemática TFIDF com acções de vectorização auxiliada pela similaridade de cosseno que é responsável por seleccionar os momentos que mais se identificam com a descrição do utilizador. Também a função BM25 foi introduzida no algoritmo visando reforçar a análise de similaridades entre pergunta e respostas. A coligação de ambas as técnicas atribuem ao algoritmo uma maior probabilidade na devolução do momento correcto. O mecanismo desenvolvido mostra resultados bastante satisfatórios e interessantes uma vez que em várias interacções devolve o momento correcto ou pelo menos identifica episódios similares á descrição do utilizador. O conhecimento adquirido ao longo desta dissertação permite-me concluir que o algoritmo teria uma maior valorização com um redobrado ênfase na descrição textual de um momento introduzida pelo utilizador. A identificação automática de campos chave, permitiria que o sistema de filtragem, aplicado no algoritmo, se tornasse totalmente automatizado.The increase of the variety and quantity of the wearable devices brought a parallel growth of the diversity and amount of data produced. Nowadays any individual using a personal smartphone produces a large amount of daily moments records. These data typology results from daily scenarios recorded in image and detailed with biometric data as well activities, location and time records. When storing this diversity and amount of data, a question arises: how can we identify and retrieve an exact moment in large data archives? A moment retrieval can serve the simple action of revisiting a distant episode, but it can also support a person with memory disorders. The application of computer systems for this purpose is the main answer. In addition to identifying and retrieving a moment, they are applied with the main objective of improving the quality of human life. These facts require these systems to reduce communicational distances between natural language and computer language. Therefore, they consist of processing and text analysis algorithms that aim to establish an interactive link between the users and the system. In this sense, the proposed solution in this dissertation is based on an algorithm that receives and understands the moment described by the user and tries to return that moment in the form of images taken from the user’s database where that moment can be represented. Its development involves the application of methodologies described in the state of the art and new approaches in the results ranking system. The algorithm is incorporated by NLP tools that are fundamental in the communication between both parties. Moreover it incompasses TFIDF math function with vectorization tasks supported by cosine similarity responsible for selecting identical moments to the user description. Also the BM25 function was introduced in the algorithm aiming to reinforce the analysis of similarities between question and answers. The combination of both techniques gives the algorithm a greater probability of returning the correct moment. The developed mechanism shows very satisfactory and interesting results, considering the fact that in several interactions they return the correct moment or at least identify similar episodes comparing to the user’s description. The knowledge acquired throughout this dissertation allows me to conclude that the algorithm would have a greater value with an emphasis on the textual moment description introduced by the user. The automatic identification of key fields would allow the filtering system, applied in the algorithm, to become fully automated.Mestrado em Engenharia Eletrónica e Telecomunicaçõe