Unsupervised Visual and Textual Information Fusion in Multimedia Retrieval - A Graph-based Point of View

Multimedia collections are more than ever growing in size and diversity. Effective multimedia retrieval systems are thus critical to access these datasets from the end-user perspective and in a scalable way. We are interested in repositories of image/text multimedia objects and we study multimodal information fusion techniques in the context of content based multimedia information retrieval. We focus on graph based methods which have proven to provide state-of-the-art performances. We particularly examine two of such methods : cross-media similarities and random walk based scores. From a theoretical viewpoint, we propose a unifying graph based framework which encompasses the two aforementioned approaches. Our proposal allows us to highlight the core features one should consider when using a graph based technique for the combination of visual and textual information. We compare cross-media and random walk based results using three different real-world datasets. From a practical standpoint, our extended empirical analysis allow us to provide insights and guidelines about the use of graph based methods for multimodal information fusion in content based multimedia information retrieval.Comment: An extended version of the paper: Visual and Textual Information Fusion in Multimedia Retrieval using Semantic Filtering and Graph based Methods, by J. Ah-Pine, G. Csurka and S. Clinchant, submitted to ACM Transactions on Information System

Detección y categorización de objetos invariante y multivista en imágenes digitales mediante visión artificial bioinspirada.

344 p.Esta tesis se posiciona en el campo de la anotación automática de imágenes dentro del área de investigación de la Visión Artificial. El principal objetivo de este campo es generar etiquetas textuales para una imagen de tal forma que describan los objetos existentes en la imagen sin intervención humana.Esta tesis se basa en el modelo de vecinos más cercanos para anotar de forma automática una imagen. La novedad de la tesis reside en la propuesta de una nueva implementación de los dos pasos principales de dicho modelo. En el primer paso, esta tesis propone el uso de las características MPEG7 para describir la similitud entre imágenes y propone un nuevo modelo de características de textura basado en el cortex primario de un primate. Se ha comprobado como el algoritmo formulado es más efectivo que la implementación propuesta por el estándar pero también es más preciso que otros modelos de córtex presentes en la literatura de neurociencia.En el segundo paso del modelo, esta tesis presenta un nuevo algoritmo para seleccionar las posibles etiquetas de una imagen dadas las imágenes visualmente similares. La principal ventaja introducida poreste algoritmo es la combinación de información textual de las etiquetas e información visual de las imágenes. Adicionalmente, esta tesis también propone un nuevo algoritmo de entrenamiento que tiene el beneficio de ser rápido y adaptado a la tarea de anotación particular, por lo que es posible aplicarlo en tiempo de anotación