Labelling the Behaviour of Local Descriptors for Selective Video Content Retrieval

This paper presents an approach for indexing a large set of videos by considering the cinematic behaviour of local visual features along the sequences. The proposed concept is based on the extraction and the local description of interest points and further on the estimation of their trajectories along the video sequence. Analysing the low-level description obtained allows to highlight semantic trends of behaviours and then to assign labels. Such an indexing approach of the video content has several interesting properties: the low-level description provides a rich and compact description, while labels of behaviour provide a generic and semantic description, relevant for selective video content retrieval depending on the application. The approach is firstly evaluated for Content-Based Copy Detection. We show that taking these labels into account allows to significantly reduce false alarms. Secondly, the approach is experimented on particular applications of video monitoring, where selective labels of behaviour show their capability to improve the analysis and the retrieval of spatio-temporal video content

Image representation, book chapter, Encyclopedia of Database Systems:Multimedia Databases

resum

Index structures for image search by content: A survey. In "A state of the art on Computation Intensive Methods" report, MUSCLE European Network of Excellence (FP 6), WP 7, July

National audienc

Recherche d'images basée sur la saillance visuelle pour l'imagerie urbaine

International audienceAvec l'augmentation de la taille des bases d'images et de la complexité des descripteurs dans les domaines de la recherche d'images par contenu visuel et de la vision par ordinateur, il est nécessaire de trouver un moyen pour limiter la quantité de données manipulées, tout en conservant leur représentativité. Au lieu d'analyser l'image entière, la sélection des régions qui détiennent l'essence de l'information est une option pertinente pour atteindre cet objectif.Comme la saillance visuelle a pour objectif de sélectionner les zones les plus importantes de l'image pour une tâche donnée, dans cet article, nous proposons d'exploiter des cartes de saillance visuelle pour filtrer les caractéristiques visuelles les plus saillantes de l'image.Une nouvelle approche de saillance visuelle basée sur l'analyse de la distribution locale de l'orientation des contours, en particulier dédiée aux contenus image structurés, comme les images de type street-view de l'environnement urbain, est proposée. Il est évalué pour la recherche d'images par contenu visuel à partir d'un exemple selon trois critères: la qualité de la recherche, le volume des caractéristiques manipulées et le temps de calcul.L'approche proposée peut être exploitée dans diverses applications qui manipulent de grands nombres de caractéristiques visuelles ; ici il est expérimenté dans deux applications: la recherche d'images cross-domain et la localisation de véhicule basée image

Object recognition and segmentation in videos by connecting heterogeneous visual features

International audienc

Exact and progressive image retrieval with the HiPeR framework

In this article, we are interested in accelerating similarity search in collections of image contents described in high dimensional spaces. The presented framework, called HiPeR (for Hierarchical Progressive Retrieval), is based on a hierarchy of subspaces and indexes: it performs similarity search across feature spaces of different dimensions, by beginning with the lowest dimensionsup to the highest ones, with the aim of minimizing the effects of curse of dimensionality. HiPeR significantly accelerates exact retrieval even with the best indexes, and also enablesprogressive retrieval, i.e. the possibility to provide results to theuser progressively, with refinements until user’s satisfaction.Keywords: Similarity Search, Multidimensional Indexing, Progressive Retrieval, Image indexing and retrieval

SAP: A robust approach to track objects in video streams with Snakes And Points

noteresum

Connexions entre descripteurs locaux et globaux pour la reconnaissance d'objets dans les vidéos

International audienc