Semantic Video Content Indexing and Retrieval using Conceptual Graphs

International audienceIn this article, we propose a conceptual model for video content description. This model is an extension of the EMIR² model proposed for image representation and retrieval. The proposed extensions include the addition of some views such as temporal and event views that are specific to video documents, the extension of the structural view to the temporal structure of video documents, and the extension of the perceptive view to motion descriptors. We have kept the formalism of conceptual graphs for the representation of the semantic content. The various concepts and relations involved can be taken from general and/or domain specific ontologies and completed by lists of instances (individuals). The proposed model has been applied on TREC video 2002 and 2003 corpora that mainly contain TV news and commercials videos

Approche par patrons linguistiques pour la détection automatique du locuteur : application à l'indexation par le contenu des journaux télévisés

National audienceL'identité des personnes dans les documents audiovisuels représente une information sémantique importante pour un processus d'indexation et de recherche par le contenu. La tâche de détection de l'identité des locuteurs peut être réalisée en exploitant des éléments d'informations issues de différentes modalités (texte, image et son). Dans cet article, nous proposons une approche pour l'indexation de l'identité des locuteurs dans les journaux télévisés en exploitant le contenu audio. Après une phase de segmentation en locuteurs, une identité est attribuée à des segments de parole par l'intermédiaire de patrons linguistiques appliqués à leur transcription produite par reconnaissance vocale. Trois types de patrons sont utilisés pour prédire l'identité du locuteur dans les segments précédents, courants ou suivants. Ces prédictions sont ensuite propagées à d'autres segments par similarité au niveau acoustique. Des évaluations ont été menées sur une partie du corpus TREC 2003 : une identité de locuteur a pu être attribuée à 53% du corpus annoté avec une précision de 82%

Speaker Identity Indexing In Audio-Visual Documents

International audienceThe identity of persons in audiovisual documents represents very important semantic information for content-based indexing and retrieval. The task of speaker's identity detection can be carried out by exploiting data elements resulting from different modalities (text, image and audio). In this article, we propose an approach for speaker identity indexing in broadcast news using audio content. After a speaker segmentation phase, an identity is given to speech segments by applying linguistic patterns to their transcription from speech recognition. Three types of patterns are used to predict the speaker in the previous, current and next speech segments. Predictions are then propagated to other segments by similarity at the acoustic level. Evaluations have been conducted on part of the TREC 2003 corpus: a speaker identity could be assigned to 53% of the annotated corpus with an 82% precision

Un modèle d'indexation et de recherche de documents vidéos basé sur le formalisme des graphes conceptuels

N/Ano abstrac

Modèles de Documents Vidéo basés sur le Formalisme des Graphes Conceptuels pour l'Indexation et la Recherche par le Contenu Sémantique

rédaction du manuscrit: janvier -- juin 2005Advances in multimedia technologies have made possible the storage of huge collections of video documents on computer systems. In order to allow an efficient exploitation of these collections, it is necessary to design tools for content-based access to their documents. As this is the case for text documents, keyword based indexing and retrieval can be used (from speech transcript and/or closed captions for instance). Concept based indexing is an improvement over keyword based indexing because it removes the ambiguities between keyword senses due to synonymy and homonymy. The precision will be even better if, additionally to non-ambiguous concepts, relations between these concepts are indexed.In the case of video, there are a number of specificities due to its multimedia aspect. For instance, a given concept (person, object ...) can be present in different ways: it can be seen, it can be heard, it can be talked of, and combinations of these representations can also occur. Of course, these distinctions are important for the user. Queries involving a concept C as: “Show me a picture of C” or as “I want to know what C2 has said about C” are likely to give quite different answers. The first one would look for C in the image track while the second would look in the audio track for a segment in which C2 is the speaker and C is mentioned in the speech. The context of this study is multimedia information modelling, indexing and retrieval. At the theoretical level, our contribution consists in the proposal of a model for the representation of the semantic contents of video documents. This model permits the synthetic and integrated taking into account of data elements from each media (image, text, audio). The instantiation of this model is implemented using the conceptual graph (CG) formalism. The choice of this formalism is justified by its expressivity and its adequacy with content-based information indexing and retrieval.Our experimental contribution consists in the (partial) implementation of the CLOVIS prototype. We have integrated the proposed model in the video indexing and retrieval system by content in order to evaluate its contributions in terms of effectiveness and precision. Keywords: Multimedia information retrieval, conceptual indexing, video document, conceptual graph, ontology.Les avancées technologiques dans le domaine du multimédia, associées à la généralisation de leur utilisation dans de nombreuses applications (archivages télévisuelles, vidéosurveillances, etc..), ont rendu possible le stockage des grandes collections de documents vidéo dans des systèmes informatiques. Pour permettre une exploitation efficace de ces collections, il est nécessaire de mettre en place des outils facilitant l'accès à leurs documents et la manipulation de ceux-ci. Une indexation par mots-clés (issus de la transcription de la parole et ou de sous-titre dans le document vidéo) est parfois possible. Cependant, l'utilisation de concepts peut améliorer les résultats de processus d'indexation et de recherche d'information parce qu'elle enlève les ambiguïtés entre les sens des mots-clés dus à la synonymie et l'homonymie. La précision de la description sera encore meilleure si, en plus des concepts non ambigus, des relations entre ces concepts sont indexées.Les documents vidéo ont un caractère multimédia qui fait que la recherche par le contenu dans ceux-ci présente un certain nombre de spécificités. Par exemple, un concept donné (personne, objet...) peut être interprété de différentes manières : il peut être vu, il peut être entendu ou il peut être mentionné. Des combinaisons de ces cas peuvent également se produire. Naturellement, ces distinctions sont importantes pour l'utilisateur. Des requêtes impliquant le concept C comme par exemple : « rechercher les segments vidéos montrant une image de C » ou comme : « rechercher les segments vidéos dans lesquels on parle de C » sont susceptibles de produire des réponses tout à fait différentes. Dans le premier cas, on rechercherait C dans le contenu visuel tandis que dans le second, on rechercherait dans le contenu audio un segment dans la transcription duquel C est mentionné. Cette étude s'inscrit dans un contexte de modélisation, indexation et recherche d'information multimédia. Au niveau théorique, notre contribution consiste à la proposition d'un modèle pour la représentation du contenu sémantique des documents vidéo. Ce modèle permet la prise en compte synthétique et intégrée des éléments d'informations issus de chacune des modalités (image, texte, son). L'instanciation de ce modèle est réalisée à l'aide du formalisme des graphes conceptuels. Le choix de ce formalisme est justifié par son expressivité et son adéquation au contexte d'indexation et de recherche d'information par le contenu.Notre contribution au niveau expérimental consiste à l'implémentation (en partie) du prototype CLOVIS . Nous avons intégré le modèle proposé dans d'un système d'indexation et de recherche vidéo par le contenu pour évaluer ses apports en termes d'efficacité et de précision. Mots-clés : Recherche d'information multimédia, indexation conceptuel, document vidéo, graphe conceptuel, ontologie

Modèle des documents vidéos

no abstrac

Modèles de documents vidéos basés sur le formalisme des graphes conceptuels pour l'indexation et la recherche par le contenu sémantique

Les documents vidéo ont un caractère multimédia qui fait que la recherche par le contenu dans ceux-ci présente un certain nombre de spécificités. Par exemple, un concept donné (personne, objet...) peut être interprété de différentes manières : il peut être vu, il peut être entendu ou il peut être mentionné. Des combinaisons de ces cas peuvent également se produire. Naturellement, ces distinctions sont importantes pour l'utilisateur. Des requêtes impliquant le concept C comme par exemple : " rechercher les segments vidéos montrant une image de C " ou comme : " rechercher les segments vidéos dans lesquels on parle de C " sont susceptibles de produire des réponses tout à fait différentes. Dans le premier cas, on rechercherait C dans le contenu visuel tandis que dans le second, on rechercherait dans le contenu audio un segment dans la transcription duquel C est mentionné. Cette étude s'inscrit dans un contexte de modélisation, indexation et recherche d'information multimédia. Au niveau théorique, notre contribution consiste à la proposition d'un modèle pour la représentation du contenu sémantique des documents vidéo. Ce modèle permet la prise en compte synthétique et intégrée des éléments d'informations issus de chacune des modalités (image, texte, son). L'instanciation de ce modèle est réalisée à l'aide, du formalisme des graphes conceptuels. Le choix de ce formalisme est justifié par son expressivité et son adéquation au contexte d'indexation et de recherche d'information par le contenu. Notre contribution au niveau expérimental consiste à l'implémentation (en partie) du prototype CLOVIS.GRENOBLE1-BU Sciences (384212103) / SudocSudocFranceF