Approches de recherche multimédia dans des documents semi-structurés : utilisation du contexte textuel et structurel pour la sélection d'objets multimédia

L'évolution conjointe des besoins utilisateurs et des documents électroniques ne cesse de soulever de nouvelles problématiques dans le domaine de la Recherche d'Information (RI). Si l'on considère la recherche dans des corpus de documents semi-structurés (XML), la structure des documents permet aux Systèmes de Recherche d'Information (SRI) de se focaliser sur le besoin utilisateur en renvoyant non plus des documents entiers mais des parties de document répondant de manière précise au besoin. Parallèlement à l'apparition de l'information structurelle dans les documents, l'insertion de contenus multimedia, et notamment d'images, a également soulevé de nombreuses problématiques. Afin de valoriser au mieux l'ensemble des informations multimedia disponibles, les méthodes existantes de la Recherche Multimedia (RM) doivent être adaptées. Alors que l'exploitation de la structure dans la recherche d'information textuelle a montré son intérêt, peu de travaux ont étudié son utilisation dans la recherche multimedia. La plupart des travaux existants pour la recherche multimedia structurée consistent soit à combiner une recherche XML textuelle et une recherche multimedia basée sur le contenu physique des éléments multimedia, soit à effectuer une recherche XML textuelle et ensuite à filtrer les résultats en gardant seulement ceux répondant aux besoins multimedia. L'objectif de nos travaux est de proposer des méthodes permettant de répondre aux besoins multimedia en tenant compte à la fois de la structure des documents et de la spécificité multimedia. Nos approches peuvent être appliquées à n'importe quel type de media (image, son, video) car elles sont indépendantes du contenu physique des medias, mais nous nous intéressons plus particulièrement à la recherche d'images. Nos méthodes permettent ainsi soit la recherche d'éléments multimedia à travers le contexte textuel et structurel des images; soit la recherche de fragments multimedia (c'est-à-dire d'images et éventuellement de texte). Pour la recherche d'éléments multimedia, l'idée de base est de déterminer le score de pertinence de ces éléments en fonction des autres éléments non-multimedia. Le problème est alors de sélectionner les éléments à utiliser pour évaluer les scores de pertinence des éléments multimedia. Pour cela, nous avons proposé deux approches : une basée sur le contexte textuel et structurel implicite et une basée sur le contexte textuel et structurel explicite. Pour la recherche de fragments multimedia, l'originalité est de partir des éléments multimedia retrouvés par une des deux méthodes précédentes pour déterminer le meilleur fragment multimedia. La problématique ici est de choisir la granularité du fragment pertinent à retourner, ce dernier devant être le plus exhaustif et spécifique possible pour le besoin multimedia utilisateur. L'évaluation de nos approches grâce aux campagnes d'évaluation INEX et CLEF a montré l'intérêt de nos propositions, que ce soit pour une recherche d'éléments multimedia ou pour une recherche de fragments multimedia.The evolution of user needs and electronic documents raises new issues in the Information Retrieval (IR) domain. Indeed, when considering semi-structured documents (XML), the document structure allows the Information Retrieval Systems (IRS) to answer more precisely to the user information needs, by returning parts of documents instead of whole documents. With the emergence of structural information in documents, the integration of multimedia content, like images for example, has also raised many issues. To exploit all the multimedia and structural information at best, the existing methods of Multimedia Retrieval (MR) must be adapted. Although the use of the document structure in textual information retrieval has shown its interest, only a few studies have investigated its impact in multimedia retrieval. In the literature, most of the existing works in multimedia structured retrieval consists either of combining XML textual search and content-based multimedia retrieval, or of using an XML textual search and then filtering the results by keeping only those having a multimedia specification. The aim of our work is to propose methods to answer to the multimedia information needs, by taking into account both the document structure and the multimedia specificity. Our approaches can be applied on any type of media (images, audio, video) because they are independent of the physical content of the media. However, we are particularly interested in image retrieval. For multimedia elements (images) retrieval, the basic idea is to determine their relevance score thanks to the other non-multimedia elements scores. At this stage, the challenge is to select the elements used to evaluate the multimedia elements scores. For this purpose, we proposed two approaches: they are respectively based on the implicit and explicit use of textual and structural context. For multimedia fragments retrieval, we use the multimedia elements retrieved by one of the two previous methods to determine the best multimedia fragment to be returned to the user. The challenge here is to determine the granularity of the relevant multimedia fragment that will be returned: it should be the most specific and exhaustive as possible to the user multimedia information need. The evaluation of our approaches was done using INEX and CLEF evaluation campaigns and has shown the interest of our proposals for both multimedia elements and multimedia fragments retrieval