Recherche par thésaurus visuel et composition spatiale dans les bases d'images

Abstract

Les systèmes usuels proposent à l'utilisateur de sélectionner une image ou une région requête soit tirée de la base soit issue d'une collection externe. Nous nous sommes penchés sur le cas où l'exemple n'existe pas ou n'est pas approprié à l'image mentale que se fait l'utilisateur d'une cible donnée. Le paradigme du Thésaurus Visuel permet de générer des catégories de régions segmentées dont les représentants sont proposés comme une page zéro à l'utilisateur pour composer sa requête mentale en sélectionnant les patchs visuels à sa guise. Nous nous sommes intéressés dans ce travail à la génération des résumés visuels des bases d'images selon la complexité des régions et suivant les schémas de descriptions associés. La segmentation grossière des images génère des composantes visuelles dont la description par des attributs photométriques globaux tels que des distributions de couleurs quantifiées ne permet pas d'englober toute l'information photométrique sous-jacente. Les descripteurs locaux extraits autour des points d'intérêt de Harris complètent le schéma de description global et infèrent une robustesse à la catégorisation des régions. Cette dernière fait appel à des algorithmes de compétition agglomérative et d'autres relationnels couplés à des mesures de similarité non-traditionnelles pour obtenir des catégories de régions visuellement et structurellement cohérentes. Cette nouvelle approche est exploitée pour la composition logique et spatiale des patchs pour satisfaire la requête mentale de l'utilisateur. Les items de la page zéro sont les représentants des catégories de régions dont l'orientation spatiale relative est décrite au moyen d'un histogramme angulaire pondéré qui s'adapte à la régularité et à la distribution des pixels dans la région. Les requêtes se décomposent en une partie logique et une autre spatiale dont les résultats sont retournés en utilisant des tables d'associations et des intersections d'histogrammes respectivement.The choice of the starting example is an important issue for content-based image retrieval approaches. Usual systems suggest to the user to look for images similar to the one he selected either among the database itself or from an external image collection; the results are retrieved according to specific metrics suitable with extracted descriptors. In this work, we investigated the case of a missing or at least inappropriate starting example and hence the need of mental image composition in order to initiate the search process. To do so, the paradigm of Visual Thesaurus stands for a visual summary of all regions of the database, these segmented regions are clustered into coherent categories from which we select the representatives to compose the initial "page zero". Our interest was oriented toward the construction of a reliable visual thesaurus that meets the requirements of coarse segmentation and wide variability in region's photometric and structural complexity. Global attributes are suitable to likely homogenous regions whereas fine local descriptors through Harris points of interest infer robustness and visual coherence to the categorization step. The clustering requires, on the one hand, fuzzy agglomerative algorithms but also, in case of textured patterns, relational dual formulation depending mainly on the dimension of the description space. The objective of our work is to provide an alternative to starting example by composing the mental query through the arrangement of the visual patches selected from the Visual Thesaurus. Pairs of regions are described by a weighted angular spatial histogram to determine the orientation between an argument region and a referent one. Accordingly, both logical and spatial compositions are involved; returned results rely on inverted files indexation and histogram intersection metrics respectively.ORSAY-PARIS 11-BU Sciences (914712101) / SudocSudocFranceF