On the use of metrics for multi-dimensional descriptors clustering

The Visual Thesaurus is a new query approach when no starting image is available. It is a concise representation of all similar regions in a panel of visual patches; the user arranges the visual patches according to his mental target image. The construction of the Visual Thesaurus needs a reliable region description and a clustering algorithm that reflects the variety of the database. In this paper, we develop a new region description schema based on Harris color points of interest. We also evaluate the relevance of several multi-dimensional matching metrics when measuring the similarity between regions described by variable signature dimensions. We outline the need of clustering to speed up the computation process as well. Moreover, we adopted the relational clustering algorithm to categorize regions according to Harris points of interest features. Generated clusters are represented by prototypes that compose the ”page zero ” of the Visual Thesaurus. We tested our approach on generic database, the relevance of obtained clusters is evaluated subjectively. Index Terms — Image region analysis, Pattern matching, Image texture analysis, Image classification, Pattern clusterin

Recherche par thésaurus visuel et composition spatiale dans les bases d'images

Les systèmes usuels proposent à l'utilisateur de sélectionner une image ou une région requête soit tirée de la base soit issue d'une collection externe. Nous nous sommes penchés sur le cas où l'exemple n'existe pas ou n'est pas approprié à l'image mentale que se fait l'utilisateur d'une cible donnée. Le paradigme du Thésaurus Visuel permet de générer des catégories de régions segmentées dont les représentants sont proposés comme une page zéro à l'utilisateur pour composer sa requête mentale en sélectionnant les patchs visuels à sa guise. Nous nous sommes intéressés dans ce travail à la génération des résumés visuels des bases d'images selon la complexité des régions et suivant les schémas de descriptions associés. La segmentation grossière des images génère des composantes visuelles dont la description par des attributs photométriques globaux tels que des distributions de couleurs quantifiées ne permet pas d'englober toute l'information photométrique sous-jacente. Les descripteurs locaux extraits autour des points d'intérêt de Harris complètent le schéma de description global et infèrent une robustesse à la catégorisation des régions. Cette dernière fait appel à des algorithmes de compétition agglomérative et d'autres relationnels couplés à des mesures de similarité non-traditionnelles pour obtenir des catégories de régions visuellement et structurellement cohérentes. Cette nouvelle approche est exploitée pour la composition logique et spatiale des patchs pour satisfaire la requête mentale de l'utilisateur. Les items de la page zéro sont les représentants des catégories de régions dont l'orientation spatiale relative est décrite au moyen d'un histogramme angulaire pondéré qui s'adapte à la régularité et à la distribution des pixels dans la région. Les requêtes se décomposent en une partie logique et une autre spatiale dont les résultats sont retournés en utilisant des tables d'associations et des intersections d'histogrammes respectivement.The choice of the starting example is an important issue for content-based image retrieval approaches. Usual systems suggest to the user to look for images similar to the one he selected either among the database itself or from an external image collection; the results are retrieved according to specific metrics suitable with extracted descriptors. In this work, we investigated the case of a missing or at least inappropriate starting example and hence the need of mental image composition in order to initiate the search process. To do so, the paradigm of Visual Thesaurus stands for a visual summary of all regions of the database, these segmented regions are clustered into coherent categories from which we select the representatives to compose the initial "page zero". Our interest was oriented toward the construction of a reliable visual thesaurus that meets the requirements of coarse segmentation and wide variability in region's photometric and structural complexity. Global attributes are suitable to likely homogenous regions whereas fine local descriptors through Harris points of interest infer robustness and visual coherence to the categorization step. The clustering requires, on the one hand, fuzzy agglomerative algorithms but also, in case of textured patterns, relational dual formulation depending mainly on the dimension of the description space. The objective of our work is to provide an alternative to starting example by composing the mental query through the arrangement of the visual patches selected from the Visual Thesaurus. Pairs of regions are described by a weighted angular spatial histogram to determine the orientation between an argument region and a referent one. Accordingly, both logical and spatial compositions are involved; returned results rely on inverted files indexation and histogram intersection metrics respectively.ORSAY-PARIS 11-BU Sciences (914712101) / SudocSudocFranceF

www-rocq.inria.fr/imedia/Muscle/WP5 Contents

2.1 Local descriptors for content-based image retrieval......... 6 2.1.1 Point of interest detection..................

Contents

www-rocq.inria.fr/imedia/Muscle/WP