National audienceNous présentons une méthode de détection multi-classes qui regroupe différentes classes d'objets dans une hiérarchie pour améliorer le score de détections. Pour parcourir l'arbre, nous proposons d'utiliser un algorithme de recherche efficace permettant de trouver le plus court chemin

Chaouch, Mohamed

Chateau, Thierry

Odabai Fard, Hamidreza

Pham, Quoc Cuong

Vacavant, Antoine

HAL Clermont Université

De´tection hie´rarchique multi-classes d’objets dans lesimagesHamidreza Odabai Fard, Quoc Cuong Pham, Mohamed Chaouch, ThierryChateau, Antoine VacavantTo cite this version:Hamidreza Odabai Fard, Quoc Cuong Pham, Mohamed Chaouch, Thierry Chateau, AntoineVacavant. De´tection hie´rarchique multi-classes d’objets dans les images. Orasis, Congre`s desjeunes chercheurs en vision par ordinateur, Jun 2013, Cluny, France. <hal-00829355>HAL Id: hal-00829355https://hal.archives-ouvertes.fr/hal-00829355Submitted on 5 Jun 2013HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestine´e au de´poˆt et a` la diffusion de documentsscientifiques de niveau recherche, publie´s ou non,e´manant des e´tablissements d’enseignement et derecherche franc¸ais ou e´trangers, des laboratoirespublics ou prive´s.Détection hiérarchique multi-classes d’objets dans les imagesH. Odabai Fard1,2 Q.-C. Pham1 M. Chaouch1 T. Chateau2 A. Vacavant31 CEA, LIST, Laboratoire Vision & Ingénierie des Contenus, France2 Institut Pascal, UMR6602, CNRS, Université de Blaise Pascal, Clermont-Ferrand, France3 Image Science for Interventional Techniques, UMR 6284, CNRS, Université d’Auvergne, France94, F-91191 Gif-sur-Yvette, Francehamidreza.odabaifard@cea.frRésuméNous présentons une méthode de détection multi-classesqui regroupe différentes classes d’objets dans une hiérar-chie pour améliorer le score de détections. Pour parcou-rir l’arbre, nous proposons d’utiliser un algorithme de re-cherche efficace permettant de trouver le plus court che-min.Mots ClefDétection d’objets, apprentissage multi-classes, détectionrapide.AbstractWe present a multi-class object detection method groupingdifferent classes of objects into a hierarchy to improve clas-sification performance. To traverse the hierarchy, we pro-pose to use an efficient search algorithm to find the shortestpath.KeywordsObject detection, multi-class learning, fast detection1 IntroductionLa détection multi-classes a pour but de localiser des ob-jets (par exemple des piétons, des voitures, des avions,...)dans une image. k étant le nombre de classes à détecter , laméthode naïve consiste à générer k détecteurs, un détecteurpour chaque classe.L’objectif de la méthode proposée est double :(1) atteindre une compléxité inférieure à celle de la mé-thode naïve O(k).(2) améliorer les performances de la détection. L’entraîne-ment d’un détecteur avec les données de k classes, peutaméliorer les résultats de la détection par la mutualisationd’éléments communs des classes. Par exemple, l’entraîne-ment simultané d’un détecteur pour les classes "voiture" et"bus" peut mieux les distinguer.Ces objectifs nous conduisent à trois observations : (i) Aulieu de faire une classification entre les classes, on appliqueun ranking. Cette méthode donne souvent de meilleursInput images Feature extraction NMSScaled version of image Multi-class classifier Output imageFIGURE 1 – On utilise une approche a fenêtre glissante pourdetecter différents objets dans les images. Contrairement a l’ap-proche un-contre-tous, nous n’avons pas besoin d’évaluer tous lesfiltres de chaque classes, puisque notre systeme essaie de trouverle chemin vers la bonne categorie.résultats qu’une classification [1] ; (ii) en partageant lesdescripteurs de différentes classes, on est capable de re-grouper les exemples de différentes catégories. Ainsi, plusd’exemples sont disponible pour l’entraînement ; (iii) aulieu d’avoir k frontières de décisions, nous souhaitons ob-tenir plus de frontières de décision, permettant ainsi uneséparation plus efficace. Ces réflexions ont mené a un sys-tème hiérarchique ou les classes sont des noeuds et ellespeuvent être regroupées en super-classes, comme illustréen Fig. 1.Ici, chaque noeud représente un filtre qui extrait un des-cripteur autour d’un centre d’annotation et auquel il associeun score de similarité. Dans notre cas, ces filtres sont desfiltres linéaires. On utilise actuellement comme descripteurle HOG (histogram of oriented gradients) [2].Une hiérarchie donne lieu a plus de k noeuds (filtres).Pour une détection rapide, nous proposons d’utiliser l’al-gorithme de recherche A* [4] qui ne parcourt que quelqueschemins dans l’arbre en évaluant peu de noeuds.2 Le DétecteurPour la détection, nous nous basons sur la méthode clas-sique de détection par fenêtre glissante. Le processus de ladétection est illustré dans la Fig. 1. Pour différentes taillesde l’image originale, des descripteurs sont extraits. Notreclassifieur multi-classes permet de classifier les différentesrégions dans l’image. Un objet donne souvent lieu aux ré-ponses positives. C’est pourquoi une étape de suppressionsde ces maximas locaux est appliquée (affiché avec NMS(non-maxima suppression) dans la Fig. 1). Finalement, onaffiche dans cette figure la réponse du détecteur.Comme mentionné dans la Sec. 1, nous arrangeons les kclasses dans une hiérarchie ou les classes similaires sontgroupées ensembles (voir la Sec. 3 pour plus d’informa-tion). Chaque noeud dans l’arbre représente un filtre wi as-socié à une région autour du centre de l’annotation. La mul-tiplication de la concaténation de tous les filtres de chaquenoeud w et les descripteurs de chaque classe y produit lescore de cette classe. On utilise alors uniquement les des-cripteurs des régions définies par les noeuds qui sont sur lechemin de cette classe y. Les descripteurs des autres filtressont mis a 0. En reprenant l’exemple de la Fig. 1, les filtresutilisés pour calculer le score de la classe ’car’ sont : ’carbus person sheep’, ’car bus’ et ’car’. Dans ce cas, le la-bel (la classe) associé a chaque région est déterminé par lemaximum des scores de toutes les classes :yˆ = argmaxy∈{1,...,k}wT · Φ(x, y) (1)où Φ(x, y) est la concaténation des descripteurs associésaux noeuds se retrouvant sur le chemin de la classe y.Comme mentionné avant, nous utilisons l’algorithme derecherche A* qui permet de trouver le chemin avec laplus grande probabilité sans parcourir nécessairement tousles chemins. L’idée consiste à évaluer les noeuds du hautvers le bas. A chaque noeud, on utilise les scores déjàcalculés des filtres se situant plus haut dans la hiérar-chie ainsi qu’une estimation (determinée lors de l’entraî-nement). Cette estimation permet de savoir l’apport maxi-mum qu’on peut avoir en continuant un certain chemin.Ainsi, l’algorithme A* détermine à chaque noeud quel che-min dans l’arbre emprunter pour continuer dans la hiérar-chie. Nous esperons éviter le calcul lourd du score pourchaque noeud et être plus rapide que O(k) où k est lenombre de classes.3 L’entraînementEtant donné les annotations des objets, la première étapeconsiste a trouver une hiérarchie ou les classes du mêmegroupe partagent des descripteurs similaires. Dans ce but,on crée un détecteur pour chaque catégorie similaire à [2].Après, on crée une matrice de similarité entre les diffé-rentes classes en moyennant les scores donnés par un dé-tecteur de classe yi pour les exemples de la classe yk [3].Utilisant cette matrice de similarité, on applique hiérarchi-quement le spectral clustering pour trouver les classes si-milaires.Lors de l’entraînement, on détermine les paramètres dechaque noeud. Il s’agit d’un filtre qui permet d’associer àune région un score et une constante permettant de savoir lemaximum que les enfants peuvent apporter. Au lieu de faireune classification pour connaître le label de l’objet, nousappliquons un ranking. La classe correcte est classée plusgrande que toutes les autres k classes. Le background (larégion ne contenant pas d’objets) est traité différemmentque les k classes : Il est classifié comme négatif. Donc,un score négatif indique une région background. Ainsi, onmélange la classification et le ranking dans un unique pro-blème d’optimisation :minw,ξ≥012‖w‖2 +Cnn∑ξi=1ξi,∀i, ∀y ∈ Yk \ yi : 〈w, (Φ(xi, yi)− Φ(xi, yk)〉 ≥ 1− ξi,∀i, ∀y ∈ Yk : sgn(yi)〈w,Φ(xi, y)〉 ≥ 1− ξi.(2)Ici, n est le nombre total d’exemples, xi un exemple donnépar l’annotation et C un paramètre pour éviter l’overfitting.La première contrainte assure un ranking entre les classes sile label appartient à une des k classes. La deuxième contrainteforce un score négatif pour les régions du background. Pourrésoudre ce problème d’optimisation, nous utilisons l’outil enligne SVMstruct [5]. Finalement, on souhaite apprendre desconstantes permettant de connaître le gain maximal de chaquechemin a partir d’un noeud.4 ConclusionNous avons présenté un systeme où on espère améliorer les résul-tats avec une hiérarchie entre les k classes. Notre approche est au-tomatique : l’algorithme crée un arbre groupant des classes simi-laires ensemble. Chaque noeud étant un filtre, nous les entraînonsavec un apprentissage mélangeant la classification et le ranking.Lors de la détection, on utilise l’algorithme de recherche A* pourtrouver le bon chemin. Les expérimentations sont actuellement encours. Les tests préliminaires sur PASCAL VOC ont montré unepremière validation de notre approche.Références[1] S. S. Bucak, K. Mallapragada P, R. J., and A. K. Jain. Effi-cient multi-label ranking for multi-class learning : Applica-tion to object recognition. In ICCV, pages 2098–2105, 2009.[2] N. Dalal and B. Triggs. Histograms of oriented gradients forhuman detection. In CVPR, pages 886–893, 2005.[3] G. Griffin and P. Perona. Learning and using taxonomies forfast visual categorization. In CVPR, 2008.[4] B. Raphael P. E. Hart, N. J. Nilsson. A formal basis forthe heuristic determination of minimum cost paths. In IEEETransactions on Systems, Science, and Cybernetics, volumeSSC-4, pages 100–107, 1968.[5] I. Tsochantaridis, T. Hofmann, T. Joachims, and Y. Al-tun. Support vector machine learning for interdependent andstructured output spaces. In ICML, pages 104–112, 2004.

Détection hiérarchique multi-classes d'objets dans les images

HAL-CEA

https://hal.archives-ouvertes.fr/hal-00829355

Détection hiérarchique multi-classes d'objets dans les images

Abstract

Similar works

Full text

Available Versions

HAL Clermont Université

HAL-CEA