National audienceL'apprentissage statistique vise à prédire, mais aussi analyser ou interpréter un phénomène. Nous proposons de guider le processus d'apprentissage en intégrant une connaissance relative à la façon dont sont organisées les similarités entre exemples. La connaissance est représentée par une "pyramide de noyaux", une structure arborescente qui permet d'organiser des groupes et sous-groupes distincts de similarités. Si nous pouvons faire l'hypothèse que peu de (groupes de) similarités sont pertinentes pour discriminer les observations, notre approche fait émerger les groupes et sous-groupes de similarités pertinentes. Nous proposons ici la première solution complète à ce problème, permettant l'apprentissage d'un séparateur à vaste marge (SVM) sur des pyramides de noyaux de hauteur arbitraire. Les pondérations des (groupes de) similarités sont apprises conjointement avec les paramètres du SVM, par optimisation d'un critère que nous montrons être une formulation variationnelle d'un problème régularisé par une norme mixte. Nous illustrons notre approche sur un problème de reconnaissance d'expressions faciales, où les caractéristiques des images sont décrites par une pyramide représentant l'organisation spatiale et l'échelle des filtres d'ondelettes appliqués sur des patchs d'images

Grandvalet, Yves

Szafranski, Marie

HAL AMU

Pyramides de noyauxMarie Szafranski, Yves GrandvaletTo cite this version:Marie Szafranski, Yves Grandvalet. Pyramides de noyaux. GRETSI, 2009, Dijon, France.pp.436, 2009. <hal-00451398>HAL Id: hal-00451398https://hal.archives-ouvertes.fr/hal-00451398Submitted on 29 Jan 2010HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestine´e au de´poˆt et a` la diffusion de documentsscientifiques de niveau recherche, publie´s ou non,e´manant des e´tablissements d’enseignement et derecherche franc¸ais ou e´trangers, des laboratoirespublics ou prive´s.Pyramides de noyauxMarie SZAFRANSKI1, Yves GRANDVALET21Laboratoire d’Informatique FondamentaleCentre de Mathématiques et Informatique, 39 rue Joliot-Curie, 13453 Marseille Cedex 13, France2Laboratoire HeuDiaSyCUniversité de Technologie de Compiègne, Centre de Recherches de Royallieu, BP 20529, 60205 Compiègne Cedex, Francemarie.szafranski@lif.univ-mrs.fr, yves.grandvalet@utc.frRésumé – L’apprentissage statistique vise à prédire, mais aussi analyser ou interpréter un phénomène. Pour réaliser ces objectifs, le choixde la représentation des données joue un rôle crucial. Nous proposons de guider le processus d’apprentissage en y intégrant une connaissancerelative à la façon dont sont organisées les similarités entre exemples. La connaissance est représentée par une “pyramide de noyaux”, unestructure arborescente qui permet d’organiser des groupes et sous-groupes distincts de similarités. Quand peu de (groupes de) similarités sontpertinentes pour discriminer les observations, notre approche fait émerger ces similarités. Nous proposons ici la première solution complète à ceproblème, permettant l’apprentissage d’un séparateur à vaste marge (SVM) sur des pyramides de noyaux de hauteur arbitraire. Les pondérationsdes (groupes de) similarités sont apprises conjointement avec les paramètres du SVM, par optimisation d’un critère que nous montrons être uneformulation variationnelle d’un problème régularisé par une norme mixte. Nous illustrons notre approche sur un problème de reconnaissanced’expressions faciales, où les caractéristiques des images sont décrites par une pyramide représentant l’organisation spatiale et l’échelle desfiltres d’ondelettes appliqués sur des patchs d’images.Abstract – Statistical learning aims at predicting, but also at analyzing and interpreting a phenomenon. In this process, data representation isa crucial issue. We propose to guide the learning process by providing it with a prior knowledge describing how similarities between examplesare organized. This knowledge is encoded as a “kernel pyramid”, that is, a tree structure that represents nested groups and sub-groups ofsimilarities. Provided few (groups of) similarities are relevant for the classifying the observations, our approach identifies these similarities. Wepropose herein the first complete solution to this problem, enabling to learn a Support Vector Machine (SVM) on pyramids of arbitrary heights.A weighted combination of (groups of) similarities is learned jointly with the SVM parameters, by optimizing a criterion that is shown to bea variational formulation of the original fitting problem penalized by a mixed norm. We illustrate our approach on the recognition of facialexpressions from still images, whose features are described by a pyramid depicting the spatial and scale parameters of the wavelet decompositionof the original image.1 Méthodes à noyaux pour la classifica-tion superviséeL’objectif de la classification supervisée est d’estimer unefonction de décision prédisant la classe y d’une observationx. Pour la classification binaire, on dispose d’un ensembled’apprentissage S = {(xi, yi)}ni=1, où (xi, yi) ∈ X × {±1}.Dans les méthodes à noyaux, comme les Séparateurs à VasteMarge (SVM), les observations sont implicitement projetéesdans un espace de caractéristiques par le biais d’une transfor-mation φ : X → H où H est un Espace de Hilbert à NoyauReproduisant (EHNR) et K : X × X → R est le noyau asso-cié. Le rôle premier de K consiste à définir une fonctionnelled’évaluation dans H : ∀f ∈ H, f(x) = 〈f,K(x, ·)〉H, et ildéfinit également :i) l’espaceH puisque ∀f ∈ H, f(x) =∑∞i=1αiK(x,xi) ;ii) une métrique : ‖f‖2H =∑∞i=1∑∞j=1αiαjK(xi,xj) ;iii) la transformation φ(x) = K(x, ·) et une similarité entreobservations parK(x,x′) = 〈φ(x),φ(x′)〉H.Ces propriétés montrent à la fois l’importance et la difficultédu choix du noyau dans les SVM. Ce rôle crucial a motivél’introduction de techniques d’apprentissage du noyau, en par-ticulier celle de Lanckriet et al. [1].Dans le cadre SVM standard, on estime la fonction discrim-inante f dans un EHNR prédéterminéH, en résolvant(f⋆, b⋆) = arg min(f,b)12‖f‖2H + Cn∑i=1[1− yi(f(xi) + b)]+ ,où [u]+ = max(0, u), et C > 0 est le paramètre de régulari-sation qui contrôle le compromis entre la taille de la marge etl’adéquation aux données. La fonction de décision résultanteest de la forme sign(f⋆(x) + b⋆).L’apprentissage de noyaux multiples (Multiple KernelLearning) vise à atténuer le problème du choix de noyau enutilisant une combinaison convexe de noyaux adaptée aux don-nées. Le problème se formalise par l’optimisation jointe des1m1M1K1Km2 ↔fm2σ1,1σ2,1σ2,m2Km2′Km2′′σ1,m1σ2,m2′σ2,m2′′G2,m1...Km2′′′KM2σ1,M1σ2,m2′′′σ2,M2Figure 1: Exemple d’arborescence (H = 2).paramètres du SVM avec ceux de la combinaison convexe deM noyaux prédéfinis. Dans ce but, l’approche de Rakotoma-monjy et al. [2] résout :(1)8>>>>>><>>>>>>:minf1,...,fM ,b,σ12MXm=11σm‖fm‖2Hm+CnXi=1[1− yi` MXm=1fm(xi) + b´]+ ,t.q.MXm=1σm ≤ 1 , σm ≥ 0 , ∀m ,où Hm sont des EHNR de noyaux associés Km, et où la con-trainte ℓ1 imposée aux coefficients σm favorise une solutionparcimonieuse en fm, et donc enKm.Dans [3], nous avons introduit l’apprentissage de noyauxcomposites, qui permet de prendre en compte une structure degroupe sur les noyaux. Dans la section suivante, nous éten-dons ce cadre à une structure plus profonde, mieux adaptée à lareprésentation de groupes de similarités pour les problèmes detraitement de signal ou de données génomiques dans lesquelsune hiérarchie de similarités est définie par différents niveauxde granularité.2 Pyramides de noyauxNous montrons ici comment étendre la formulation (1) à desproblèmes dans lesquels les noyaux sont organisés dans unearborescence, comme celle illustrée sur la figure 1. Chaquefeuille représente un noyau élémentaire, et à chaque nœud cor-respond le noyau formé récursivement par la combinaison desnoyaux des nœuds fils. Notre objectif est d’obtenir un noyauglobal parcimonieux, ne faisant intervenir que peu de groupeset/ou sous-groupes de noyaux.La variable h indice la hauteur dans l’arborescence : h = 0pour la racine et h = H pour les feuilles. Les nœuds de hauteurh sont également indicés par m à valeur dans {1, . . . ,Mh}, etGh+1,m représente l’ensemble des fils (de hauteur h + 1) dunœud m de hauteur h. À chaque branche de l’arbre, on as-socie le coefficient σh,m de pondération du noyau m de hau-teur h dans le calcul du noyau père. En notant Kh,m le noyauéquivalent au nœud m de hauteur h, on a KH,m = Km etKh−1,m =∑q∈Gh,mσh,qKh,q. Ainsi, sur la figure 1, lenoyau correspondant au nœud m1 de hauteur 1 est défini par∑m2∈G2,m1σ2,m2Km2 et sa contribution dans la combinaisonglobale est pondérée par σ1,m1 .L’apprentissage de la pyramide de noyaux consiste à appren-dre l’ensemble des coefficients σh,m, et donc le noyau effec-tif, conjointement avec les paramètres du SVM. Nous étendonsainsi la formulation du problème (1), associée à une arbores-cence à 1 niveau, et celle des noyaux composites [3] limitée à2 niveaux. Le problème s’écrit :(2)8>>>>>>><>>>>>>>:min{fm},b,σ12Xm11σ1,m1. . .XmH1σH,mH‖fmH‖2HmH+ CnXi=1»1− yi“ MHXm=1fm(xi) + b”–+t.q.MhXm=1σphh,m ≤ 1 , ∀h ∈ {1, . . . , H}σh,m ≥ 0 , ∀h ∈ {1, . . . , H} , ∀m ∈ {1, . . . ,Mh} ,où les indices mh prennent leurs valeurs dans Gh,mh−1 , et lesparamètres ph introduits ici permettent de contrôler le degré deparcimonie associé au niveau h. Ce sont des paramètres libres,dont le choix sera discuté à la fin de cette section.Le problème (2) peut être reformulé en terme de normemixte sur les éléments fm, pour expliciter la nature exacte dela pénalité appliquée à chaque niveau de la pyramide.Proposition 1 Le problème (2) équivaut à minimiser :12 Xm1„Xm2. . .“XmH‖fmH‖γHHmH” γH−1γH . . .« γ1γ2! 2γ1+CnXi=1»1− yi“ MHXm=1fm(xi) + b”–+, (3)où γk = 2„1 +HXh=kph«−1.Les propriétés des normes nous permettent d’établir les con-ditions de convexité et de parcimonie de (3).Proposition 2 La fonction objectif (3) est convexe si et seule-ment si γh ≥ 1 pour tout h ∈ {1, . . . ,H}.Proposition 3 Le minimum de (3) est potentiellement parci-monieux au niveau h (i.e les coefficients σh,q définissant le(s)noyau(x) Kh−1,m sont potentiellement nuls) si et seulement siγh ≤ 1 pour tout h ∈ {1, . . . ,H}.Les propositions 2 et 3 indiquent que (3) ne peut à la foisêtre convexe et parcimonieux sur chaque niveau que si γh = 1pour tout h. Dans ce cas, la structure de groupe n’est alors pasprise en compte puisque la pénalité est insensible à l’héréditéreprésentée dans l’arborescence. Si nous voulons assurer laconvexité du problème d’optimisation, grouper des noyauxpermet donc à favoriser la sélection jointe des éléments d’ungroupe ou sous-groupe par rapport à une sélection plus sévèremais plus dispersée sur l’arborescence, et il y a un compromisà faire entre structure de groupe et parcimonie, gouverné parles exposants ph qui déterminent γh.3 AlgorithmePour résoudre le problème (2), nous utilisons un algorithme detype wrapper. Le schéma consiste à considérer deux problèmesimbriqués :(4)8>>><>>>:minσJ(σ)t.q.MhXm=1σphh,m ≤ 1 , ∀h ∈ {1, . . . , H}σh,m ≥ 0 , ∀h ∈ {1, . . . , H} , ∀m ∈ {1, . . . ,Mh} ,où J(σ) est défini comme le minimum de la fonction objectifdu problème (2) par rapport à {fm} et b :J(σ) = min{fm}, b12Xm11σ1,m1. . .XmH1σH,mH‖fmH‖2HmH+ CnXi=1»1− yi“ MHXm=1fm(xi) + b”–+(5)Dans une boucle interne, la fonction objectif est minimiséepar rapport aux paramètres {fm} et b, les paramètres σ étantfixés, définissant ainsi J(σ). Dans une boucle externe, corre-spondant au problème (4), J(σ) est optimisé par rapport à σpour les paramètres {fm}, b calculés précédemment.La solution du problème (5) peut être calculée par n’importequel algorithme de résolution d’un problème SVM; celledu problème (4) peut être déduite des relations permettantd’exprimer σh,mh en fonction de ‖fmH‖HmH . Nous donnonsici les expressions obtenues pour une pyramide de hauteur 3 : 1σ1,m1 = c× (sm1)γ1γ2σ2,m2 = c× (sm1)−p1γ12 × (sm2)γ2γ3σ3,m3 = c× (sm1)−p1γ12 × (sm2)−p2γ22 × ‖fm3‖γ3Hm3,où sm2 =Xm3‖fm3‖γ3Hm3, sm1 =Xm2(sm2)γ2γ3 , etc =“Xm1(sm1)γ1γ2”−1, et les indices mh prennent leursvaleurs dans Gh,mh−1 .Afin d’optimiser les paramètres de la boucle externe, nousutilisons un algorithme de point fixe. L’ensemble de la procé-dure est résumée dans l’algorithme 1.1Ces relations sont obtenues par les conditions d’optimalité du premierordre associées au problème (2). Les dérivations de ces expressions serontdéveloppées dans une version étendue.Algorithme 1 : Pyramide de noyauxinitialiser σrésoudre le problème SVM→ J(σ)répéterrépéterpour h = 1, . . . ,H , etm = 1, . . . ,Mh fairemettre à jour σh,m// dont l’expression est déduite des// conditions d’optimalité de (2)jusqu’à la convergencerésoudre le problème SVM→ J(σ)jusqu’à la convergence4 IllustrationNous illustrons la mise en œuvre de notre approche sur un prob-lème de reconnaissance d’expression faciale sur des images.Ces images ont été normalisées par alignement des positionsdes yeux, du nez et de la bouche. L’ensemble d’apprentissagecomporte 375 images, avec des visages exprimant la joie, lasurprise, le dégoût, la tristesse, la peur ou la colère. Nous mon-trons ici la reconnaissance de la joie.Chaque image de taille 128 × 96 pixels a été divisée en 48imagettes de 16 × 16 pixels (cf. figure 2 (a)). Une transfor-mation en ondelettes de Haar sur 3 niveaux de détails a en-suite été appliquée sur chaque imagette. Les coefficients del’approximation et les 3 niveaux de détails forment ainsi 4groupes de coefficients. Finalement, nous décomposons notreproblème sur une pyramide de 3 niveaux : (1) le niveau 1représente la position des 48 imagettes; (2) pour chaque im-agette, le niveau 2 représente les groupes de coefficients asso-ciés aux 4 échelles ; (3) le niveau 3 différencie chaque coeffi-cient de la décomposition en ondelettes pour chaque niveau dedétails et chaque imagette.Les images ont été reparties en deux ensembles : l’ensembled’apprentissage est constitué de 250 images (35 positives et215 négatives), tandis que l’ensemble de test contient 125 im-ages (17 positives et 108 négatives). Nous avons testé 2 pénal-ités sur ce jeu de données : un SVM classique, correspondantà une pénalité ℓ2, et une version convexe de la formulation (3),correspondant à une pénalité ℓ(1; 65 ;32 ) (p1 = p2 = p3 = 3),où 1 représente la pénalité appliquée au niveau 1, 6/5 celle ap-pliquée au niveau 2, et 3/2 celle appliquée au niveau 3. Leparamètre de régularisation C a été sélectionné par validationcroisée sur 5 blocs. Les deux méthodes obtiennent des perfor-mances similaires, à savoir 5 erreurs (4%) pour la pénalité ℓ2 et3 erreurs (2.4%) pour la pénalité ℓ(1; 65 ;32 ).La figure 2 représente la pertinence des coefficientsd’ondelettes pondérés par les paramètres des trois niveaux dela pyramide de noyaux (la position, les échelles et les poids as-sociés aux coefficients de la décomposition). On constate ainsique l’influence des coefficients localisés autour de la bouche etdes yeux est plus importante que celles des autres zones.(a) (b)Figure 2: À gauche, une image sur laquelle sont délimitées les 48 imagettes. À droite, le masque obtenu à partir des coefficients d’ondelettespondérés par les paramètres de la pyramide de noyaux. Les valeurs des coefficients ont été normalisées entre 0 et 1.(c) (d) (e) (f)Figure 3: Influence des pondérations associées au second niveau de la pyramide de noyaux sur la définition du masque (cf. figure 2 (b)). Lesfigures (c), (d), (e), et (f) représentent respectivement la pertinence des coefficients de l’approximation, du premier, du second, et du troisièmeniveau de détail, en fonction des zones de l’image. Les valeurs des coefficients ont été normalisées entre 0 et 1.La figure 3 montre comment influent les niveaux de détailsde la décomposition en ondelettes : les niveaux les plus précisse concentrent sur les zones de la bouche et des yeux.5 ConclusionLa méthode proposée dans cet article est à la frontière del’apprentissage de noyaux et de la sélection de caractéristiques.D’une part, les pyramides de noyaux étendent l’approche duMultiple Kernel Learning en intégrant une connaissance rela-tive à la façon dont les similarités entre exemples sont organ-isées. D’autre part, elle généralise les méthodes paramétriquesde sélection de groupes de variables (telles que le Group-lasso[4]) à des espaces de fonctions noyaux (EHNR). Nous avonsmis en évidence ces deux aspects sur un problème de recon-naissance d’expressions faciales.References[1] G. R. G. Lanckriet, N. Cristianini, P. Bartlett, L. El Ghaoui,and M. I. Jordan. Learning the kernel matrix with semi-definite programming. Journal of Machine Learning Re-search, 5:27–72, 2004.[2] A. Rakotomamonjy, F. R. Bach, S. Canu, and Y. Grand-valet. SimpleMKL. Journal of Machine Learning Re-search (JMLR), 9:2491–2521, 2008.[3] M. Szafranski, Y. Grandvalet, and A. Rakotomamonjy.Composite Kernel Learning. In Proceedings of the 25thAnnual International Conference on Machine Learning(ICML 2008), pages 1040–1047. Omnipress, 2008.[4] M. Yuan and Y. Lin. Model selection and estimation inregression with grouped variables. Journal of the RoyalStatistical Society, Series B, 68(1):49–67, 2006.

Pyramides de noyaux

https://hal.archives-ouvertes.fr/hal-00451398

Pyramides de noyaux

Abstract

Similar works

Full text

Available Versions

HAL AMU