On propose ici une méthode visant à optimiser, selon le critère d'alignement maximum, une combinaison linéaire de noyaux donnés. L'algorithme proposé s'inspire de la méthode SMO dédié à l'optimisation des SVMs : il segmente le problème d'optimisation initial en sous-problèmes pour lesquels on dispose d'une solution analytique, évitant ainsi par exemple le problème de Hessien mal conditionné. Son implémentation ne nécessite pas l'utilisation d'une bibliothèque d'optimisation particulière. Enfin, la solution obtenue s'avère en pratique plus parcimonieuse que celle trouvée par l'approche de type programmation quadratique, tout en offrant des performances similaires

POTHIN, Jean-Baptiste

RICHARD, Cédric

I-Revues

Kernel machines : une nouvelle mØthode pour l’optimisation de
l’alignement des noyaux et l’amØlioration des performances
Jean-Baptiste POTHIN, CØdric RICHARD
Institut des Sciences et Technologies de l’Information de Troyes (ISTIT, FRE CNRS 2732)
12 rue Marie Curie, BP 2060
10010 Troyes cedex, France
jean_baptiste.pothin@utt.fr, cedric.richard@utt.fr
Résumé – On propose ici une méthode visant à optimiser, selon le critère d’alignement maximum, une combinaison linéaire de noyaux
donnés. L’algorithme proposé s’inspire de la méthode SMO dédié à l’optimisation des SVMs : il segmente le problème d’optimisation initial
en sous-problèmes pour lesquels on dispose d’une solution analytique, évitant ainsi par exemple le problème de Hessien mal conditionné. Son
implémentation ne nécessite pas l’utilisation d’une bibliothèque d’optimisation particulière. Enfin, la solution obtenue s’avère en pratique plus
parcimonieuse que celle trouvée par l’approche de type programmation quadratique, tout en offrant des performances similaires.
Abstract – In this paper, we propose a method for optimizing the alignment of a linear combination of kernels. The proposed algorithm is
based on the well-known SMO idea : it solves a quadratic optimization problem by analytically solving subproblems. Ill-conditioned Hessian
can thus been avoided. Its implementation does not require any optimization toolbox. Finally, we show that solutions obtained with our strategy
are sparser than those obtained by quadratic programming, for equivalent performance.
1 Introduction
Dans le foisonnant domaine des mØthodes dites à noyau, dont
les SVMs sont le fer de lance, on constate que les efforts de
recherche ont ØtØ essentiellement portØs sur les applications,
dØlaissant quelque peu l’Øtude des noyaux eux-mŒmes. Cet
Øtat de fait est d’autant plus surprenant que ces derniers condi-
tionnent largement l’efcacitØ des traitements, par leur aptitude
à rØvØler les similaritØs existant au sein des donnØes traitØes.
L’adaptation d’un noyau à l’intelligence des donnØes relŁve de
trois problØmatiques. La premiŁre concerne la dØnition de
critŁres de choix d’un noyau, par exemple une mesure d’ef-
cacitØ statistique maximale. La seconde vise à circonscrire
une famille de noyaux apte à rØpondre au problŁme posØ, et la
derniŁre est consacrØe à la dØtermination du meilleur noyau de
la famille exhibØe en procØdant par exemple à l’optimisation
de ses paramŁtres caractØristiques. On propose ici une mØth-
ode originale visant à rØpondre à ces deux derniŁres questions.
L’article est organisØ comme suit. Nous commençons par prØ-
ciser le contexte de l’Øtude avant de passer à la prØsentation de
l’algorithme proposØ. Puis des rØsultats expØrimentaux vien-
nent illustrer les performances de notre approche, suivis d’une
conclusion et de quelques perspectives.
1.1 Contexte
Soit X un espace mØtrique compact. On appelle noyau de Mer-
cer une fonction κ symØtrique de X × X dans IR vØriant
n∑
i=1
n∑
j=1
aiajκ(xi,xj) ≥ 0 (1)
pour tout n ∈ IN, x1, ..,xn ∈ X et a1, .., an ∈ IR. En d’autres
termes, la matrice carrØe K de terme gØnØral Kij = κ(xi,xj),
appelØe matrice de Gram, est symØtrique, semi-dØnie positive
pour tout {xi}ni=1 ⊆ X . Dans ces conditions, on montre qu’il
existe une fonction φ : X −→ F telle que :
κ(xi,xj) = 〈φ(xi), φ(xj)〉F , (2)
oø 〈·,·〉F exprime le produit scalaire dans l’espace caractØris-
tique F , de dimension Øventuellement innie [1]. Un noyau
fournit ainsi un moyen simple d’Øvaluer la similitude entre les
images φ(xi), φ(xj) ∈ F pour toute paire xi,xj ∈ X sans
avoir à expliciter φ ou F .
Supposons maintenant que l’on dispose d’un ensemble de n
observations xi ∈ X divisØes en 2 classes, la variable yi =
±1, stockØe dans le vecteur colonne y, dØsignant la classe
d’appartenance de xi. Selon l’approche SVM standard [2],
l’hyperplan sØparateur optimal est à marge maximale. Il est
trouvØ dans l’espace caractØristique F engendrØ par un noyau
donnØ, par exemple le noyau gaussien, polynomial ou encore
tangente hyperbolique :
κ1(xi,xj) = exp
−‖xi−xj‖
2
2σ2
κ2(xi,xj) = (γx
t
ixj + b)
d,
κ3(xi,xj) = tanh(ax
t
ixj + b).
(3)
Ici, Θ1 = σ, Θ2 = (γ, b, d) et Θ3 = (a, b) sont appelØs
hyperparamŁtres. Ils sont habituellement xØs a priori, c’est-
à-dire avant apprentissage.
1.2 Noyau adapté par critère d’alignement
L’objectif de l’article est de trouver un noyau adaptØ aux don-
nØes dans le cadre d’une approche de type boosting. On rap-
pelle à ce propos que l’idØe de base du boosting est de combiner
des solutions de moindre qualitØ an d’aboutir à une solution
plus performante. C’est notamment ainsi que l’on peut obtenir
un classieur compØtitif Øtant donnØ des classieurs aux per-
formances modestes [3]. Ce principe, reformulØ dans le con-
texte de l’ingØnierie des noyaux, vise à combiner des noyaux
gØnØriques tels que ceux citØs prØcØdemment an d’amØliorer
les performances [4]. Grâce aux propriØtØs algØbriques des
fonctions dØnies positives, il est facile de construire de nou-
veaux noyaux de Mercer à partir de noyaux donnØs. Par exem-
ple :
κ(xi,xj) = α1κ1(xi,xj) + α2κ2(xi,xj), (4)
est un noyau valide pour α1, α2 positifs. De mŒme, le produit
de deux noyaux donne un noyau valide [5] :
κ(xi,xj) = κ1(xi,xj)κ2(xi,xj). (5)
Le modŁle adoptØ pour la combinaison de noyaux est com-
munØment linØaire pour lequel il s’agit d’identier les para-
mŁtres αi :
κ(xi,xj) =
M∑
i=1
αi κi(xi,xj). (6)
En remarquant que la matrice de Gram cible est dØnie par
K∗ = yyt, Cristianini et al. proposent de quantier la qualitØ
a priori de l’espace de reprØsentation F à l’aide de la mesure
d’alignement suivante [6] :
0 ≤ A(K,K∗) =
〈K,K∗〉F
‖K‖F ‖K
∗‖F
≤ 1, (7)
oø 〈·,·〉F dØsigne le produit scalaire de Frobenius. Si d’autres
critŁres existent, on peut citer par exemple le class separabil-
ity criterion [7] et le data centering criterion [8], l’avantage
de l’alignement est que son optimisation relativement au mod-
Łle linØaire (6) se ramŁne à un problŁme d’optimisation con-
vexe [9] :
max
α
−
∑
i,j
αi αj
(
〈Ki,Kj〉F + λ δij
)
+
∑
i
αi y
tKi y (8)
sous les M contraintes αi ≥ 0 an de garantir la semi-dØnie
positivitØ de la matrice de Gram K associØe au noyau (6). No-
tons que dans cette expression, δij dØsigne le symbole de Kro-
necker et λ > 0 un paramŁtre de rØgularisation. En outre,
on montre que l’alignement possŁde un biais nul et une vari-
ance faible pouvant Œtre bornØe [6]. Son lien avec l’erreur de
gØnØralisation a quant à lui ØtØ Øtabli thØoriquement et validØ
expØrimentalement [9, 10, 11].
2 Méthode proposée
Dans le mŒme esprit que la mØthode SMO [12] dØdiØe à l’Øla-
boration des SVMs, nous suggØrons de segmenter le problŁme
d’optimisation (8) en sous-problŁmes pour lesquels on est en
mesure d’exhiber une solution analytique.
2.1 Solution analytique dans le cas M = 2
D’aprŁs (8), la maximisation de l’alignement d’une combinai-
son linØaire de deux noyaux κ1 et κ2 revient à maximiser la
fonction
W (α1, α2) =
−α21(‖K1‖
2
F + λ)− α
2
2(‖K2‖
2
F + λ)
−2α1 α2〈K1,K2〉F + α1 y
tK1 y + α2 y
tK2 y
(9)
sous les contraintes α1, α2 ≥ 0. IntØressons-nous dans un pre-
mier temps au problŁme sans contraintes. Le point stationnaire
de (9) Øtant obtenu en annulant ses dØrivØes premiŁres, on ob-
tient pour conditions d’optimalitØ :
−2(‖K1‖
2
F + λ)α1 − 2α2〈K1,K2〉F + y
tK1y = 0, (10)
−2(‖K2‖
2
F + λ)α2 − 2α1〈K1,K2〉F + y
tK2y = 0. (11)
On aboutit ainsi au systŁme suivant :
(‖K1‖
2
F + λ)α1 + 〈K1,K2〉F α2 =
ytK1y
2
〈K1,K2〉F α1 + (‖K2‖F + λ)α2 =
ytK2y
2
(12)
qui admet pour solution :
α∗1 =
1
2
ytK1 y − 2〈K1,K2〉F α
∗
2
‖K1‖
2
F + λ
(13)
α∗2 =
1
2
(‖K1‖
2
F + λ)y
tK2 y − 〈K1,K2〉F y
tK1 y
(‖K1‖
2
F + λ)(‖K2‖
2
F + λ)− 〈K1,K2〉
2
F
. (14)
D’aprŁs (13), α∗1 et α∗2 ne peuvent Œtre nuls simultanØment. De
mŒme, un raisonnement par l’absurde montre que α∗1 et α∗2 ne
peuvent Œtre strictement nØgatifs simultanØment. Supposons
pour cela α∗1, α∗2 < 0. La combinaison linØaire des matrices
K1 et K2 peut alors s’Øcrire −(|α∗1|K1 + |α∗2|K2) = −K.
En utilisant les propriØtØs A(−K,K∗) = −A(K,K∗) et
0 ≤ A(K,K∗) ≤ 1, on trouve qu’une solution de la forme
α∗1, α
∗
2 < 0 est toujours associØe à un alignement nØgatif. Or,
(α1 = 1, α2 = 0) amŁne à un alignement positif. On en con-
clut que l’hypothŁse de dØpart α∗1, α∗2 < 0 ne peut Œtre vraie.
En dehors de cela, deux scØnarios peuvent Œtre observØs :
• Cas 1 : α∗1, α∗2 > 0
La solution (13)-(14) est admissible puisqu’elle vØrie
les contraintes de positivitØ. En outre, cette solution est
toujours associØe à un alignement maximum, le Hessien
de (9) Øtant dØni nØgatif.
• Cas 2 : α∗2 < 0, à un Øchange prŁs de α∗1 et α∗2.
Le couple (α∗1, α∗2) n’est pas admissible. Partant d’une
solution rØalisable du plan (α1, α2), on montre, par la
mØthode des directions rØalisables [13], que l’optimum
contraint est de la forme (α+1 > 0, α
+
2 = 0). En d’autres
termes, le noyau κ2 est ØcartØ. Or, l’alignement est in-
variant par changement d’Øchelle, signiant que l’on a
A(α+1 K1, · ) = A(K1, · ), ∀α
+
1 > 0. On peut donc at-
tribuer arbitrairement la valeur 1 à α+1 , indØpendamment
de la constante de rØgularisation λ.
En rØsumØ, la combinaison linØaire de deux noyaux est d’ali-
gnement maximum pour :
(α+1 , α
+
2 ) =


(α∗1, α
∗
2) si α∗1, α∗2 > 0
(1, 0) si α∗2 ≤ 0
(0, 1) si α∗1 ≤ 0.
(15)
Dans la section suivante, on exploite ce rØsultat pour traiter le
problŁme (8) lorsque M est supØrieur à 2.
Table 1: Optimisation de l’alignement par algorithme BB
Initialisations :
k = 0, I = ∅, Kˆ = 0, ABB = 0, α = 0
j∗ = arg maxj A(j), α+1,j∗ = 0, α
+
2,j∗ = 1.
Tant que ABB < A(j∗)
k = k + 1, I = I ∪ {j∗}, ABB = A(j∗)
Kˆ
(k)
= α+1,j∗Kˆ
(k−1)
+ α+2,j∗Kj∗
α(k) = α+1,j∗α
(k−1)
α
(k)
j∗ = α
+
2,j∗
Pour tout j 6∈ I
Calculer α+1,j , α
+
2,j et Kˆ
(k+1)
(j)
Calculer ABB(j) = A(Kˆ
(k+1)
(j), K∗)
Choisir j∗ tel que j∗ = arg maxj 6∈I A(j)
Retourner α
2.2 Traitement du cas M > 2
Pour traiter le cas plus frØquent oø M > 2, nous adoptons une
stratØgie de type Branch and Bound (BB) [14]. L’idØe con-
siste à partir du meilleur noyau à disposition puis de sØlec-
tionner, parmi tous les noyaux restants, celui qui maximise
l’alignement aprŁs combinaison. Ce choix est fait itØrative-
ment sur un horizon Øgal à 1 tant que l’alignement peut-Œtre
amØliorØ.
Supposons qu’à l’itØration k de l’algorithme, on dispose de :
Kˆ
(k)
=
∑
i∈I
α
(k)
i Ki, (16)
oø I est un sous-ensemble de {1, . . . ,M} et K i la matrice
de Gram associØe au noyau κi. L’objectif est d’atteindre, à
l’itØration k + 1, le meilleur alignement possible. D’aprŁs le
paragraphe prØcØdent, on est en mesure de dØterminer la com-
binaison optimale
Kˆ
(k+1)
(j) = α+1,j
(∑
i∈I
α
(k)
i Ki
)
+ α+2,j Kj (17)
au sens du critŁre d’alignement pour tout j. On dØtermine ainsi
l’optimum local atteint à l’itØration k + 1 par :
Kˆ
(k+1)
= Kˆ
(k+1)
(j∗), (18)
oø
j∗ = arg max
j 6∈I
A(Kˆ
(k+1)
(j),K∗). (19)
L’algorithme proposØ Table 1 se rØsume alors ainsi : le noyau
courant κˆ(k), composØ d’une combinaison linØaire des κi,i∈I ,
est amØliorØ en le combinant avec le noyau κ∗j qui maximise
l’alignement parmi tous les noyaux restants κj,j 6∈I . En rØpØtant
cette stratØgie jusqu’à ce que l’alignement ne progresse plus,
on obtient, à dØfaut de l’optimum global, une combinaison (6)
mieux adaptØe aux donnØes de l’ensemble d’apprentissage que
chacun des noyaux κi pris individuellement.
Remarquons qu’un moyen simple d’accØlØrer l’algorithme et
de prØcalculer les rØels 〈Ki,Kj〉F , ‖Ki‖
2
F + λ et y
tKi y
Table 2: Alignements individuels
(a) (b) (c) (d) (e) (f) (g) (h)
I .201 .208 .188 .151 .056 .136 .094 .080
B .079 .207 .218 .189 .090 .604 .446 .095
I = ION, B = BCW
intervenant lors du calcul de (13) et (14). De mŒme, notons
que le critŁre d’arrŒt peut facilement Œtre modiØ de maniŁre à
intØgrer une contrainte sur le nombre Mmax ≥ 1 de αi non
nul souhaitØ. Enn, on peut Øgalement envisager, grâce au
paramŁtre 0 ≤ η ≤ 1, de mettre n prØmaturØment à l’algo-
rithme si l’amØlioration n’est pas signicative :
Tant que (k < Mmax) et ( ABBA(j∗) < η).
3 Résultats expérimentaux
An d’illustrer l’algorithme prØcØdent, nous l’avons appliquØ
aux donnØes1 Ionosphere (ION) et Breast Cancer Wisconsin
(BCW). Les noyaux considØrØs ont ØtØ, dans un premier temps,
les noyaux polynômiaux de degrØ 1 (a), 2 (b), 3 (c) et 4 (d), et
les noyaux gaussiens de paramŁtre σ Øgal à 0.1 (e), 5 (f), 10
(g) et 100 (h). Le paramŁtre de rØgularisation λ a quant à lui
ØtØ xØ à 1 et l’on a considØrØ trois seuils η en deçà desquels
l’amØlioration de l’alignement n’a plus ØtØ jugØe sufsante,
provoquant l’arrŒt prØmaturØ de l’algorithme. Le tableau 2
fournit la valeur de l’alignement pour chacun des huit noyaux
considØrØs individuellement.
L’alignement maximum pour les donnØes ION, trouvØ en rØ-
solvant (8) selon l’approche classique (QP : Quadratic Pro-
gramming),2 est AQP = .2105, une combinaison linØaire opti-
male associØe Øtant .0041(a)+.0008(b)+.2443(e). Pour BCW,
l’optimum est AQP = .6277, obtenu pour 3.4 ∗ 10−09(a) +
.5675(f). Le tableau 3 rØcapitule les rØsultats obtenus selon la
stratØgie proposØe. Dans le premier cas (I), on remarque que
l’alignement maximum AQP = .2105 est sensiblement iden-
tiques à l’alignement du noyau (b) pris individuellement. On
peut donc Øcarter les noyaux (a) et (e) sans dØgradation no-
table (voir rØsultats avec η = .990). Dans le second cas (B),
la solution ABB = .6277 que nous obtenons coïncide avec
AQP . On notera Øgalement la faible contribution de (a) com-
parativement à (f) et leur combinaison qui semble indiquer
que l’amØlioration de l’alignement s’effectue en combinant des
noyaux qui ne sont pas alignØs entre eux.
Nous avons ensuite procØdØ à un certain nombre de simulations
sur le jeu de donnØe BCW en particulier (voir Table 4). Pour
chaque simulation, nous avons sØlectionnØ alØatoirement 30
vecteurs paramØtrant les noyaux gØnØrique suivant : le noyau
polynomial, gaussien et exponentiel. L’optimisation par com-
binaison linØaire des 30 noyaux gØnØrØs s’est ensuite dØroulØe
comme prØcØdemment. La solution trouvØe par l’algorithme
proposØ apparaît plus parcimonieuse que celle obtenue selon
l’approche QP. On constate Øgalement que notre programme
est plus stable dans le sens oø l’approche QP est sensible au
1ftp://ftp.ics.uci.edu/pub/machine-learning-databases/
2implémentation réalisée sous MATLAB avec quadprog
Table 3: Solutions trouvØes par l’algorithme BB
η ABB noyaux retenus
.990 .2081 (b)
I .995 .2095 .0011(b) + .2266(e)
1 .2103 .0036(a) + .0009(b) + .175(e)
.990 .6277 3.4 ∗ 10−09(a) + .5675(f)
B .995 .6277 3.4 ∗ 10−09(a) + .5675(f)
1 .6277 3.4 ∗ 10−09(a) + .5675(f)
I = ION, B = BCW
Table 4: RØsultats pour 10 simulations comprenant chacune 30
noyaux paramØtrØs alØatoirement - donnØes BCW
Amin Amax ABB AQP nBB nQP
0.0785 0.5953 0.6094 0.2081 4 30
0.0785 0.4952 0.4963 0.4963 2 6
0.0785 0.1433 0.1433 0.1433 1 1
0.0785 0.1872 0.1872 0.1872 1 1
0.0785 0.1975 0.1975 0.1975 1 1
0.0785 0.3225 0.3630 0.2081 3 30
0.0785 0.6040 0.6040 0.6040 1 1
0.0785 0.3225 0.3450 0.3450 2 2
0.0785 0.2938 0.3002 0.3002 2 6
0.0785 0.2290 0.2290 0.2290 1 1
0.0785 0.3390 0.3475 0.2919 1.8 7.9
Amin(max) est l’alignement individuel le plus petit (grand) parmi les 30 noy-
aux de la collection considérée, nBB est le nombre de αi 6= 0 obtenu par
l’approche proposée et nQP le nombre de αi 6= 0 obtenu par l’approche QP.
conditionnement du Hessien rØgissant le problŁme, signiant
que le choix du paramŁtre λ peut Œtre critique. On remarque
d’ailleurs que AQP est quelques fois infØrieur à Amax (voir
rØsultats pour lesquels nQP = 30). Cela correspond à des situ-
ations oø le programme quadprog Øchoue numØriquement.
4 Conclusion et perspectives
Nous avons mis en uvre une stratØgie simple pour l’optimisa-
tion, par combinaison linØaire, d’une collection de noyaux don-
nØs. L’algorithme proposØ permet de contrôler facilement la
parcimonie de la solution, tout en restant stable numØrique-
ment. Les exemples choisis dans cet article sont restreints au
domaine d’application qu’est la classication, mŒme si une ex-
tension à la rØgression peut dores et dØjà Œtre envisagØe [10].
Nous planions Øgalement de comparer la mØthode proposØe
ici avec la technique d’apprentissage utilisant le principe d’op-
timisation SDP (Semi-Denite Programming) [11]. Un autre
axe de recherche est d’adopter un modŁle additif/multiplicatif.
References
[1] N. ARONSZAJN. Theory of reproducing kernels. Transactions
of the American Mathematical Society, vol. 68, pages 337-404,
1950.
[2] C. CORTES ET V. VAPNIK. Support Vector Networks. Machine
Learning, 20 : 1-25, 1995.
[3] M. COLLINS, R. E. SCHAPIRE ET Y. SINGER. Logistic re-
gression, adaboost and bregman distances. Machine Learning.
vol. 47, no 2-3, pages 253-285, 2002.
[4] K. CRAMMER, J. KESHET ET Y. SINGER. Kernel design using
boosting. Advances in Neural Information Processing Systems
15. Cambridge, MA : MIT Press, 2003.
[5] B. SCHÖLKOPF ET A.SMOLA. Learning with kernels. MIT
Press, Cambridge, MA, 2002.
[6] N. CRISTIANINI, J. SHAWE-TAYLOR, A. ELISSEEFF ET
J. KANDOLA. On kernel-target alignment. Advances in Neu-
ral Information Processing Systems 14, Cambridge, MA : MIT
Press, pages 367-373, 2002.
[7] L. WANG ET K. LUK CHAN. Learning kernel parameters by
using class separability measure. Neural Information Process-
ing Systems (NIPS), Canada, 2002.
[8] M. MEILA. Data centering in feature space. Proceedings of
Ninth International Workshop on Artificial Intelligence and
Statistics, 2003.
[9] J. KANDOLA, J. SHAWE-TAYLOR ET N. CRISTIANINI. Opti-
mizing kernel alignment over combinations of kernels. Techni-
cal Report 121, Department of Computer Science, University of
London, http://www.neurocolt.org, 2002.
[10] J. KANDOLA, J. SHAWE-TAYLOR ET N. CRISTIANINI. On
the extensions of kernel alignment. Technical Report 120,
Department of Computer Science, University of London,
http://www.neurocolt.org, 2002.
[11] G. LANCKRIET, N. CRISTIANINI, P. BARTLETT,
L. EL GHAOUI ET M. I. JORDAN. Learning the kernel
matrix with semi-definite programming. Proceedings of
the 19th International Conference on Machine Learning,
pages 323-330, 2002.
[12] J. PLATT. Fast training of Support Vector Machines using Se-
quential Minimal Optimization. Advances In Kernel Methods
- Support Vector Learning, chapitre 12, pages 185-208, MIT
Press, 1999.
[13] G. ZOUTENDIJK. Methods of feasible directions: a study in lin-
ear and non-linear programming. Elsevier, 1970.
[14] E.L LAWLER ET D.E WOOD. Branch and Bound methods: a
survey. Operations Research, vol. 149, pages 699-719, 1966.


Kernel machines : une nouvelle méthode pour l'optimisation de l'alignement des noyaux et l'amélioration des performances

Abstract

Similar works

Full text

Available Versions

I-Revues