Dans cet article, nous proposons une méthode pour l'optimisation de la métrique d'un classifieur textuel à noyaux. Contrairement aux techniques populaires existantes, notre approche ne nécessite pas la définition explicite de règles sémantiques. Etant donné un ensemble d'apprentissage, l'algorithme proposé permet d'optimiser la matrice sémantique, sans qu'il soit nécessaire d'exhiber celle-ci. Les résultats expérimentaux montrent l'efficacité et l'utilité de la méthode proposée en classification de textes par SVM (Support Vector Machines)

POTHIN, Jean-Baptiste

RICHARD, Cédric

I-Revues

Apprentissage de métrique appliqué à
la classification de textes par méthodes à noyaux
Jean-Baptiste Pothin, Cédric Richard
Institut Charles Delaunay (ICD-M2S, FRE CNRS 2848)
Université de Technologie de Troyes, 12 rue Marie Curie, BP 2060, 10010 Troyes cedex - France
jean_baptiste.pothin@utt.fr, cedric.richard@utt.fr
Résumé – Dans cet article, nous proposons une méthode pour l’optimisation de la métrique d’un classifieur textuel à noyaux.
Contrairement aux techniques populaires existantes, notre approche ne nécessite pas la définition explicite de règles sémantiques.
Etant donné un ensemble d’apprentissage, l’algorithme proposé permet d’optimiser la matrice sémantique, sans qu’il soit nécessaire
d’exhiber celle-ci. Les résultats expérimentaux montrent l’efficacité et l’utilité de la méthode proposée en classification de textes
par SVM (Support Vector Machines).
Abstract – In this paper, we propose a method for optimizing the metric of a text-classifier, in a kernel setting. Unlike the
most popular methods, our approach does not require the explicit design of semantic rules. Given a training set, the proposed
algorithm learns the optimal semantic matrix, without requiring to exhibit it. Experimental results show that our method is
effective and useful in text-classification by SVM (Support Vector Machines).
1 Introduction
Avec l’accroissement considérable du nombre de docu-
ments numériques, tels que les pages webs ou les cour-
riels, les classifieurs textuels sont devenus des outils in-
dispensables au traitement automatique de données. Les
méthodes de classification de textes les plus répandues
considèrent des documents représentés sous la forme de
sac de mots [1]. Ces représentations, simples à mettre
en œuvre, ne prennent en compte ni l’ordre des mots, ni
leurs sémantiques. L’approche courante pour traiter ces
défauts consiste à transformer les représentations à l’aide
d’une matrice sémantique. Celle-ci est le plus souvent dia-
gonale [2]. Le cas d’une matrice pleine est en général limité
au concept de co-occurences des termes du corpus [3], et
nécessite en pratique une réduction de la dimensionalité
par ACP (Analyse en Composante Principale) [4].
Dans cet article, nous considérons la matrice séman-
tique comme un paramètre à apprendre. L’idée clé de notre
approche repose sur le fait que la métrique d’un clas-
sifieur textuel est étroitement liée à sa matrice séman-
tique. L’optimisation de la métrique sera réalisé par l’al-
gorithme DAlign [5], qui formule l’apprentissage sous la
forme d’un problème d’optimisation convexe, similaire à
celui des Support Vector Machines [6].
1.1 Noyaux sac de mots
Le principe de base pour classer des données de type
texte consiste à représenter chaque document sous la forme
d’un vecteur avant d’appliquer, dans l’espace généré, un
algorithme pour données vectoriels [7]. La transformation
la plus usitée, appelée communément sac de mots, repré-
sente un texte x sous la forme suivante :
φ : x 7−→ φ(x) =
(
tf(t1, x), tf(t2, x), · · · , tf(tP , x)
)T
∈ IRP ,
où tf(ti, x) est la fréquence d’occurrence du mot (ou terme)
ti dans le document x. Ici, {ti}
P
1 est un ensemble de P
termes appelé dictionnaire. Celui-ci est construit en re-
levant tous les termes apparaissant dans un ensemble de
documents donnés appelé corpus.
Grâce à la transformation sac de mots, on détermine ai-
sément un produit scalaire κ entre deux documents xi,xj :
κ(xi, xj) , 〈φ(xi), φ(xj)〉 =
P
∑
p=1
tf(tp, xi)tf(tp, xj). (1)
Le dictionnaire comprenant typiquement plusieurs dizaines
de milliers de mots, le calcul direct de (1) est en général
très coûteux. En remarquant que la plupart des entrées
de φ(x1) et φ(x2) sont nulles, il est néanmoins possible de
réduire considérablement le temps de calcul. Il suffit pour
cela de convertir chaque document en une liste compre-
nant les termes qu’il contient, puis de calculer :
κ(xi, xj) = A(L(xi), L(xj)), (2)
où l’algorithme A(·, ·) traverse les listes L(xi) et L(xj)
en calculant le produit des fréquences des termes com-
muns. Cette procédure permet de déterminer la valeur de
κ(xi, xj) sans avoir à calculer explicitement les vecteurs φ.
Par la suite, nous considérerons le cas d’un noyau κ
de norme unité. (1) n’étant clairement pas normalisé, il
faudra appliquer la transformation suivante :
κ(xi, xj)←
κ(xi, xj)
√
κ(xi, xi)κ(xj , xj)
. (3)
Colloque GRETSI, 11-14 septembre 2007, Troyes 1317
1.2 Noyaux sémantiques
Afin d’adapter le noyau sac de mots à la sémantique du
corpus, l’approche courante consiste à choisir une matrice
sémantique S, de dimension P × P , puis à appliquer la
transformation
φ̃ : φ(x) 7→ φ̃(x) = ST φ(x). (4)
Le produit scalaire s’exprime alors :
〈ST φ(xi), S
T φ(xj)〉 = φ(xi)
T SST φ(xj) (5)
= κ̃(xi, xj). (6)
Différentes matrices sémantiques ont été proposées dans la
littérature [2, 3, 4]. La plus connue est la matrice diagonale
appelée TF-IFD, de terme général :
wp = w(tp) = ln
(
m
df(tp)
)
, (7)
où m est le nombre de documents du corpus et df(tp) le
nombre de documents du corpus contenant le terme tp.
On constate que le poids wp est inversement proportionel
à la fréquence d’occurence df(tp). Dans le cas extrême où
le terme tp est commun à tous les documents du corpus
(df(tp) = m), le poids attribué est nul. Cette propriété
est désirable dans le sens où tp apporte peu d’information
discriminante dans ce cas. La fonction logarithme permet
quant à elle ne pas attribuer trop d’importance aux termes
n’apparaissant dans le corpus qu’occasionnellement.
2 Optimisation de la métrique
Dans cet article, nous proposons d’apprendre la matrice
sémantique S. D’après (5) et les propriétés d’un produit
scalaire, la distance euclidienne au carré entre xi et xj
vaut dans l’espace transformé par S :
d̃2ij , ‖φ̃(xi)− φ̃(xj)‖
2 (8)
= (φ(xi)− φ(xj))
T SST (φ(xi)− φ(xj )) (9)
= κ̃(xi, xi) + κ̃(xj , xj)− 2κ̃(xi, xj). (10)
Remarquons que SST est semi-définie positive (SST  0)
quelque soit la matrice S. La fonction d̃2ij est par consé-
quent une métrique valide (positive, symétrique et satis-
faisant l’inégalité triangulaire), pour tout S. Pour S la
matrice identité en particulier, on retrouve la distance eu-
clidienne
d2ij = ‖φ(xi)− φ(xj)‖
2 = 2− 2κ(xi, xj), (11)
car κ̃ = κ est de norme unité. Supposons maintenant que
l’on dispose d’une source d’information contextuelle, pré-
sentée sous la forme des ensembles S et D, où S (resp.
D) représente des paires d’éléments similaires (resp. dis-
similaires). Le but est de trouver une transformation S
qui caractérise mieux l’information contextuelle, en rap-
prochant les points similaires et/ou en écartant les points
dissimilaires.
2.1 Idéalisation de la métrique
Soit d2opt(i, j) la distance idéale entre les objets xi et xj .
Bien que l’expression de cette métrique ne soit pas connue,
il est possible de calculer sa valeur pour les points de la
base d’apprentissage :
d2opt(i, j) ∼
{
c si (xi, xj) ∈ D
0 si (xi, xj) ∈ S,
(12)
où c > 0. L’objectif de l’algorithme DAlign est d’ajuster
d̃2ij à son homologue idéal d
2
opt(i, j). Si le calcul explicite
de la matrice S est possible pour un espace de faible di-
mension, ce n’est clairement pas le cas pour les représen-
tations φ(x) qui nous intéressent. Pour contourner cette
difficulté, l’idée consiste à contraindre d̃2ij selon une forme
paramétrique liée au noyau κ̃, ne faisant pas intervenir
explicitement S.
Dans [5], Wu et al. proposent de considérer la contrainte
κ̃(xi, xj) =
{
β1κ(xi, xj) si (xi, xj) ∈ D,
β2κ(xi, xj) + (1− β2) si (xi, xj) ∈ S ,
où 0 ≤ β1, β2 ≤ 1. En utilisant le fait que κ est de norme
unité et qu’un objet xi est similaire à lui-même, on trouve
κ̃(xi, xi) = 1. En réinjectant ces expressions dans (10), il
est possible d’exprimer d̃2ij en fonction de d
2
ij :
d̃2ij =
{
β1d
2
ij + 2(1− β1) si (xi, xj) ∈ D,
β2d
2
ij si (xi, xj) ∈ S .
(13)
La distance obtenue est une métrique valide sous réserve
que le noyau κ̃ soit un noyau valide (semi-défini positif).
On montre que cette condition est remplie pour tout 0 ≤
β1 ≤ β2 ≤ 1 (voir théorème 1, [5]).
Pour β1 = β2 = 0, la fonction de distance obtenue
correspond à la fonction idéale (12) avec c = 2. Pour
β1 = β2 = 1, on retrouve d
2
ij . Ces deux cas extrêmes
font références respectivement au phénomène de sur/sous-
apprentissage. Fixer β1 et β2 à pour effet de fixer S à
une certaine valeur (inconnue). En utilisant la propriété
0 ≤ d2ij ≤ 2 et la condition 0 ≤ β1 ≤ β2 ≤ 1, on obtient
que d̃2ij ≤ d̃
2
ij pour deux points similaires, et d̃
2
ij ≥ d̃
2
ij pour
deux points dissimilaires. En d’autres termes, il est pos-
sible de décrôıtre la dispersion intra-classe et augmenter la
dispersion inter-classe pour les données d’apprentissages,
comme souhaité.
2.2 Primal DAlign
L’algorithme DAlign formule l’apprentissage de métrique
sous forme d’un problème convexe similaire à celui des
SVM (Support Vector Machines) [6]. L’objectif est de mi-
nimiser une fonction du rang de la matrice S, de manière à
privilégier les transformations S qui projetent les vecteurs
φ dans un sous-espace de faible dimension. Ce problème
étant NP-difficile, il est remplacé en pratique par le pro-
blème approximatif visant à minimiser la norme de Fro-
benius de SST , ‖SST ‖F . Le problème primal à résoudre
est formulé comme suit :
min
SST ,β1,β2
1
2
‖SST ‖2F + CDβ1 + CSβ2
sous les contraintes :
d̃2ij = β1d
2
ij + 2(1− β1), ∀(i, j) ∈ D,
d̃2ij = β2d
2
ij , ∀(i, j) ∈ S,
1− β2 ≥ 0, β2 ≥ β1, β1 ≥ 0.
1318
Comme on l’a noté plus haut, les dernières contraintes sur
β1, β2 permettent d’imposer implicitement SS
T  0, ce
qui justifie la minimisation par rapport à SST . Cette as-
tuce de calcul permet de réduire considérablement la com-
plexité du problème, tout en garantissant une métrique
valide. Dans cette formulation, C
D
et C
S
sont deux para-
mètres positifs traduisant un compromis entre la minimi-
sation de ‖SST ‖2F et le sur/sous-apprentissage.
2.3 Dual DAlign
Pour résoudre ce problème, l’approche dual consiste à
construire son Lagrangien puis à considérer les conditions
d’optimalité KKT. Sans le redémontrer ici, on peut se ra-
mener ainsi au problème suivant (voir [5]) :
max
α
2
∑
ij∈D
αij +
∑
ij∈S
∑
k`∈D
αijαklH
2
ij,k`
−
1
2
(
∑
ij∈D
∑
k`∈D
αijαk`H
2
ij,k` +
∑
ij∈S
∑
k`∈S
αijαk`H
2
ij,k`
)
,
sous les contraintes :
C
S
= 2
∑
ij∈S
αij
(
1− κ(xi, xj)
)
,
C
D
≥ 2
∑
ij∈D
αijκ(xi, xj),
αij ≥ 0,
où Hij,k` = κ(xi, xk)− κ(xi, x`)− κ(xj , xk) + κ(xj , x`).
Le problème à résoudre est une problème d’optimisa-
tion quadratique, sous contraintes linéaires. Sa résolution
peut s’effectuer par programmation quadratique. Les ex-
pressions du noyau et de la distance associée, pour des
individus tests, sont données en annexe.
3 Résultats expérimentaux
Pour la partie expérimentale, nous avons utilisé la base
de données TechTC3001. Nous présentons dans cette ver-
sion papier uniquement quelques résultats obtenus avec
l’ensemble d’apprentissage ’1092 vs 1110’. Ces données
sont constituées de 269 documents HTML provenant de
différents sites Internet et répartis en deux classes, voir [9]
pour des détails sur la méthode d’étiquettage employée.
Les expérimentations ont été menées sous MATLAB. Le
classifieur était de type l1-SVM. Les ensembles S et D ont
été construits en sélectionnant aléatoirement m paires de
documents (xi, xj), puis en affectant les indices (i, j) à S
pour (xi, xj) de même classe, à D sinon. Notons ici que
le nombre de paires distinctes possibles est n(n− 1)/2, où
n est la taille de l’ensemble d’apprentissage. Afin que le
problème dual ne dépasse pas la complexité du problème
SVM à résoudre ensuite, nous avons choisi m = n. L’er-
reur de généralisation a été estimée par validation croisée
(méthode des 5-folds). Le tableau 1 présente les résultats
obtenus par apprentissage de métrique en fonction des pa-
ramètres C
S
et C
D
. Le tableau 2 compare ces résultats
1
http ://techtc.cs.technion.ac.il/techtc.html
aux approches courantes. On remarque que l’opération de
normalisation améliore les performances du noyau sac de
mots non modifié et TF-IDF. On constate également que
le noyau appris par la méthode proposée est celui qui offre
les meilleures performances. En outre, celles-ci se sont avé-
rées en moyennes, pour les valeurs de C
S
, C
D
considérées,
toujours meilleures que les noyaux non modifié, normalisé
et TF-IFD.
4 Conclusion
Dans cet article, nous avons appliqué l’apprentissage de
métrique à l’optimisation de la matrice sémantique d’un
classifieur textuel. Etant donné une source d’information
contextuelle, formée de paires de documents similaires et
dissimilaire, l’algorithme DAlign employé permet de déter-
miner la matrice sémantique optimale, sans qu’il soit né-
cessaire de l’exhiber. Nous avons montré empiriquement
l’intérêt de cet algorithme dans applications de classifica-
tion par machines à vecteurs supports.
Références
[1] G. Salton, A. Wang, and C. Yang,“A vector space mo-
del for information retrieval,”Journal of the American
Society of Information Science, vol. 18, pp. 613–620,
1975.
[2] E. Leopold and J. Kinderman, “Text categorization
with Support Vector Machines. How to represent texts
in input space ?” Machine Learning : Special Issue on
Support Vector and Kernel Methods, vol. 46, pp. 423–
44, 2002.
[3] S. K. M. Wong, W. Ziarko, and P. C. N. Wong, “Ge-
neralized vector space model in information retrieval,”
ACM SIGIR Conference on Research and Develop-
ment in Information Retrieval, pp. 18–25, 1985.
[4] S. Deerwester, S. Dumais, G. Furnas, T. Landauer,
and R. Harshman, “Indexing by latent semantic ana-
lysis,”Journal of the American Society of Information
Science, vol. 41, pp. 391–407, 1990.
[5] G. Wu, N. Panda, and E. Y. Change, “Formulating
distance functions via the kernel trick,” in ACM In-
ternational Conference on Knowledge Discovery and
Data Mining (KDD), 2005, pp. 703–709.
[6] V. N. Vapnik, Statistical Learning Theory. New York :
Wiley, 1998.
[7] T. Joachims, Learning to classify text using Support
Vector Machines. Kluwer, 2002.
[8] J. T. Kwok and I. W. Tsang, “Learning with idealized
kernels,” Proc. of the Twentieth International Confe-
rence on Machine Learning, pp. 400–407, 2003.
[9] D. Davidov, E. Gabrilovich, and S. Markovitch, “Pa-
rameterized generation of labeled datasets for text
categorization based on hierarchical directory,” The
27th Annual International ACM SIGIR Conference,
pp. 250–257, 2004.
Colloque GRETSI, 11-14 septembre 2007, Troyes 1319
5 Annexes
5.1 Tableaux de résultats
C
S
\ C
D
0.2 0.5 1 2 5 10 20 100 200
0.2 6.69 6.69 7.08 7.08 5.58 5.95 5.58 7.05 5.95
0.5 8.18 6.31 5.59 6.69 6.71 6.31 5.22 6.33 7.81
1 7.78 6.70 8.18 6.70 6.68 6.31 4.10 6.32 7.43
2 6.68 5.22 4.10 7.06 3.34 3.34 7.06 5.95 8.53
5 8.55 6.72 5.59 6.32 4.81 7.06 3.72 6.31 7.06
10 7.04 5.21 7.42 9.70 5.58 4.10 4.84 5.59 8.53
20 7.81 7.81 7.43 9.66 6.32 8.53 8.83 7.06 8.92
100 10.4 7.47 9.32 10.03 6.33 5.95 4.84 7.42 6.69
200 10.4 8.93 10.43 10.06 8.18 7.45 10.03 7.81 10.05
Tab. 1 – Erreur de généralisation estimée en fonction de (C
S
, C
D
).
noyau erreur
sac de mots non modifié 13.39%
sac de mots + normalisation 11.49%
TF-IFD 11.15%
TF-IFD + normalisation 6.69%
noyau appris 3.34%
Tab. 2 – Erreur de généralisation estimée.
5.2 Expression du noyau appris pour des individus hors ensemble d’apprentissage
D’après les conditions d’optimalité du problème dual, la solution SST du problème primal s’exprime (voir [5]) :
SST =
∑
ij∈D
αij
(
φ(xi)− φ(xj)
)(
φ(xi)− φ(xj)
)T
−
∑
ij∈S
αij
(
φ(xi)− φ(xj )
)(
φ(xi)− φ(xj)
)T
.
Afin de simplifier les notations, notons φi = φ(xi) et κxx′ = κ(x, x
′). Réinjecter l’expression de SST dans (5) donne :
κ̃(x, x′) = φ(x)T SST φ(x′)
= φ(x)T
(
∑
ij∈D
αij
(
φi − φj
)(
φi − φj
)T
−
∑
ij∈S
αij
(
φi − φj
)(
φi − φj
)T
)
φ(x′)
=
∑
ij∈D
αijφ(x)
T
(
(
φi − φj
)(
φi − φj)
T
)
φ(x′)−
∑
ij∈S
αijφ(x)
T
(
(
φi − φj
)(
φi − φj
)T
)
φ(x′)
=
∑
ij∈D
αij
(
φ(x)T (φi − φj)
)(
(φi − φj)
T φ(x′)
)
−
∑
ij∈S
αij
(
φ(x)T (φi − φj)
)(
(φi − φj)
T φ(x′)
)
=
∑
ij∈D
αij
(
φ(x)T (φi − φj)
)(
(φi − φj)
T φ(x′)
)
−
∑
ij∈S
αij
(
φ(x)T (φi − φj)
)(
(φi − φj)
T φ(x′)
)
=
∑
ij∈D
αij
(
κxxi − κxxj
)(
κxix′ − κxjx′
)
−
∑
ij∈S
αij
(
κxxi − κxxj
)(
κxix′ − κxjx′
)
,
que l’on peut calculer sans expliciter φ grâce à l’astuce des noyaux. Par des calculs similaires, on montre sans difficultés :
d̃(x, x′)2 = (φ(x) − φ(x′))T SST (φ(x) − φ(x′))
=
∑
ij∈D
αij
(
κxxi − κxxj − κxix′ + κxix′
)2
−
∑
ij∈S
αij
(
κxxi − κxxj − κxix′ + κxix′
)2
.
1320


Apprentissage de métrique appliqué à la classification de textes par méthodes à noyaux

http://documents.irevues.inist.fr/bitstream/2042/17754/1/GRETSI_2007_1317.pdf

Apprentissage de métrique appliqué à la classification de textes par méthodes à noyaux

Abstract

Similar works

Full text

Available Versions

I-Revues