Cet article traite de l'ajustement des paramètres des distributions temps-fréquence pour la résolution d'un problème de classification de signaux. On s'intéresse en particulier à la distribution à noyau radialement Gaussien. On exploite le critère d'alignement noyau-cible, développé pour la sélection du noyau reproduisant dans le cadre des méthodes à noyau. Celui-ci présente l'intérêt de ne nécessiter aucun apprentissage de la statistique de décision. On adapte le critère d'alignement noyau-cible au noyau radialement Gaussien, en détournant une technique classique de réduction de termes interférentiels dans les représentations temps-fréquence. On illustre cette approche par des expérimentations de classification de signaux non-stationnaires

HONEINE, Paul

RICHARD, Cédric

International audienceCet article traite de l'ajustement des paramètres des distributions temps-fréquence pour la résolution d'un problème de classification de signaux. On s'intéresse en particulier à la distribution à noyau radialement Gaussien. On exploite le critère d'alignement noyau-cible, développé pour la sélection du noyau reproduisant dans le cadre des méthodes à noyau. Celui-ci présente l'intérêt de ne nécessiter aucun apprentissage de la statistique de décision. On adapte le critère d'alignement noyau-cible au noyau radialement Gaussien, en détournant une technique classique de réduction de termes interférentiels dans les représentations temps-fréquence. On illustre cette approche par des expérimentations de classification de signaux non-stationnaires

Honeine, Paul

Richard, Cédric

Hal-Diderot

Distribution temps-fréquence à noyau radialement Gaussien : optimisation pour la classification par le critère d'alignement noyau-cible

HAL Descartes

I-Revues

Distribution temps-fre´quence a` noyau radialement Gaussien :
optimisation pour la classification par le crite`re d’alignement noyau-cible
Paul Honeine, Ce´dric Richard
Institut Charles Delaunay (FRE CNRS 2848) - LM2S - Universite´ de Technologie de Troyes
12 rue Marie Curie, BP 2060, 10010 Troyes cedex - fax. 03.25.71.56.99
paul.honeine@utt.fr, cedric.richard@utt.fr
Re´sume´ – Cet article traite de l’ajustement des parame`tres des distributions temps-fre´quence pour la re´solution d’un proble`me
de classification de signaux. On s’inte´resse en particulier a` la distribution a` noyau radialement Gaussien. On exploite le crite`re
d’alignement noyau-cible, de´veloppe´ pour la se´lection du noyau reproduisant dans le cadre des me´thodes a` noyau. Celui-ci pre´sente
l’inte´reˆt de ne ne´cessiter aucun apprentissage de la statistique de de´cision. On adapte le crite`re d’alignement noyau-cible au noyau
radialement Gaussien, en de´tournant une technique classique de re´duction de termes interfe´rentiels dans les repre´sentations temps-
fre´quence. On illustre cette approche par des expe´rimentations de classification de signaux non-stationnaires.
Abstract – In this article, we design optimal time-frequency distributions for classification. Our approach is based on the
kernel-target alignment criterion, which has been investigated in the framework of kernel-based machines for selecting optimal
reproducing kernels. One of its main interests is that it does not need any computationally intensive training stage and cross-
validation process. We take advantage of this criterion to tune radially Gaussian kernel, and consider a classical optimization
technique usually used for reducing interference terms of time-frequency distributions. We illustrate our approach with some
experimental results.
1 Introduction
Les distributions temps-fre´quence, en particulier de la
classe de Cohen, fournissent des outils puissants adapte´s
a` l’analyse des signaux non-stationnaires. Parmi celles-ci,
les distributions a` noyau radialement Gaussien offrent une
diversite´ de repre´sentations pouvant satisfaire a` un vaste
choix d’applications. On cherche par exemple a` optimiser
la repre´sentation temps-fre´quence d’un signal donne´, par
une re´duction des termes interfe´rentiels [1, 2]. On peut
encore estimer ses parame`tres afin de faciliter la re´solution
d’un proble`me de de´tection ou de classification de signaux
non-stationnaires [3, 4].
A l’exception de quelques travaux re´cents [5, 6], ces
diffe´rentes approches n’ont pas exploite´ les re´centes
avance´es des me´thodes de reconnaissance de formes a`
noyau reproduisant. Celles-ci sont particulie`rement attrac-
tives en raison de leur complexite´ algorithmique re´duite, et
parce qu’elles profitent des nouvelles avance´es en the´orie
statistique de l’apprentissage. On a re´cemment propose´
dans [7, 8] un cadre ge´ne´ral pour la mise en œuvre des
me´thodes a` noyau dans le domaine temps-fre´quence graˆce
a` un choix approprie´ du noyau reproduisant. Dans [9],
on a souleve´ le proble`me de se´lection d’une distribution
temps-fre´quence adapte´e a` la re´solution d’un proble`me de
classification de signaux. La strate´gie propose´e ici repose
sur un crite`re de´veloppe´ dans le cadre des me´thodes a`
noyau : l’alignement noyau-cible [10].
Dans le pre´sent article, on exploite ce crite`re pour ajus-
ter les parame`tres de la distribution temps-fre´quence a`
noyau radialement Gaussien. Pour ce type de distribu-
tions, on montre que la maximisation de ce crite`re se
re´duit a` un proble`me d’optimisation e´quivalent a` celui
pre´sente´ dans [1] pour l’analyse de signaux. On peut alors
adapter l’algorithme de descente de gradient, propose´ dans
ce meˆme article, a` notre proble`me de classification.
La suite de cet article est organise´e ainsi. A la section
suivante, on pre´sente les distributions temps-fre´quence de
la classe de Cohen, et leurs usages dans le cadre des
me´thodes de reconnaissance de formes a` noyau. En parti-
culier, on s’inte´resse a` la distribution a` noyau radialement
Gaussien. A la section 3, on adapte le crite`re d’aligne-
ment noyau-cible a` cette dernie`re. On illustre notre ap-
proche par des simulations a` la section 4, et on compare
les re´sultats a` ceux obtenus avec la distribution de Wigner.
2 Distribution temps-fre´quence et
me´thodes a` noyau
Une distribution temps-fre´quence de la classe de Cohen,
caracte´rise´e par une fonction de parame´trisation Φσ, est
de´finie pour un signal x par
Cσx (t, f) =
∫∫
Φσ(ν, τ) Ax(ν, τ) e
−j2pi(fτ−tν)dν dτ,
ou` Ax =
∫
x(t + τ/2)x(t− τ/2) ej2piνtdt est la fonction
d’ambigu¨ıte´ du signal x. Une distribution particulie`re est
la distribution de Wigner, obtenue en conside´rant une
fonction de parame´trisation unite´, soit Φσ(ν, τ) = 1 sur
tout le plan Doppler-retard. Les proprie´te´s de la distribu-
tion sont de´termine´es par la fonction de parame´trisation
conside´re´e, que l’on cherche a` optimiser pour une appli-
cation donne´e. Toutefois, la re´solution de ce proble`me
Colloque GRETSI, 11-14 septembre 2007, Troyes 961
se heurte au nombre e´leve´ de parame`tres libres. Pour
reme´dier a` cela, une approche souvent privile´gie´e consiste
a` imposer un caracte`re passe-bas au filtre Φσ et le pa-
rame´trer selon une fonction radialement Gaussienne [1],
de´finie par Φσ(r, θ) = e
−r2/2σ2(θ) en coordonne´es polaires
dans le plan Doppler-retard. Le proble`me d’optimisation
est alors re´duit a` la de´termination de la largeur de bande
σ(·), unidimensionnelle, qui de´termine la forme de la fonc-
tion de parame´trisation, et par conse´quent les proprie´te´s
de la distribution temps-fre´quence correspondante.
Dans le cadre ge´ne´ral des me´thodes a` noyau, les perfor-
mances d’une re`gle de de´cision sont largement influence´es
par le noyau reproduisant conside´re´. Celui-ci correspond
a` un produit scalaire des donne´es dans un espace trans-
forme´, obtenu par une transformation non-line´aire de l’es-
pace des observations. Pour l’analyse de signaux non-
stationnaires, il est naturel de conside´rer les distributions
de la classe de Cohen pour repre´senter les signaux. Pour
tout couple de signaux (xi, xj), le noyau reproduisant as-
socie´ a` la distribution temps-fre´quence Cx,σ donne´e est
de´finie par le produit scalaire des repre´sentations de deux
signaux, Cxi,σ et Cxj ,σ, a` savoir
κσ(xi, xj) =
∫∫
|Φσ(ν, τ)|
2 Axi(ν, τ) Axj (ν, τ) dν dτ.
Il est souvent plus commode d’exprimer celui-ci en co-
ordonne´es polaires, en particulier pour les distributions
temps-fre´quence a` noyau radialement Gaussien. Dans ce
dernier cas, on e´crit le noyau reproduisant selon
κσ(xi, xj) =
∫∫
r Axi(r, θ) Axj (r, θ) e
− r
2
σ
2(θ) dr dθ,
ou` les fonctions d’ambigu¨ıte´ sont exprime´es en coor-
donne´es polaires. L’usage de ce noyau reproduisant per-
met aux diverses me´thodes de reconnaissance de formes
a` noyau d’ope´rer sur les repre´sentations temps-fre´quence
a` noyau radialement Gaussien, comme e´tudie´ dans le cas
ge´ne´ral dans [7]. Nous allons a` pre´sent conside´rer la mise
en œuvre du crite`re d’alignement noyau-cible dans le do-
maine temps-fre´quence graˆce a` ce noyau reproduisant.
3 Alignement et distributions ra-
dialement Gaussiennes
Le crite`re d’alignement noyau-cible est une mesure de
similarite´ entre les donne´es transforme´es selon l’appli-
cation non line´aire associe´e au noyau reproduisant, et
les e´tiquettes donnant la classe des signaux. Pour un
proble`me a` 2 classes, et e´tant donne´ un ensemble d’ap-
prentissage {(x1, y1), . . . , (xn, yn)} de n signaux xk ac-
compagne´s chacun de leur e´tiquette yk = ±1, le crite`re
d’alignement noyau-cible est de´fini par
A(Kσ,Kc) =
〈Kσ,Kc〉F
n‖Kσ‖F
, (1)
ou` 〈·, ·〉F et ‖ · ‖F sont le produit scalaire de Frobe´nius et
la norme de Frobe´nius, Kσ la matrice de Gram de terme
ge´ne´ral κσ(xi, xj) pour i, j = 1, . . . , n, et Kc = y y
t
la matrice cible avec y = [y1 . . . yn]
t. Cristianini et al.
sugge`rent dans [10] d’utiliser le crite`re d’alignement afin
de rechercher le noyau reproduisant le mieux adapte´ a`
la re´solution d’un proble`me de classification donne´. Cette
de´marche pre´sente l’inte´reˆt de ne ne´cessiter aucun couˆteux
apprentissage de la re`gle de de´cision, la se´lection du noyau
e´tant pratique´e a priori. Un lien direct avec l’erreur de
ge´ne´ralisation assure la pertinence du crite`re.
La parame´trisation optimale est obtenue par maximisa-
tion de l’alignement, a` savoir σ∗ = argmaxσ A(Kσ,Kc),
ce qui correspond a` la maximisation du nume´rateur de
l’expression (1), sous contrainte que son de´nominateur soit
constant. On peut alors e´crire le proble`me d’optimisation
sous contrainte suivant :
max
σ
n∑
i,j=1
yi yj κσ(xi, xj), (2)
sous la contrainte
n∑
i,j=1
(κσ(xi, xj))
2 = V0, (3)
ou` V0 est un parame`tre de normalisation. En de´veloppant
la fonction objectif a` maximiser, on aboutit a`
n∑
i,j=1
yiyj κσ(xi, xj)
=
n∑
i,j=1
yiyj
∫∫
r Axi(r, θ) Axj (r, θ) e
− r
2
σ
2(θ) dr dθ
=
∫∫
r
[ n∑
i,j=1
yiyj Axi(r, θ) Axj (r, θ)
]
e
− r
2
σ
2(θ) dr dθ
(4)
On retrouve la fonction objectif a` maximiser pre´sente´e
dans [1], a` savoir
∫∫
r|Ax(r, θ)|
2 e−r
2/σ2(θ) dr dθ, ou` la
partie de´pendante du signal, |Ax(r, θ)|
2, est substitue´e par
la repre´sentation e´quivalente
∑
i,j yiyj Axi(r, θ) Axj (r, θ)
qui ne de´pend que de l’ensemble d’apprentissage, signaux
et e´tiquettes. Il est a` noter que cette dernie`re peut eˆtre
e´value´e pre´alablement a` toute optimisation. On peut alors
avoir recourt a` l’algorithme d’optimisation de descente de
gradient propose´ dans [1], avec la meˆme complexite´ cal-
culatoire une fois la repre´sentation e´quivalente e´value´e.
Pour cela, on relaˆche la contrainte (3), couˆteuse en temps
de calcul, en la remplac¸ant par la contrainte sur le volume
de la fonction de parame´trisation, selon
∫
σ2(θ)dθ = V ′0 ,
comme pre´conise´ dans [1]. Dans ce qui suit, on pre´sente
la mise en œuvre de l’algorithme propose´.
L’algorithme ne´cessite une discre´tisation du plan
Doppler-retard, que l’on ope`re comme propose´e dans [1].
Le noyau reproduisant est alors donne´ par
κσ(xi, xj) =
∑
r,θ
r Axi(r, θ)Axj (r, θ) e
−(r∆r)
2/σ2(θ).
pour la distribution temps-fre´quence a` noyau radialement
Gaussien, avec ∆r = 2
√
pi/l, l e´tant la longueur des
signaux e´chantillonne´s. En reprenant la fonction objec-
tive dans (4), le proble`me d’optimisation s’e´crit en coor-
962
  5
30
210
60
240
90
270
120
300
150
330
180
0
−0.5
0   
0.5 
−32
0  
32 
Dop
ple
r
Retard
σ(θ)
σ0(θ)
θ
  2
  4
  6 30
210
60
240
90
270
120
300
150
330
180
0
−0.5
0
0.5
−32
0
32
Dop
ple
r
Retard
σ(θ)
σ0(θ)
θ
(a) (b)
Fig. 1 – Re´sultats obtenus pour la 1e`re application (a) et la 2e`me application (b). En haut : fonction de parame´trisation optimale
re´sultante. En bas : son contour en rouge, et le contour initial en bleu, en coordonne´es polaires.
donne´es polaires selon
max
σ
∑
r,θ
r
[ n∑
i,j=1
yiyj Axi(r, θ) Axj (r, θ)
]
e−(r∆r)
2/σ2(θ),
(5)
sous la contrainte
∑
θ
σ2(θ) = V ′0 .
Pour re´soudre ce proble`me d’optimisation avec contrainte,
on conside`re l’algorithme de type descente de gradient al-
terne´e suivant. A l’ite´ration k + 1, on ope`re dans un pre-
mier temps une mise a` jour de la solution selon
σk+1(θ) = σk(θ) + µk
∂f
∂σk(θ)
,
ou` µk est un parame`tre controˆlant la vitesse de conver-
gence, et f la fonction objective a` maximiser dans (5), et
dont le gradient e´value´ en σk(θ) est de´fini par le vecteur[
∂f
∂σk(0)
, · · · , ∂f
∂σk(l−1)
]
, avec
∂f
∂σk(θ)
=
2∆2r
σ3k(θ)
∑
r
r3 Ψ(r, θ) e−(r∆r)
2/σ2(θ).
Dans cette expression, la repre´sentation e´quivalente,
donne´e par l’expression
Ψ(r, θ) =
∑
i,j
yiyjAxi(r, θ)Axj (r, θ), (6)
est e´value´e pre´alablement a` la phase d’optimisation. Dans
une seconde e´tape, on prend en compte la contrainte
en projetant la solution sur l’ensemble des fonctions ad-
missibles, ce qui revient a` normaliser σk+1(θ) a` chaque
ite´ration selon ‖σk+1(θ)‖/V
′
0 .
On insiste sur le fait que la repre´sentation Ψ(r, θ) peut
eˆtre calcule´e dans une e´tape d’initialisation. De plus, l’ex-
pression (6) se preˆte a` un calcul ite´ratif ne ne´cessitant pas
de conserver en me´moire l’ensemble des fonctions d’am-
bigu¨ıte´ des signaux de la base d’apprentissage. Une fois la
repre´sentation Ψ(r, θ) obtenue, la technique d’optimisa-
tion devient inde´pendante de la taille de l’ensemble d’ap-
prentissage. Ceci n’est pas le cas pour les approches telles
que [3], qui ne´cessitent l’e´valuation des repre´sentations
temps-fre´quence de chaque e´le´ment de l’ensemble d’ap-
prentissage, a` chaque ite´ration de l’algorithme d’optimi-
sation. Pour cette raison certainement, les auteurs de [3] se
restreignent a` un ensemble d’apprentissage de 15 signaux
pour chaque classe.
4 Expe´rimentations
On conside`re successivement deux proble`mes de classi-
fication de deux familles de 200 signaux de taille 64, a` mo-
dulation fre´quentielle line´aire, noye´s dans un bruit blanc
Gaussien de variance 4. Ceci correspond a` un rapport
signal-bruit, de´fini par le rapport des puissances du signal
utile et du bruit, de l’ordre de −8 dB. La premie`re applica-
tion concerne des signaux a` modulation fre´quentielle crois-
sante, de 0.1 a` 0.25 pour la premie`re classe, et de 0.25 a` 0.4
pour la seconde, en e´chelle fre´quentielle normalise´e. La fi-
gure 1(a) en haut pre´sente la fonction de parame´trisation
a` profil Gaussien ainsi obtenue, ce qui montre la perti-
nence de cette re´gion dans le plan Doppler-retard pour la
classification. La figure 1(a) en bas illustre son contour en
rouge σ(θ), ainsi que le contour initial σ0(θ) en bleu avant
optimisation. Ce dernier est de´termine´ par la contrainte de
volume, que l’on a fixe´ a` V ′0 = 2. Dans une seconde applica-
tion, on propose d’e´tudier le cas ou` les re´gions des signaux
des deux classes sont distinctes dans le plan Doppler-
retard. On conside`re pour cela des signaux comportant
une modulation fre´quentielle line´airement croissante pour
la premie`re classe, de 0.1 a` 0.4, alors qu’elle de´croˆıt de
0.4 a` 0.1 pour la seconde classe. Dans la figure 1(b), on
repre´sente la fonction de parame´trisation ainsi obtenue.
Elle correspond a` un filtrage de l’information pertinente
des deux re´gions d’inte´reˆt pour la classification.
Pour illustrer la maximisation de l’alignement, on
repre´sente sur la figure 2 l’e´volution moyenne sur 20
Colloque GRETSI, 11-14 septembre 2007, Troyes 963
1e`re application 2e`me application
Taux d’erreur (%) Nombre de SV Taux d’erreur (%) Nombre de SV
Distribution de Wigner 19.41± 1.23 161.9± 4.97 19.41± 1.34 164.3± 5.62
Distribution optimale 16.89± 2.01 65.2± 4.46 17.81± 1.72 83.85± 5.65
Tab. 1 – Comparaison du taux d’erreur (%) et du nombre de vecteurs support (SV ) pour un classifieur SVM associe´ d’une part
a` la distribution de Wigner, et d’autre part a` la distribution optimale, pour chacune des deux applications.
0 5 10 15 20 25 30 35 40 45 50
0.1
0.11
0.12
0.13
0 5 10 15 20 25 30 35 40 45 50
0.09
0.1
0.11
A
li
g
n
em
en
t
A
li
g
n
em
en
t
Ite´rations
Ite´rations
Fig. 2 – Evolution de l’alignement, moyenne´ sur 20
re´alisations, pour la 1e`re (en haut) et la 2e`me (en bas) applica-
tion.
re´alisations de ce parame`tres au cours des ite´rations, pour
chacune des deux applications. Ceci met en e´vidence la
convergence de l’algorithme vers une valeur maximale
de l’alignement, malgre´ la substitution de la contrainte
‖Kσ‖ = V0 par
∫
σ2(θ) dθ = V ′0 .
Afin d’illustrer la pertinence de cette strate´gie, on pro-
pose d’estimer l’erreur de classification obtenue a` partir
d’un classifieur de type Support Vector Machines (SVM),
associe´e a` chacune des distributions temps-fre´quence : la
distribution de Wigner et la distribution optimale. Le ta-
bleau 1 pre´sente, en les moyennant sur 20 re´alisations, le
taux d’erreur obtenu sur un ensemble de test de 2000 si-
gnaux, et le nombre de support vecteurs correspondant.
Non seulement la distribution optimale minimise l’erreur
de classification, mais aussi conduit a` une division par
deux environ du nombre de vecteurs support. Ceci est
principalement duˆ, d’une part au caracte`re optimal de la
distribution ainsi obtenue, et d’autre part au caracte`re
re´gularisant de ce traitement.
5 Conclusion
Le crite`re d’alignement noyau-cible s’ave`re tre`s perti-
nent pour parame´trer des distributions temps-fre´quence
dans le cadre de proble`mes de classification. Dans le cas
particulier d’une distribution a` noyau radialement Gaus-
sien, nous avons montre´ que la maximisation de ce crite`re
se re´duit a` un proble`me d’optimisation classique, permet-
tant ainsi de reprendre des techniques de re´solution qui ont
fait leurs preuves dans la communaute´ temps-fre´quence.
La pertinence de notre approche est soutenue par des
expe´rimentations, qui montrent une ame´lioration sensible
des performances de classification de SVM, ainsi qu’une
diminution du nombre de vecteurs support.
Re´fe´rences
[1] R. Baraniuk and D. Jones, “Signal-dependent time-frequency ana-
lysis using a radially gaussian kernel,” Signal Processing, vol. 32,
no. 3, pp. 263–284, 1993.
[2] D. Jones and R. Baraniuk, “An adaptive optimal-kernel time-
frequency representation,” IEEE Transactions on Signal Proces-
sing, vol. 43, no. 10, pp. 2361–2371, 1995.
[3] M. Davy and C. Doncarli, “Optimal kernels of time-frequency repre-
sentations for signal classification,” in Proc. of the IEEE Interna-
tional Symposium on Time-Frequency and Time-Scale analysis,
(Pittsburgh, USA), pp. 581–584, IEEE Signal Processing Society,
Oct. 1998.
[4] C. Doncarli and N. Martin, De´cision dans le plan temps-fre´quence.
Paris : Herme`s Sciences, Traite´ IC2, 2004.
[5] M. Davy, A. Gretton, A. Doucet, and P. Rayner, “Optimised sup-
port vector machines for nonstationary signal classification,” IEEE
Signal Processing Letters, vol. 9, no. 12, pp. 442–445, 2002.
[6] A. Rakotomamonjy, X. Mary, and S. Canu, “Non-parametric regres-
sion with wavelet kernels,” Applied Stochastic Models in Business
and Industry, vol. 21, no. 2, pp. 153–163, 2005.
[7] P. Honeine, C. Richard, and P. Flandrin, “Reconnaissance des
formes par me´thodes a` noyau dans le domaine temps-fre´quence,”
in Actes du XXe`me Colloque GRETSI sur le Traitement du Si-
gnal et des Images, (Louvain-la-Neuve, Belgium), 2005.
[8] P. Honeine, C. Richard, and P. Flandrin, “Time-frequency learning
machines,” IEEE Transactions on Signal Processing, 2006. (in
press).
[9] P. Honeine, C. Richard, P. Flandrin, and J.-B. Pothin, “Opti-
mal selection of time-frequency representations for signal classifica-
tion : A kernel-target alignment approach,” in Proc. IEEE Inter-
national Conference on Acoustics, Speech and Signal Processing
(ICASSP), (Toulouse, France), May 2006.
[10] N. Cristianini, J. Kandola, A. Elisseeff, and J. Shawe-Taylor, “On
kernel target alignment,” in Innovations in Machine Learning :
Theory and Application (D. Holmes and L. Jain, eds.), pp. 205–
255, Springer Verlag, 2006.
964


http://documents.irevues.inist.fr/bitstream/2042/17667/1/GRETSI_2007_961.pdf

Distribution temps-fréquence à noyau radialement Gaussien : optimisation pour la classification par le critère d'alignement noyau-cible

Abstract

Similar works

Full text

Available Versions

Hal-Diderot

HAL Descartes

I-Revues