Dans ce papier, nous étudions la convergence en moyenne quadratique des filtres adaptatifs, pilotés par l'algorithme du gradient stochastique (GS). Le contexte où l'entrée appartient à un alphabet fini est considéré ; il correspond au contexte réel de transmission numérique. Nous proposons une approche mathématique adaptée à ce contexte, qui permet une analyse simple et rigoureuse, de convergence et ce, sans passer par des hypothèses simplificatrices classiques de type "indépendance" des vecteurs observations

BESBES, H.

EZZINE, J.

JAÏDANE-SAÏDANE, M.

I-Revues

SEIZIÈME COLLOQUE GRETSI — 15-19 SEPTEMBRE 1997 — GRENOBLE 1113
Convergence des filtres adaptatifs
dans le contexte alphabet fini
H. Besbes(1)(2), M. Jaïdane-Saïdane(1), J. Ezzine(1)
.1/ L.S.Télécoms, ENIT, Campus Universitaire, Le Belvédère, Tunis, TUNISIE
Tél : (216-1) 874-700, Fax : (216-1) 870-729
.2/ ESPTT, Route de Raoued, Km3.5 CitC´ El Ghazala 2083, Tunis, TUNISIE
Tél : (216-1) 762-000, Fax : (216-1) 762-819
.3/ ENIT, Campus Universitaire, BP 37 Ä 1002 Tunis, TUNISIE
Tél :C 216 .1/ 874Ä 700, Fax : C 216 .1/ 870Ä 729
RÉSUMÉ
Dans ce papier, nous étudions la convergence en moyenne quadra-
tique des filtres adaptatifs, pilotés par l’algorithme du gradient sto-
chastique (GS). Le contexte où l’entrée appartient à un alphabet fini
est considéré ; il correspond au contexte réel de transmission nu-
mérique. Nous proposons une approche mathématique adaptée à ce
contexte, qui permet une analyse simple et rigoureuse, de conver-
gence et ce, sans passer par des hypothèses simplificatrices classiques
de type “indépendance” des vecteurs observations.
ABSTRACT
This paper gives a tailored approach for convergence analysis of
adaptive filters governed by the LMS algorithm. The case of finite
alphabet input is considered, it corresponds to the real digital trans-
mission contextx. A complete and rigorous proof of quadratic mean
convergence is given without any constraining independence assump-
tions on the observation vector.
1 Introduction : difficulté de l’analyse
de convergence
Du fait de sa faible complexité, l’algorithme du gradient
stochastique (GS), est très utilisé dans les applications de
transmission numérique du signal : annulation d’écho, codage
prédictif, égalisation des canaux... La mise à jour des coeffi-
cients Hk, d’un filtre transverse adaptatif piloté par le GS est
donnée par :
HkC1 D Hk C .yk Ä X Tk Hk/Xk : (1)
où Xk D .xk; xkÄ1; :::; xkÄLC1/T est le vecteur de l’observa-
tion de l’entrée de longueur L,  > 0 est le pas d’adaptation,
yk D FT Xk C bk est la sortie bruitée du système (ou canal) de
vecteur paramètre F et bk est le bruit d’observation. On sup-
posera les séquences fbkg et fxkg stationnaires, indépendantes
entre elles et centrées.
Le comportement transitoire du filtre adaptatif est décrit par
l’évolution du vecteur déviation défini par Vk D Hk Ä F et
caractérisant l’écart entre le filtre adaptatif et le filtre optimal.
Ce vecteur suit la récurrence suivante :
VkC1 D .I Ä Xk X Tk /Vk C bk Xk : (2)
L’analyse de convergence en moyenne quadratique du GS
consiste à étudier le comportement transitoire de E.Vk V Tk /.
La difficulté essentielle de cette analyse provient du fait que
Xk et Vk sont dépendants. Ainsi, on ne peut trouver de relation
simple entre E.VkC1V TkC1/ et E.Vk V Tk / .
De nombreuses approches ont été proposées pour pallier à
cette difficulté :
 Les approches directes consistent à étudier le comportement
de la matrice de transition du GS [1, 2].
 Les approches indirectes se basent sur des méthodes d’ap-
proximations stochastiques, telles que la méthode de l’ODE
[3, 4], et la méthode des perturbations [5].
 Les approches simplificatrices : elles utilisent des modèles
particuliers de l’entrée [6].
Les études menées à partir de ces différentes approches
conduisent à des analyses mathématiques élaborées selon
quatre types d’hypothèses dont seules les trois premieres sont
réalistes :
 H 1 Ergodicité de l’entrée.
 H 2 Excitation persistante de l’algorithme, qui peut se tra-
duire par l’inversibilité de la matrice de covariance de l’entrée.
 H 3 Bornitude de l’entrée ou de ses moments.
C’est de l’hypothèse (H 4), relative à la relation entre Xk
et Vk , que dépend la qualité de l’analyse de convergence.
On fait ainsi souvent l’hypothèse irréaliste d’indépendance
entre Xk et Vk , ou de manière plus réaliste on suppose
la MÄindépendance du vecteur observation de l’entrée [1].
Moins l’hypothèse est restrictive, plus les développements
mathématiques deviennent relativement complexes.
Dans le contexte de transmission numérique, lorsque l’en-
trée appartient à un alphabet fini, les analyses de convergence
sont déduites des résultats issus de ces différentes approches
1114
classiques. Elles ne profitent pas des caractéristiques de l’en-
trée.
Dans cet article, une nouvelle approche inspirée de [7]
adaptée au contexte ”alphabet fini ”, est proposée pour ana-
lyser de manière simple la convergence en moyenne quadra-
tique du GS. Aucune hypothèse simplificatrice de type indé-
pendance (H 4) n’est utilisée. Une valeur exacte du pas d’adap-
tation critique est donnée en fonction des statistiques de l’en-
trée.
2 Contexte alphabet fini et analyse de
la convergence
Dans le contexte de transmission numérique, les données
xk appartiennent à un alphabet fini, par exemple f1g ou
f1;3g ; par conséquent, les vecteurs Xk et les matrices
(I Ä Xk X Tk ) évoluent eux aussi, respectivement dans des al-
phabets finis fW1;W2; :::;WN g et fA1; A2; :::; AN g. Le vecteur
observation peut être donc modélisé par une chaîne de Markov
irréductible f.k/ : k 2 ZCg définie sur f1; 2; :::Ng et de ma-
trice de transition P D fpi jg, telle que :
Xk D W.k/: (3)
Compte tenu du caractère ”alphabet fini” de l’entrée, une
nouvelle approche d’analyse du GS, consiste à étudier la
convergence des espérances conditionnelles Q j .k/ définies
par :
Q j.k/ D E.Vk V Tk 1..k/D j// (4)
où 1.:/ est l’indicateur de Dirac.
D’après les équations (1) et (3), la récurrence entre Q j .kC
1/ et Qi .k/, peut être développée de la manière suivante :
Q j .k C 1/ D
NX
iD1
E.VkC1V
T
kC11..kC1/D j/1..k/Di//
D
NX
iD1
E.A.k/Vk V
T
k A
T
.k/1..kC1/D j/1..k/Di//
C2
NX
iD1
E.W.k/W
T
.k/b
2
k 1..kC1/D j/1..k/Di//
L’élégance de la démonstration provient du fait que
A.k/1..k/Di/ D Ai 1..k/Di/ et que les matrices Ai sont
constantes et indépendantes de Vk . On peut alors écrire :
Q j .k C 1/ D
NX
iD1
E.Ai Vk V
T
k A
T
i 1..kC1/D j/1..k/Di//
Cz j.k/ .5/
avec z j.k/ D 2
NX
iD1
E

Wi W
T
i b
2
k1..kC1/D j/1..k/Di/

:
L’analyse de la convergence du GS se fait ainsi, simple-
ment, sans l’hypothèse d’indépendance de type H 4.
En utilisant les résultats classiques d’algèbre tensorielle, on
trouve alors des relations compactes qui régissent l’évolution
de E.Vk V Tk / [8] :
QQ.k C 1/ D 0 QQ.k/C QZ.k/ .6/
où QQ.k/ D
26664
vec.Q1.k//
vec.Q2.k//
:
::
vec.QN .k//
37775, QZ.k/ D
26664
vec.z1.k//
vec.z2.k//
:
::
vec.zN .k//
37775
et 0 D .PT  IL2/diag.ATi  Ai/.
 est le produit de Kronecker matriciel, vec.:/ est l’opé-
rateur qui transforme une matrice en un vecteur et IL2 est la
matrice identité de dimension L2. Pour un ensemble de ma-
trices carrées Di , i D 1:::N de dimension l, on note diag.Di/
la matrice carrée de dimension Nl formée par les Di sur la dia-
gonale et zéro ailleurs. Notons que la matrice 0 est de dimen-
sion N:L2 et que cette dimension devient rapidement elevée
lorsque la taille de l’alphabet augmente et l’ordre L du filtre
adaptatif augmente.
Du fait que la matrice 0 est constante et ne dépend que du
pas d’adaptation  et des caractéristiques statistiques de l’en-
trée, la convergence en moyenne quadratique de l’algorithme
n’est liée qu’aux valeurs propres de cette matrice.
La proposition suivante résume les résultats trouvés, concer-
nant la convergence du GS.
Proposition
Dans le contexte “ alphabet fini“ de l’entrée, et sous les deux
hypothèses suivantes :
 H’1 La chaîne de Markov f.k/g est irréductible (c’est
l’hypothèse H 1 de l’ergodicité de l’entrée).
 H’2 La famille fW1; :::;WN g engendre <L : (c’est la
condition H 2 d’excitation persistante du GS).
Il existe un réel c supérieur à 
max
c défini par :
maxc D
2
max
iD1:::N
.W Ti Wi /
.7/
tel que pour  < c, la valeur propre maximale de 0 est
inférieure à 1, et le GS converge en moyenne quadratique.
3 Détermination du pas d’adaptation
critique et simulations
Du point de vue pratique, la connaissance du pas critique
est cruciale. Les approches classiques basées sur des hypo-
thèses réalistes caracteérisant le lein entre Xk et Vk ne four-
nissent pas de borne précise du pas critique.
Notons que souvent on admet pour pas critique
2
max
où
max est la valeur propre maximale de la matrice de corrélation
EfXk X Tk g. Un tel résultat est pourtant relatif à la convergence
en moyenne de Vk et suppose de plus l’indépendance des
vecteurs observations.
En utilisant les statistiques d’ordre 4 de l’entrée et encore
sous l’hypothèse d’indépendance, on montre de manière plus
précise [1] qu’il existe une borne
indc D 2:
min
max
.8/
1115
où min est la valeur propre minimale de EfXk X Tk g et max
est la valeur propre maximale de EfjXk j2 Xk X Tk g, telle que, si
 < indc , il y a convergence en moyenne quadratique du GS.
La détermination du pas d’adaptation critique c par la
nouvelle approche, passe par l’estimation de la matrice de
transition P puis par la recherche de la valeur propre maximale
de 0. Cette matrice dépend à la fois du pas d’adaptation  et
des caractéristiques statistiques de l’entrée (eq 6).
Pour valider les résultats obtenus, on a considéré une entrée
corrélée appartenant à l’alphabet f1;3g et deux exemples
d’identification avec des filtre de longueur L D 1 et L D 3.
1er cas : Dans le cas d’identification L D 1, F D 10 la valeur
de indc D 10=41 est indépendante de la corrélation de l’en-
trée, tandis que le pas d’adaptation critique théorique décroit
lorsque la corrélation de l’entrée augmente (fig 1).
Par exemple pour une corrélation de 0.98, le pas critique
c D 0:2233 < indc . On a relevé, dans ce cas, l’évolution
de E
ÄjVk j2, par des simulations de Monte Carlo faites sur
350 réalisations, pour deux valeurs 1 et 2 du pas d’adapta-
tion, c < 1 D 0:24 < indc et 2 D 0:223 < c (fig 2).
On constate pour 1, la divergence exponentielle de E
ÄjVk j2
d’où l’inexactitude de l’approche classique.
2ème cas : Dans le cas d’identification L D 3 avec F D
.1; 0:6; 0:5/T . Notons que N D 64 et que la
dimension de la matrice 0 est dèja de N L2 D 576. Pour
chaque valeur de la corrélation, on a déterminé par simulations
les valeurs simuc à 10
Ä3 près qui provoquent la divergence de
EfV Tk Vkg.
Les résultats de simulation simuc sont comparés avec les va-
leurs théoriques c, trouvées par l’approche proposée et les
valeurs indc utilisant les hypothèses classiques d’indépen-
dance.
La figure 3 montre l’exactitude de l’approche proposée
puisque c et 
simu
c sont confondus.
Remarquons que lorsque la corrélation de l’entrée est
faible, les valeurs de indc et c sont effectivement voisines.
Il est intéressant de noter, par ailleurs, que pour les fortes
corrélations de l’entrée, indc estimé avec l’hypothèse d’indé-
pendance tend vers 0 pour L D 3, un tel résultat n’étant d’au-
cun intérêt du point de vue pratique. Par contre, dans une telle
situation, c estimé sans cette hypothèse d’indépendance tend
versmaxc (eq 7) qui est différent de 0 et qui de surcroit est une
borne qui ne nécessite aucune connaissance sur les statistiques
de l’entrée mais simplement une connaissance de l’alphabet
transmis.
4 Conclusion
Nous avons proposé dans cet article une approche mathé-
matique adaptée à l’analyse des performances des filtres adap-
tatifs dans un contexte d’“alphabet fini“ de l’entrée, contexte
rencontré en transmission numérique du signal. Cette ap-
proche permet une analyse simple, rigoureuse et complète de
la convergence en moyenne quadratique de l’algorithme GS.
Aucune hypothèse simplificatrice, telle que l’indépendance ou
la mémoire finie des observations successives n’est utilisée.
Une borne précise du pas d’adaptation critique est donnée.
Références
[1] O. Macchi, "LMS Adaptive Processing with Applica-
tions in Transmission", Wiley, 1994.
[2] V.Solo, "The Limiting Behavior of the LMS", IEEE
trans. ASSP, Vol 37, N 12, pp 1909-1922, December
1989.
[3] M.A Kourizin, "On Almost-Sure Bounds for the LMS
Algorithm", IEEE trans. Information Theory, Vol 40, N
2, pp 372-383, March 1994.
[4] A. Benveniste, "Design of Adaptive Algorithms for the
Tracking of Time-Varying Systems", Int. J. Adaptive
Contr. Signal Processing, pp 3-29, 1987.
[5] A. Perrier, B.Deylon, E.Moulines, "Performance Ana-
lysis of Stochastic Gradient Identification Algorithms
Using a Perturbation Expansion Method, Part I : Theo-
retical results", à paraitre .
[6] Dirk T.M. Slock, "On the Convergence Behavior of the
LMS and Normalized LMS Algorithms", IEEE trans on
ASSP-41, Vol 9, pp 2811-2825, September 1993.
[7] O.L.V. Costa and M.D. Fragoso, "Stability Results for
Discrete-Time Linear Systems with Markovian Jumping
Parameters", Journal of Mathematical Analysis and Ap-
plications, Vol 179, N 1, pp 154-178, October 1993.
[8] H. Besbes, M.Jaidane, J.Ezzine "Convergence des filtres
adaptatifs en transmission numérique : Contexte de l’al-
phabet fini", 16èmes Journées Tunisiennes d’Electro-
technique et d’Automatique, Nabeul Nov 1996.
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0.21
0.215
0.22
0.225
0.23
0.235
0.24
0.245
0.25
  COEFFICIENT DE CORRELATION  
 
PA
S 
D’
AD
AP
TA
TI
O
N 
CR
IT
IQ
UE
  
  µ    
  c    
  µ    
  c   
  ind   
  µ    
  c   
  max   
FIG. 1 — Evolution du pas d’adaptation critique en fonction
de la corrélation : cas L D 1
1116
0 10 20 30 40 50 60 70 80 90 100
100
101
102
103
104
105
106
107
 NOMBRE D’ITERATIONS  
 
 
EV
O
LU
TI
O
N 
DE
 E
(|V
k|²
) 
  µ=0.24   
  µ=0.223   
FIG. 2 — Evolution de E
ÄjVk j2 : cas d’une corrélation de
0.98, L D 1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
0
0.02
0.04
0.06
0.08
0.1
0.12
  µ    
  c    
  max   
  µ    
  c   
  Theorie et simulation    
  µ    
  c   
  ind   
FIG. 3 — Evolution du pas d’adaptation critique en fonction
de la corrélation : cas L D 3


Convergence des filtres adaptatifs dans le contexte alphabet fini

Abstract

Similar works

Full text

Available Versions

I-Revues