Moyenne statistique de la fonction S(X,θ), variance des estimateurs de θ, borne inférieur

COMON (P.)

Traitement du signal

I-Revues

Introduction
En traitement du signal, on a parfois affaire à des pro-
blèmes d'optimisation dans CP, notamment lorsque les
données sont délivrées dans le domaine spectral . Le
problème d'optimisation dans Cp est très différent
d'une optimisation dans 0V P, dans les situations réelles
auxquelles on est confronté où les données de C" sont
obtenues par transformation de données de Rp . Poser
le problème dans R2 peut entraîner un alourdissement
considérable des notations et même conduire à une
formulation intractable; pour s'en rendre compte,
nous invitons le lecteur à résoudre notre exemple 2
dans W". N'ayant trouvé dans la littérature que très
peu de résultats concernant la théorie de l'estimation
complexe [4, 8], nous espérons que l'exposé succint qui
va suivre sera de quelque utilité. Le lecteur ne
manquera pas de remarquer que certaines démonstra-
tions et certains résultats sont différents de ceux établis
dans R" [7], bien que leur obtention exposée ci-après ne
pose aucun problème. Deux exemples très simples
permettent d'illustrer notre propos dans un environne-
ment gaussien .
Estimation multivariable complexe
Complex multivariable estimation
P. COMON
CEPHAG-ENSIEG, BP n° 46, 38402 SAINT-MARTIN-D'HÈRES
TABLE DES MATIÈRES
1. Notations
2. Préliminaire
3. Moyenne statistique de la fonction
S (x, 0)
4. Variance des estimateurs de 0 : borne
inférieure
5. Efficacité
6. Exemple 1
7. Exemple 2
Conclusion
Annexe
Bibliographie
Traitement du Signal
COMMUNICATIONS
97
1. Notations
Les vecteurs et les matrices seront distingués des gran-
deurs scalaires par une impression grasse .
La densité de probabilité (ddp) d'une variable com-
plexe z est définie comme étant la ddp conjointe de
ses parties réelle et imaginaire . Les intégrales interve-
nant dans cet exposé devront être interprétées dans
ce sens .
3n notera hn l'espace hilbertien des vecteurs aléatoires
du second ordre de dimension n. Le produit scalaire
de deux vecteurs x et y de hn est défini par la moyenne
statistique E { x + y }, où x+ désigne le vecteur
transposé et conjugué de x . En outre, le vecteur x T
désignera le vecteur transposé de x .
L (x, 0) : ddp de l'observable x e h„, conditionnelle-
ment à 0, vecteur de paramètres déterministes
inconnus à estimer ; L e R et e e C°. L (x, 0) est donc
la fonction de vraisemblance de x associée à e .
S (x, 6) = aé In L (x, 0)
(Voir définition dans l'Annexe) .
S est un vecteur de hP, appelé parfois « score
function » .
Posons F (e)=E (SS + ). Cette matrice correspond à
l'information de Fisher. Elle est déterministe et hermi-
tienne de dimension p x p
2. Préliminaire
2 . 1 . On utilise la notation de dérivation d'une fonc-
tionnelle réelle h (0) définie en annexe ; h (e) étant à
valeurs dans 11 ' et définie sur C" . Rappelons que
80h,
(0)
a hT (e)+ja hT (0);Sie=(a+jp),0cC°.
Cette notation établit une bijection entre C" et R 2 ".
Relevons en particulier les propriétés suivantes .
ae
Re (O T) =I
ae
Im (eT)=j I
~90+
He=2He,
où H désigne une matrice hermitienne p xp .
volume 3 - n° 2 -1986
2 . 2 . Lemme : Soit a un vecteur de C" et B une matrice
hermitienne régulière. Alors :
C ~
+ I 2 l
Max
a
X
xecn
X+ BX
est obtenue lorsque x est colinéaire à B -1 a. Le maxi-
mum vaut alors a+ B -1 a.
Ce lemme résulte de l'inégalité de Schwarz dans hi .
3. Moyenne statistique de la fonction S
Les calculs présentés ci-après sont légitimes si les
fonctions considérées satisfont les conditions néces-
saires autorisant l'interversion des opérateurs de déri-
vation et d'intégration réelles .
Théorème 1 : E (S) =0.
Démonstration
J
. . . fL(X,0)dx 1 . . .dx n =1
Donc, comme L (X, 0) e ll , il vient
, I . . .
,~a8
L (X, 0) dx 1 . . . dx" = 0
or
d'où
E(S)=
J
. . .
('alnLa(X,0)
L(X,0)dx1 . . .dxn
E (S) _ ~ . . . JôL(XO), dx 1 . . .dxn = 0
4. Variance des estimateurs de 0 : borne infé-
rieure
Théorème 2 : Si h(X) est une fonction à valeur dans
RP, c'est-à-dire de même dimension que 0, alors :
E{S .hT }= éE{hT}
Démonstration
E{hT}=+ . . . JhT (x)L , 0)dx 1 . . .dx"
- E{hT }=
J
. . . I
DL
hT dx l . . .dx"
_ J. . .
J a
InL
hT .Ldxi . . .dx"
=f
. . .fs .hT Ldx1 . . .dx"
Traitement du Signal
ESTIMATION MULTIVARIABLE COMPLEXE
(x, 0)
98
Théorème 3 : Si t (x) est un estimateur non biaisé de
0, paramètre de CP, alors
E{S .Re(tT)}=I
E{S .Im(tT)}=jI
Démonstration : On applique le théorème 2 à
Re(tT)= 1(tT +t+ )
	
et Im(tT)= (t T -t+)
J
Il suffit alors d'utiliser les propriétés rappelées dans
le préliminaire .
Corollaire 3 : Soit t (x) un estimateur non biaisé de 0,
et t, (x) = t (x)-0, alors d'après le théorème 1 :
E{S .tT}=0 et E{S .t~ }=2I.
Théorème 4 : Si t (x) est un estimateur non biaisé de
0, alors :
V (t) >_ 4F -1 (0)
où :
V (t) = E (t, t
c
'- ) et t,=t-0
Autrement dit, la matrice V-4 F-1 est non négative.
Démonstration : L'inégalité de Schwarz dans hi s'écrit
E{u
+
v}
1
2 SE{u+u} .E{v+v}
Soient a et c deux vecteurs déterministes quelconques
de CP . Pour u=a+ t, et v=c + s, l'inégalité devient :
la + E(t~s +) e1 2 <a+E(t~t' )a . c+E(ss+)c
et d'après le corollaire 3 :
I2a
+ cl2
<_a+ V(t)a .c+Fc
Cette inégalité reste vraie en particulier lorsque la
quantité
c + aa+ c
c + Fe
est maximale, soit, d'après le lemme, lorsque :
c=F_
1 a
Il vient donc que, d a e CP, l'inégalité suivante reste
vérifiée
4a
+ F-1
a<a+ V(t)a
La Borne inférieure de Cramer-Rao (BICR) vaut ici
par conséquent 4 F-1 contre F-1 dans le cas réel .
Corollaire 4 : Du théorème précédent, il découle immé-
diatement les propriétés particulières
(i) V(t;)>_4F; 1,d1<i<p.
(ii) det V (t) . det F (0) > 4.
volume 3 - n° 2 -1986
5. Efficacité
Un estimateur t est usuellement dit « efficace » lors-
que sa variance est égale à la BICR . Il faut remarquer
qu'il n'est pas toujours possible d'atteindre cette
borne. Ainsi, dans le souci de relier l'efficacité des
estimateurs avec leur variance, il peut être intéressant
d'évaluer la variance minimale atteignable plutôt que
la BICR [10; p. 346] . Nous nous contenterons dans
cette section de présenter un résultat fondamental
concernant l'efficacité .
Théorème 5 : Soit t (x) un estimateur non biaisé de 0 .
Alors les propriétés suivantes sont équivalentes
(i) La BICR est atteinte (t efficace) .
(ii) t(x)-0= 2F-1(0) .S(x, 0) .
p.s .
(iii) Il existe une matrice p x p K (0) telle que
t(x)-0=K(0) .S(x, 0)
P .S .
Démonstration :
	
Si (i) est satisfaite, alors
V (t)-4 F-1 (0)=0.
Ceci implique d'après le corollaire 3 que :
E{(t,(x)-2F-1S(x, 0))(t,(x)-2F-1S(x, 0))+}=0
Ceci entraîne que t, (x) = 2 F- 1 (0) S (x, 0), donc (ii)
P .S .
puis (iii) .
Inversement, si (iii) est satisfaite, il vient en postmulti-
pliant les deux membres par S (x, 0)' et en prenant
l'espérance mathématique
E{t é (x)S(x, 0)+}=K(0) .E{S(x, 0)S(x, 0) + } .
Soit d'après le corollaire 3 :
2I=K(0) .F(0) .
en reportant dans (iii), nous avons (ii) .
Il nous reste à montrer (i) . Pour ce faire, il suffit de
postmultiplier (ii) par t' puis de prendre l'espérance
mathématique des deux membres
E{tc(x)tc(x)+}=2F-1(0) .E{S(x, 0)tc (x)+} .
Le résultat escompté est obtenu en utilisant une nou-
velle fois le corollaire 3 .
Remarque : Les résultats de ce genre ont été générali-
sés au cas d'estimateurs biaisés lorsque 0 est réel [10;
p. 327, 1 ; p. 41 et 313] . Parallèlement, généraliser les
résultats exposés ici au cas biaisé ne présente pas de
problèmes ; la seule différence avec la formulation
dans 11" réside dans la covariance croisée E (t S +) # I .
6. Exemple 1
Considérons le problème de l'estimation d'une
moyenne sous contrainte linéaire . Le modèle d'obser-
Traitement du Signal
COMMUNICATIONS
99
vation adopté est le suivant
xµ=(0+e";
les x" sont indépendamment N'«DO, re), où
- x désigne l'observable, vecteur aléatoire de dimen-
sion n, que l'on suppose normal complexe ; l'exposant
µ distingue les M réalisations indépendantes
1<_µ<_M;
- e désigne la partie centrée de x ;
- q) est une matrice donnée de dimension n xp, de
rang p :g n ;
- 0 est le paramètre inconnu à estimer, de dimension
p ;
- ré est la matrice de covariance de e, de taille n x n
re =E{ee
+
} ; rx =E{xx+ }=re +tD00+(D+
Ce type de modèle est largement utilisé pour la récep-
tion des ondes, et de manière plus générale pour
l'analyse sélective de puissance [6, 9, 11 ] .
Le logarithme de la fonction de vraisemblance s'écrit :
In L(x, 0)=-nMlnx-Mln1detre l
M
- (x"- (DO) + re 1 (x"-00) .
µ=1
Une condition nécessaire pour accéder à un maximum
de cette fonction est l'annulation de la dérivée partielle
par rapport à 0, qui s'écrit d'après le tableau d'identi-
tés de notre annexe
ôlnL/ô0=2M(D+FQ 1 (X-00);
en notant X =
Y,
x"/M.
Il vient donc l'expression, bien connue dans le cas
réel, de l'estimateur optimal :
0°=[(+re
1
(D]
-l
a,+re 1 X
Cette expression peut également s'écrire sous une
autre forme :
0°-0=[D+ re 1 (D] -1 (D + r
é
1(X-(D0)
L'estimateur 0 ° est donc non biaisé et sa variance
vaut :
V(0°)=E{(0°-0) (0°-0)+}=[M0+F» )]
- 1
Ce résultat est parfois dénommé dans l littérature
« formule de Capon » lorsque 0 est un,réel scalaire .
A l'aide du théorème 5, on peut évaluer l'efficacité
de cet estimateur .
F(0)=E{ôlnL/ô0ô1nL/ô0+}=4M(+re 1(D
On vérifie ici, avec notre formalisme complexe, que
l'estimateur linéaire du maximum de vraisemblance
de 0 est efficace car
V(0°)=4F(0)-1
volume 3 - n° 2 - 1986
7. Exemple 2
Il est également très illustratif de présenter le pro-
blème de l'estimation d'une matrice de covariance
par le maximum de vraisemblance . C'est sur ce type
d'exemple que l'on apprécie le mieux les outils de
dérivation dans CP que nous avons donnés en annexe
(par ailleurs, ces outils peuvent être avantageusement
utilisés pour l'étude de problèmes plus compliqués
[2, 3]) . Considérons simplement le modèle d'observa-
tion suivant
xu=0+e";
les xN étant indépendamment N'(0, Fe) .
Le logarithme de la fonction de vraisemblance est le
même que dans l'exemple précédent avec 0 = I . Il
vient donc, en tenant compte des identités présentées
en annexe
a1nL
	
M
	=-2Mre 1+2re
1 E (xµ-0)(xI-0)+re
1
a re
µ = 1
M
+Diag[Mre 1 -re
1 >
(xµ-0)(xI-o)+r»]
.
µ=1
En annulant toutes les coordonnées de ce gradient,
on peut remarquer que les termes diagonaux et extra-
diagonaux sont alors régis par une équation unique
M
]reo=
1 Y (xµ-0)(xµ-0)+
.
M µ = 1
On vérifierait facilement que pour toute matrice
hermitienne H, In L (0, H) est inférieure à
In L (0, r°), ce qui assure bien un maximum; la
méthode suivie serait tout à fait similaire à celle menée
dans le cas réel [5, 10] .
Conclusion
Ce bref exposé fait le point sur les outils nécessaires
à l'estimation et l'optimisation dans CP . Une telle
introduction synthétique et rigoureuse devrait être
utile en raison des lacunes encore évidentes dans la
littérature sur ce sujet .
Manuscrit reçu le 28 mars 1986
Annexe
1. Dérivation d'une fonction réelle de la varia-
ble complexe
Une fonction réelle de la variable complexe f (z), non
réduite à une constante n'est jamais holomorphe . En
Traitement du Signal
ESTIMATION MULTIVARIABLE COMPLEXE
1 00
conséquence, il est impossible de définir la dérivée à
partir du taux d'accroissement :
g (z, h) = [f (z + h) -f (z)]lh
On est donc amené très simplement à poser V z .
z=x+jy, (x,y)el 2 .
A toute fonction f (z), on peut associer une fonction
F (x, y) =f (z) de manière unique . Lorsque le gradient
de F est défini, il est possible de construire la quantité
0
d (x, y) _ (aF/ax) (x, y) +j (aF/ay) (x, y)
On convient de poser
0
(af/az) (z) = d (Re (z), Im (z)) .
Cette définition est la seule qui nous semble
rigoureuse, et a été utilisée dans la littérature par
Monzingo et Miller [8; p. 85] et Hudson [4; p. 245] .
Exemples
f (z) = Re (z) ->f(z) =1
f (z) = Im (z) -f' (z) =j
f(z)=I zJ 2 ->f'(z)=2z
f (z) =1n I z I -> f (z) =1 /z*
f(z)=Re(az) -*f (z)=a*
f (z) = Im (az) -+ f (z) =ja*
(af/8z*)=(af/az)*
D'autres définitions peuvent être rencontrées mais ne
semblent pas avoir de fondements théoriques . Nous
les considérons plutôt comme moyens mnémothechni-
ques.
2. Gradients matriciels
On peut définir la dérivée d'une quantité matricielle
p x g A par rapport à la variable matricielle s x t B
par la matrice sp x tq notée a A/aB comme suit
DA aB
OB11 8 BI,
aÂ DA
a BSI
' '
a BS,
Cette matrice est structurée par blocs de dimension
p x q que l'on peut noter
aA/a Bij; 1-<-
i <p, 1 <_j
<
q
A l'issue de cette définition, il est intéressant de noter
que :
DA/3B' = [aAT/3B]T
DA o
aB -
volume 3 -
n° 2 -
1986
Et plus généralement, si B est à valeurs dans C
ôA/ôB+ = [ôAT/DB] +
.
CAS PARTICULIER
Si A est une fonction scalaire et B un vecteur s x 1,
on retrouve la définition du gradient usuel
:
VB A = aA/aB.
Un certain nombre de propriétés concernant les gra-
dients matriciels peut être consulté, mais toutefois
dans le cas réel uniquement, dans [1], [7] et
[12] .
Malgré sa souplesse indiscutable, nous n'avons pas
trouvé jusqu'à présent dans la littérature le forma-
lisme de dérivation d'une fonctionnelle de C" .
4. Identités dans C"
Cette annexe perdrait son plus grand intérêt si nous
ne donnions pas une liste presque exhaustive des
identités de base de dérivation dans C"
. En effet, nous
n'avons trouvé pratiquement aucune information
dans la littérature en ce qui concerne cette forme de
dérivation. Pourtant, réexprimer dans RZ" un pro-
blème d'optimisation posé dans C" peut alourdir
considérablement les expressions matricielles
. De plus,
il est souvent nécessaire de retourner l'expression du
résultat dans C", ce qui s'est avéré parfois très ardu
sur certains exemples, voire inextricable (notamment
dérivation de In I det H I par rapport à H) .
Le tableau ci-dessus rassemble de manière redon-
dante quelques identités de base . Ces dernières peu-
vent être démontrées pour la plupart à partir des
Traitement du Signal
COMMUNICATIONS
101
résultats obtenus dans le cas réel, mais le plus simple
peut consister parfois à remonter aux définitions des
paragraphes 1 et 2 .
BIBLIOGRAPHIE
[1] Y. BARD, Non Linear Parameter Estimation,
Academic
Press, 1974 .
[2] P
. CoMON, Traitement de signaux magnétiques multi-
variables, Thèse de Doctorat, INPG, 9 décembre 1985,
Grenoble .
[3] P. COMON et J. L. LACOUME, A Robust Adaptive Filter
for Noise Reduction Problems, Proceedings of
ICASSP, 7-11 avril 1986, Tokyo .
[4] J. E. HUDSON, Adaptive Array Principles, Peregrinus
Ltd, 1981 .
[5] A. M
. KSHIRSAGAR, Multivariate Analysis, Dekker,
1972 .
[6] T. T. LACOSS, Data Adaptive Spectral Analysis
Method,
Geophysics, 36, n° 4, 1971, p . 661-675 .
[7] K. V. MARDIA, J. T. KENr et J . M . BiBBY, Multivariate
Analysis, Academic Press, 1979
.
[8] R. A. MoNzINGo et T . N. MILLER, Introduction to
Adaptive Arrays, Wiley, 1980.
[9] J
. MUNIER, De l'analyse spatiale continue à l'analyse
paramétrique, Xe colloque GRETSI, Nice, 1985,
p. 307-312
.
[10] C. R . RAO, Linear Statistical Inférence and its applica-
tions, Wiley, 1965 .
[11] J . C. SAMSON, Pure States, Polarized Waves and Princi-
pal Components in the Spectra of Multiple Geophysi-
cal Time Series, Geophys J. R. Astr. Soc ., 72, n° 3,
1983, p
. 647-664 .
[12] W . J. VETTER, Derivative Operations on Matrices,
IEEE Trans Automatic Control,
15, n° 2, 1970,
p. 241-244 .
volume 3 - n° 2 - 1986
C,, .
A, B, C
:
matrices complexes quelconques .
H: matrice hermitienne (H
	
H) .
x, y : vecteurs complexes .
U : réelle scalaire	
DU/3A+
(ôU/êA)+
Linéaire	 (ô/ôx) (x+ A y+y + A+ x) 2 A y
(ô/ô H') (x+ H x)
(ô/ôA) (x+
A y+y+ A+ x)
(ô/aA) trace (AB+B+ A
+ )
2 xx+-Diag (xx+)
2 xy+
2B +
Quadratique	 (ô/ôx) (x + H x) 2 H x
Autre	
(ô/ôA) trace (H l A H 2 A+)
(ô/ÔA) trace [(BA+C)+H (BA+C)]
(ô/a H') (x + H - ' x)
fH1 AH,
2 B+ H (BA+C)
-2 H- ' xx+ H- '+Diag (H- ' xx + H- ')
(ô/ô H') In I det H f 2 H- '-Diag H - '


Complex multivariable estimation

Abstract

Similar works

Full text

Available Versions

I-Revues