- Nous proposons d'approximer la distribution de certains descripteurs d'image, comme la couleur ou la couleur associée à une information de gradient, par d'une part des histogrammes et d'autre part un mélange de gaussiennes. La dimension de cette dernière signature étant choisie automatiquement par des critères statistiques, le gain sur la taille de l'index est souvent important. Concernant la qualité de l'appariement, les histogrammes semblent plus performants

BIERNACKI, Christophe

MOHR, Roger

Nous proposons d'indexer un objet, ou partie d'image, par le paramètre d'un mélange gaussien qui approxime la distribution des couleurs, le nombre de classes étant choisi automatiquement par des critères bayésiens. Tout objet requête sera alors apparié à l'objet indexé le plus vraisemblable parmi tous les objets indexés de la base d'apprentissage. Cette technique est ensuite comparée à celle de l'indexation par histogrammes utilisant la dissimilarité du chi-deux pour apparier. L'avantage des mélanges gaussiens repose principalement sur un gain important de la taille de l'index par rapport aux histogrammes surtout lorsque la dimension augmente, tout en gardant une qualité d'appariement du même ordre

Biernacki, Christophe

Mohr, Roger

INRIA a CCSD electronic archive server

Indexation et appariement d'images par modèle de mélange gaussien des couleurs

I-Revues

Indexation et appariement d'images
par modele de melange gaussien des couleurs
Christophe Biernacki, Roger Mohr
Laboratoire Gravir, projet Movi de l'Inria Rho^ne-Alpes
655 avenue de l'Europe, 38330 Montbonnot Saint Martin, France
Christophe.Biernacki@inrialpes.fr, Roger.Mohr@inrialpes.fr
Resume { Nous proposons d'approximer la distribution de certains descripteurs d'image, comme la couleur ou la couleur associee
a une information de gradient, par d'une part des histogrammes et d'autre part un melange de gaussiennes. La dimension de
cette derniere signature etant choisie automatiquement par des criteres statistiques, le gain sur la taille de l'index est souvent
important. Concernant la qualite de l'appariement, les histogrammes semblent plus performants.
Abstract { Distribution of some image descriptors, as color or color combined with gradient information, is modelized by
histograms or Gaussian mixtures. Dimension of Gaussian mixture signature is often smaller because number of components is
automatically choosen by statistical criteria. But histograms lead to higher matching rate.
1 Intoduction
Que se soit pour rechercher des images similaires dans
des bases d'images, ou pour retrouver des objets dans des
scenes videos, on cherche a decrire des images par des si-
gnatures qui autorisent une classication et une recherche
ecaces (cf. le groupe de travail correspondant du Gdr
Isis). Les histogrammes sont souvent utilises a travers la
distance du 
2
(cf. [8]) pour l'ecacite et la simplicite de
leur mise en uvre.
Nous proposons ici une alternative interessante aux his-
togrammes, considerant une modelisation par des melanges
de distributions gaussiennes. Dans ce cadre, des outils de
choix de modeles permettent de determiner de maniere
automatique le nombre de composantes gaussiennes, en
d'autres termes la taille de la signature.
En premier lieu, nous presentons et experimentons les
deux approches dans le cadre de la signature des couleurs.
Ensuite, nous etendons cette etude en couplant l'informa-
tion de couleur a l'information spatiale du gradient. Enn,
nous concluons sur les avantages et les limites de notre
proposition.
2 Approximation de la distribution
des couleurs
2.1 Approximation par histogramme
Une image est composee de n pixels, chacun ayant une
couleur c
i
(i = 1; : : : ; n). Cette couleur est un scalaire
lorsque l'image est en niveau de gris et un vecteur a trois
composantes lorsque l'image est en couleur.
L'histogramme est une approximation de cette distribu-
tion des couleurs c
1
; : : : ; c
n
[8]. Cette signature peut s'in-
terpreter en terme de melange probabiliste : un histogram-
me en K classes est une loi melange f avec K lois uni-
formes. On a
f(cj) =
K
X
k=1
p
k
U(cja
k
) (1)
avec p
k
la proportion de la classe k (p
k
 0 et
P
k
p
k
= 1),
U(ja
k
) la loi uniforme de support a
k
. Le parametre global
 regroupe l'ensemble des p
k
et a
k
.
Generalement, le support est xe a priori par maillage
regulier et seules les proportions sont estimees. Si les n
couleurs sont des realisations i.i.d. de f , l'estimateur du
maximum de vraisemblance conduit a la notion classique
de frequence. L'histogramme est alors dit (( normalise )).
2.2 Approximation par melange gaussien
Principe Comme alternative aux melanges de lois uni-
formes, on peut considerer des melanges de lois gaussien-
nes. Formellement, le melange gaussien f s'ecrit
f(cj) =
K
X
k=1
p
k
N(cja
k
); (2)
avec a
k
= (
k
;
k
), 
k
et 
k
respectivement le centre
et la matrice de variance de la kieme composante nor-
male N(ja
k
). Cette fois, non seulement les proportions p
k
mais aussi les positions-dispersions a
k
peuvent e^tre esti-
mees car le melange est identiable. L'estimation du pa-
rametre global  peut se faire en maximisant la vraisem-
blance L() =
P
n
i=1
ln f(c
i
j) par l'algorithme EM (ex-
pectation - maximisation) [3].
La gure 1 montre les deux dierentes approximations
(histogramme et melange gaussien) de la distribution des
couleurs rouge-vert.
2.2.1 Justication
On peut comprendre chaque composante gaussienne com-
me une couleur dominante avec sa variabilite. Si une telle
10
100
200
0 50 100 150 200 250
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0.18
red
fre
qu
en
cy
0
100
200
0 50 100 150 200 250
0
0.2
0.4
0.6
0.8
1
1.2
x 10−3
red
de
ns
ity
(a) (b) (c)
Fig. 1 { (a) une image, (b) son histogramme des couleurs
rouge-vert, (c) le melange gaussien correspondant.
composante existe, les accidents de reexions, d'ombrages,
etc., peuvent faire que la distribution s'eloigne de la loi
gaussienne, mais une telle modelisation serait trop com-
plexe, et tres dependante des materiaux consideres. Reste
alors le choix du nombre de telles couleurs dominantes.
2.2.2 Choix du nombre de classes
Le nombre de composantes peut aussi e^tre estime en
retenant la valeur qui minimise le critere bayesien BIC [7]
(connu aussi sous le nom MDL) ou bien encore le critere
bayesien classiant ICL [1]. Le critere BIC s'ecrit
BIC =  2L(
^
) + dl lnn (3)
avec
^
 l'estimateur du maximum de vraisemblance de  et
dl le nombre de degres de liberte dans . Le critere ICL
correspond au critere BIC penalise par l'entropie E de la
partition des couleurs :
ICL = BIC + 2E: (4)
Il a l'avantage d'e^tre plus robuste et plus realiste que BIC
car il selectionne moins de classes (voir la gure 2).
0 50 100 150 200 250
0
100
200
300
400
500
600
Niveaux de gris
n
*fr
eq
ue
nc
e
0 50 100 150 200 250
0
1
2
3
4
5
6
7
8
9
x 10−3
Niveaux de gris
D
en
si
te
Critere BIC
0 50 100 150 200 250
0
0.001
0.002
0.003
0.004
0.005
0.006
0.007
0.008
0.009
0.01
Niveaux de gris
D
en
si
te
Critere ICL
(a) (b) (c)
Fig. 2 { (a) une image, (b) les composantes gaussiennes
(trait n) et la densite melange (trait epais) obtenus avec
le critere BIC, (c) idem avec le critere ICL.
2.3 Extension a d'autres distributions
Jusqu'a present, nous avons utilise les histogrammes et
les melanges gaussiens uniquement pour approximer la
distribution des couleurs. Cependant, il est bien connu [5]
que les couleurs peuvent e^tre insusantes seules pour l'ap-
pariement, par exemple a cause de leur variabilite a des
changements de luminosite. Delaissant les methodes de
normalisation des couleurs (normalisation interne et/ou
externe) [4], nous proposons d'associer les couleurs a l'in-
formation spatiale apportee par l'orientation et/ou la nor-
me du gradient. Les histogrammes et les melanges gaus-
siens pourront ensuite approximer la distribution des cou-
leurs combinees a cette orientation et/ou a cette norme.
0 200 400 600 800 1000 1200 1400
0
500
1000
1500
Norm of gradient
Fr
eq
ue
nc
y
max
0 1 2 3 4 5 6 7
0
200
400
600
800
log(1+Norm of gradient)
Fr
eq
ue
nc
y
max
Fig. 3 { Distribution de la norme du gradient et de son
logarithme.
2.3.1 Orientation du gradient
Pour chaque pixel de l'image, l'orientation est calculee
sur le gradient (( Sobel )) de l'image en niveaux de gris
(me^me si l'image est en couleur) apres ltrage gaussien
d'ecart-type 0.5 et de masque 3 3.
2.3.2 Norme du gradient
La norme du gradient est calculee avec le me^me ltre.
Cependant la distribution de cette norme est, comme on
le voit sur la gure 3, peu uniformement distribuee sur le
support et peu gaussienne egalement. Ces deux particula-
rites sont genantes respectivement pour les histogrammes
et pour les melanges gaussiens.
Pour remedier a ces deux inconvenients, nous retenons
alors une fonction logarithmique de la norme : ln(1+norme).
Le resultat est visible sur la gure 3.
3 Experimentation
3.1 La sequence (( violetta ))
Pour la phase d'experimentation, nous considerons la
sequence des 97 personnages segmentes de la gure 4. Ces
images sont extraites de la sequence video (( violetta )).
Les personnages d'un me^me plan avec le me^me label sont
similaires mais il existe aussi des similarites entre plans
dierents. L'ensemble des similarites entre numero de per-
sonnages est : 3 avec 7, 4 avec 8, 6 avec 9, 10, 14 et 16, 12
avec 15.
3.2 Les signatures comparees
Nous indexons uniquement les 16 personnages designes
par (( LEARN )) sur cette gure ; ces personnages corres-
pondent au premier de chaque plan video.
De chaque personnage, huit descripteurs sont extraits :
1. gray : niveaux de gris ;
2. gray+orient : gray associe a l'orientation du gra-
dient (comme decrite a la section 2.3.1) ;
1
violetta2LEAR
N
1
violetta3
2
violetta4LEAR
N
2
violetta5
2
violetta6
2
violetta7
2
violetta8
2
violetta9
2
violetta10
2
violetta11
2
violetta12
2
violetta13
2
violetta14
2
violetta15
2
violetta16
3 4
violetta17LEAR
N
3 4
violetta18
3 4
violetta19
3 4
violetta20
5
violetta21
5
violetta22
5
violetta23
5
violetta24
56
violetta25LEAR
N
56
violetta26
56
violetta27
56
violetta28
56
violetta29
56
violetta30
7 8
violetta31LEAR
N
7 8
violetta32
7 8
violetta33
7 8
violetta34
7 8
violetta35
7 8
violetta36
9
violetta43LEAR
N
9
violetta44
9
violetta45
9
violetta46
9
violetta47
9
violetta48
9
violetta49
9
violetta50
10 11
violetta51LEAR
N
10 11
violetta52
10 11
violetta53
10 11
violetta54
10 11
violetta55
10 11
violetta56
10 11
violetta57
10 11
violetta58
10 11
violetta59
12
violetta69LEAR
N
12
violetta70
12
violetta71
12
violetta72
13
violetta73LEAR
N
13
violetta74
13
violetta75
13
violetta76
1415
violetta78LEAR
N
1415
violetta79
1415
violetta80
1415
violetta81
1415
violetta82
16
violetta83LEAR
N
16
violetta84
Fig. 4 { Images utilisees pour l'experimentation. Les ob-
jets de la base sont notes (( LEARN ))
3. gray+norm : gray associe a la transformee logarith-
mique de la norme du gradient (comme decrite a la
section 2.3.2) ;
4. gray+orient+norm : gray associe a orient et a norm ;
5. RGB : les trois couleurs ;
6. RGB+orient : RGB associe a orient ;
7. RGB+norm : RGB associe orient ;
8. RGB+orient+norm : RGB associe a orient et a norm.
L'indexation se fait en approximant la distribution de
chacun des huit descripteurs precedents soit par des histo-
grammes a 2 et 8 classes par canal, soit par des melanges
gaussiens. Dans ce dernier cas, le nombre de classes est
choisi automatiquement par BIC ou ICL dans une plage
de 1 a 6 pour les niveaux de gris et une plage de 1 a 8
pour les autres descripteurs. L'estimation des parametres
du melange se fait en initialisant l'algorithme CEM [2]
10 fois au hasard puis en lancant l'algorithme EM avec
les parametres initiaux fournis par la meilleure iteration
de l'algorithme CEM au sens du critere qu'il optimise.
Nous limitons ainsi la dependance de EM au choix des
parametres initiaux. Enn, l'estimation ne se fait qu'avec
gray gray+orient gray+norm gray+orient+norm10
0
101
102
103
Descriptors
N
um
be
r o
f p
ar
am
et
er
s
BIC
ICL
hist 2
hist 8
RGB RGB+orient RGB+norm RGB+orient+norm10
0
101
102
103
104
105
Descriptors
N
um
be
r o
f p
ar
am
et
er
s
BIC
ICL
hist 2
hist 8
Fig. 5 { Nombre moyen de parametres libres pour chacune
des methodes d'approximation et chacune des combinai-
sons de descripteurs.
10% des pixels choisis au hasard pour l'ensemble des des-
cripteurs, excepte les niveaux de gris, ceci pour limiter le
temps de calcul.
La gure 5 donne le nombre moyen de parametres libres
sur les 16 objets pour chacune des methodes.
3.3 Appariement avec les 16 objets indexes
Ensuite, les 97 imagettes sont tour a tour presentees
comme images reque^tes et les 16 imagettes de la base sont
classees par ordre d'appariement pour chacune d'entre
elles. Pour chacune des 97 imagettes, on deduit de ce clas-
sement le taux de bon appariement a un certain rang par le
rapport du nombre de bons appariements realises jusqu'a
ce rang et du nombre d'appariements idealement possibles
jusqu'a ce rang.
Dans le cas des histogrammes, l'ordre d'appariement
est ba^ti sur la distance du 
2
, Schiele [6] ayant montre
de meilleures performances qu'avec l'intersection d'histo-
grammes ou bien encore la distance quadratique. Cette
distance entre deux histogrammes de parametres respec-
tifs  et 
0
s'exprime par

2
(; 
0
) =

P
K
k=1
(p
k
  p
0
k
)
2
=(p
k
+ p
0
k
) si p
k
+ p
0
k
6= 0
0 sinon:
(5)
Dans le cas des melanges gaussiens, l'ordre d'apparie-
ment est ba^ti sur la probabilite conditionnelle Pr(BjR)
qu'un objet B de la base soit similaire a un objet reque^te
R. Cette probabilite est donnee par
Pr(BjR) =
Pr(RjB) Pr(B)
Pr(R)
: (6)
Supposant tous les objets de la base equiprobables a priori,
on obtient alors Pr(BjR) / Pr(RjB). Notant c
1
; : : : ; c
n
les
descripteurs (par exemple les couleurs) de R et
^
 l'index
de B, on pose
Pr(RjB) = f(c
1
; : : : ; c
n
j
^
) = expL(
^
); (7)
ce qui revient simplement a apparier R avec l'objet B dont
le parametre
^
 est le plus vraisemblable.
Les gures 6 et 7 donnent les taux de bons appariements
aux quatre premiers rangs pour les quatre premieres et les
quatre dernieres combinaisons de descripteurs respective-
ment.
gray gray+orient gray+norm gray+orient+norm50
55
60
65
70
75
80
85
90
95
100
Descriptors
M
at
ch
in
g 
ra
te
Rank number 1
BIC
ICL
hist 2
hist 8
gray gray+orient gray+norm gray+orient+norm50
55
60
65
70
75
80
85
90
95
100
Descriptors
M
at
ch
in
g 
ra
te
Rank number 2
BIC
ICL
hist 2
hist 8
gray gray+orient gray+norm gray+orient+norm50
55
60
65
70
75
80
85
90
95
100
Descriptors
M
at
ch
in
g 
ra
te
Rank number 3
BIC
ICL
hist 2
hist 8
gray gray+orient gray+norm gray+orient+norm50
55
60
65
70
75
80
85
90
95
100
Descriptors
M
at
ch
in
g 
ra
te
Rank number 4
BIC
ICL
hist 2
hist 8
Fig. 6 { Quatre premieres combinaisons de descripteurs :
taux de bon match pour les quatre premiers rangs pour
chacune des quatre approximations.
RGB RGB+orient RGB+norm RGB+orient+norm50
55
60
65
70
75
80
85
90
95
100
Descriptors
M
at
ch
in
g 
ra
te
Rank number 1
BIC
ICL
hist 2
hist 8
RGB RGB+orient RGB+norm RGB+orient+norm50
55
60
65
70
75
80
85
90
95
100
Descriptors
M
at
ch
in
g 
ra
te
Rank number 2
BIC
ICL
hist 2
hist 8
RGB RGB+orient RGB+norm RGB+orient+norm50
55
60
65
70
75
80
85
90
95
100
Descriptors
M
at
ch
in
g 
ra
te
Rank number 3
BIC
ICL
hist 2
hist 8
RGB RGB+orient RGB+norm RGB+orient+norm50
55
60
65
70
75
80
85
90
95
100
Descriptors
M
at
ch
in
g 
ra
te
Rank number 4
BIC
ICL
hist 2
hist 8
Fig. 7 { Quatre dernieres combinaisons de descripteurs :
taux de bon match pour les quatre premiers rangs pour
chacune des quatre approximations.
3.4 Analyse des resultats
Des gures 5, 6 et 7 il ressort les constatations sui-
vantes :
{ au rang 1, la combinaison de descripteurs n'ameliore
que peu les performances, voire les degrade. Pour les
rangs 2 a 4, la combinaison des descripteurs ameliore
plus souvent les performances. La raison est certai-
nement qu'au rang 1, le bon match se fait avec des
images du me^me plan et que l'information de couleur
ou de niveaux de gris susent. Au dessus du rang 1,
il s'agit de matcher avec des images similaires mais
dans d'autres plans et la combinaison facilite cela.
{ la norme du gradient semble e^tre une information
plus pertinente que son orientation. Comme corol-
laire, la combinaison avec la norme et l'orientation
est superue a la seule combinaison avec la norme.
{ les histogrammes a huit classes par axe sont souvent
meilleurs que les autres methodes mais, en grande
dimension, ils necessitent plus de parametres que les
melanges gaussiens et que les histogrammes a deux
classes. Par exemple, le rapport entre les melanges
gaussiens de ICL et les histogrammes a 8 classes
est d'un facteur 10 pour gray+orient+norm et d'un
facteur 256 pour RGB+orient+norm.
{ le critere BIC est legerement meilleur que ICL mais
ICL necessite un peu moins de parametres.
4 Conclusion
Indeniablement et principalement en grande dimension,
les melanges gaussiens permettent, par le choix automa-
tique du nombre de composantes, de reduire sensiblement
la taille de l'index par rapport aux histogrammes a 8
classes par axe. De plus le temps d'appariement est du
me^me ordre entre les deux methodes. Neanmoins, les his-
togrammes donnent souvent de meilleurs resultats que
dans le cas gaussien. Il est vrai que les gaussiennes ne
sont estimees que sur 10% des pixels d'une image, mais
sinon le temps de calcul de la signature devient prohibitif.
References
[1] C. Biernacki, G. Celeux, and G. Govaert. Assessing a
mixture model for clustering with the integrated clas-
sication likelihood. Rapport de recherche, INRIA,
1998.
[2] G. Celeux and G. Govaert. A Classication EM Al-
gorithm for Clustering and Two Stochastic Versions.
Computational Statistics & Data Analysis, 14:315{
332, 1992.
[3] A.P. Dempster, N.M. Laird, and D.B. Rubin. Maxi-
mum likelihood from incomplete data (with discus-
sion). Journal of the Royal Statistical Society, Series
B, 39:1{38, 1977.
[4] B.V. Funt and G.D. Finlayson. Color constant color
indexing. ieee Transactions on Pattern Analysis and
Machine Intelligence, 17(5):522{529, 1995.
[5] P. Gros, G. Mclean, R. Delon, R. Mohr, C. Schmid,
and G. Mistler. Utilisation de la couleur pour l'ap-
pariement et l'indexation d'images. Technical Report
3269, inria, September 1997.
[6] B. Schiele. Reconnaissance d'objets utilisant des his-
togrammes multidimensionnels de champs receptifs.
These de doctorat, gravir { imag { inria Rho^ne{
Alpes, July 1997.
[7] G. Schwarz. Estimating the dimension of a model.
Annals of Statistics, 6:461{464, 1978.
[8] M.J. Swain and D.H. Ballard. Color indexing. In-
ternational Journal of Computer Vision, 7(1):11{32,
1991.


Indexation et appariement d'images par modèle de mélange gaussien des couleurs

Abstract

Similar works

Full text

Available Versions

INRIA a CCSD electronic archive server

I-Revues

Hal - Université Grenoble Alpes