Dans cet article nous proposons une évolution de notre précédent travail sur l'optimisation multicritères de contours actifs. Cette approche permet une exploration globale de l'image et une gestion efficace de plusieurs énergies par la représentation de Pareto. Notre nouvel algorithme, le MultiObjective Genetic Snakes 2 (MGS2), associe l'algorithme multicritères NSGA2 [4] au codage des contours actifs des MGS [3]. Les MGS2 exploitent de nouvelles énergies d'attache à l'image afin d'assurer la convergence des contours vers un objet creux en environnement bruité à partir d'une initialisation aléatoire. Nous procédons ici à l'étude de ces énergies et à l'analyse de la convergence de l'algorithme à travers une série de tests sur une base d'objets synthétiques. Nous présenterons également des résultats de l'application de MGS2 à la lecture labiale

CLADEL, Nicolas

SEGUIER, Renaud

Cladel, N.

Seguier, Renaud

HAL-Univ-Nantes

MGS2 : Optimisation multicritères de contours actifs par algorithmes génétiques

HAL-Rennes 1

I-Revues

MGS2 : Optimisation multicrite`res de contours actifs par algorithmes
ge´ne´tiques
Nicolas CLADEL, Renaud SE´GUIER
´Equipe SCEE (Supelec - IETR)
Supelec, avenue de la boulaie, BP 81127, 35511 Cesson-Se´vigne´ Cedex, France
nicolas.cladel@supelec.fr, renaud.seguier@supelec.fr
Re´sume´ – Dans cet article nous proposons une e´volution de notre pre´ce´dent travail sur l’optimisation multicrite`res de contours actifs. Cette
approche permet une exploration globale de l’image et une gestion efficace de plusieurs e´nergies par la repre´sentation de Pareto. Notre nouvel
algorithme, le MultiObjective Genetic Snakes 2 (MGS2), associe l’algorithme multicrite`res NSGA2 [4] au codage des contours actifs des MGS
[3]. Les MGS2 exploitent de nouvelles e´nergies d’attache a` l’image afin d’assurer la convergence des contours vers un objet creux en environ-
nement bruite´ a` partir d’une initialisation ale´atoire. Nous proce´dons ici a` l’e´tude de ces e´nergies et a` l’analyse de la convergence de l’algorithme
a` travers une se´rie de tests sur une base d’objets synthe´tiques. Nous pre´senterons e´galement des re´sultats de l’application de MGS2 a` la lecture
labiale.
Abstract – We propose in this paper an evolution of our preceding work on the optimization multicriterion of active contours. This approach
allows a global analysis of the image and an efficient use of several energy. Our new algorithm, MultiObjective Genetic Snakes 2 (MGS2)
associates the multiobjective algorithm NSGA2 [4] the coding of active contours of the MGS [3]. The MGS2 exploit new energies of fastener to
the image in order to ensure the convergence of contours towards a hollow object in disturbed environment starting from a random initialization.
We carry out here the study of these energies and the analysis of the convergence of the algorithm through a series of tests on a basis of synthetic
objects. We will also have results of the application of MGS2 at the labial reading.
1 Introduction
Notre e´quipe s’inte´resse a` l’analyse d’images en environ-
nement re´el pour des applications telles que la visiophonie et
les interactions homme-machine. Nous nous focalisons dans
cette e´tude sur la segmentation de le`vres en environnement re´el.
Nous souhaitons eˆtre peu de´pendant des informations a` priori
sur la position des contours ou sur la teinte de l’objet. Compte
tenu de la variabilite´ de la forme des bouches inter et intra lo-
cuteurs, nous avons fait le choix de ne pas prendre en compte
un mode`le a` priori des contours recherche´s. Dans un soucis
de ge´ne´ralisation de l’application de notre algorithme, nous al-
lons e´tendre le domaine d’application du MGS2 a` d’autres ob-
jets. l’objectif de cette e´tude est donc l’extraction par contours
actifs d’objets similaires aux le`vres, c’est a` dire creux et peu
convexes, dans un environnement bruite´.
Le principe adopte´ est l’utilisation conjointe des e´nergies
de type re´gion et gradient afin d’obtenir une segmentation ef-
ficace en pre´sence de bruit important. Nous avions propose´
une telle approche de coope´ration e´nerge´tique [3] applique´e
aux contours actifs dans le cadre de la lecture labiale. Cette
me´thode donnait de bons re´sultats mais e´tait lente et complexe.
Nous en pre´sentons ici une ame´lioration en inte´grant le forma-
lisme des contours des MGS dans une structure ge´ne´tique mul-
ticrite`res simple et rapide, le NSGA2 [4]. Ces ame´liorations
nous permettent de ge´rer plus efficacement un plus grand nom-
bre d’e´nergies. Nous proposons e´galement de nouveaux poten-
tiels d’attache a` l’image que nous e´tudions a` travers des tests
sur une base d’objets synthe´tiques.
Cet article est de´coupe´ en trois parties. La premie`re concerne
l’adaptation des contours actifs aux algorithmes ge´ne´tiques, la
seconde les e´nergies propose´es et leur e´tude et la dernie`re de´crit
l’application des MGS2 a` la lecture labiale.
2 Algorithme Multiobjective Genetic
Snakes 2 (MGS2)
Cet algorithme associe le formalisme des contours actifs des
MGS [3] a` la structure ge´ne´tique multicrite`res NSGA2. Les
MGS permettent une exploration globale de l’image et une ges-
tion efficace de plusieurs potentiels. Nous allons rappeler ici le
codage et la de´formation des contours actifs que nous effec-
tuons dans MGS et MGS2.
Les double snakes sont repre´sente´s par un chromosome code´
sous la forme d’un tableau de dimension 2 × N , N e´tant le
nombre de nœuds d’un contour (figure 1). Un geˆne repre´sente
donc un nœud d’un contour et ne pourra prendre qu’un en-
semble de´fini de valeurs dans l’image [1]. Les double contours
de´coupent l’image en trois re´gions, la re´gion centre a` l’inte´rieur
du contour interne, la re´gion objet entre les contours interne et
externe, et la re´gion externe a` l’exte´rieur du contour externe.
Les contours ainsi mode´lise´s sont initialise´s ale´atoirement puis
FIG. 1 – Codage des contours
vont eˆtre modifie´s par les ope´rateurs ge´ne´tiques de croisement
et de mutation. La se´lection d’une suite de geˆnes revient a`
de´couper une portion du contour (figure 2-a). Le croisement
de deux contours P1 et P2 se traduit par l’e´change de portions
de contours (figure 2-b). Cette ope´ration est applique´e simul-
tane´ment aux contours interne et externe. La mutation d’un
geˆne implique le de´placement d’un nœud (figure 2-c).
FIG. 2 – De´formation des contours par ope´rateurs ge´ne´tiques
La repre´sentation de Pareto attribue un rang [4] a` chaque in-
dividu de la population en fonction de ses valeurs e´nerge´tiques.
Les MGS fournissent ainsi en fin de traitement un ensemble de
doubles contours potentiellement optimaux parmi lesquels un
individu optimal doit eˆtre se´lectionne´ en fonction des pre´fe´ren-
ces de l’utilisateur.
3 ´Energies
3.1 De´finition des descripteurs
La segmentation doit prendre en compte de manie`re coope´-
rative les e´nergies de type contour et de type re´gion. Nous tra-
vaillons sur quatre images pour caracte´riser l’objet a` extraire :
l’image originale de l’objet (figure 3-a) et deux images issues
des pre´-traitements effectue´s sur cette image originale. La pre-
mie`re est binaire (figure 3-b) et la seconde en niveaux de gris
repre´sente l’amplitude du gradient (figure 3-c). La quatrie`me
image repre´sente les contours oriente´s vis a` vis du centre de
l’image : les nœuds du contour externe sont attache´s aux pixels
noirs et ceux du contour interne aux pixels gris (figure 3-d).
Nous proposons trois types de descripteur :
FIG. 3 – Images sources.
– Un descripteur gradient (Dgradient) proportionnel a` l’am-
plitude du gradient le long des contours interne et externe
et au nombre de points contours appartenant aux courbes.
Ce descripteur tend vers 0 lorsque les doubles snakes sont
situe´es sur des pixels de forte amplitude gradient identifie´s
comme points contours :
Dgradient(C) = e
−
NbPtsContour(C)
NbPtsTotal(C)
 
{x,y}∈C
|∇Iorigine(x,y)|
avec :
– C = Cinterne
⋃
Cexterne
– NbPtsContour(C) : nombre de points contours apparte-
nant aux contours interne et externe.
– NbPtsTotal(C) : nombre de pixels appartenant au contour.
– Un descripteur variance (Dvariance relatif a` la variance
des re´gions de´crites par les contours interne et externe (fi-
gure 1) dans l’image originale. Ce descripteur tend ainsi
vers 0 lorsque la re´gion est homoge`ne.
Dvariance = σ
2(Ω) =
1
|Ω|
∫ ∫
Ω
(Iorigine(x, y)− µ(Ω))
2dxdy)
avec :
– |Ω| : taille de la re´gion Ω courante (objet ou centre).
– µ(Ω) : moyenne des niveaux de gris des pixels apparte-
nant a` la re´gionΩ.
– Un descripteur d’agre´gation (Dagregation) calcule´ a` par-
tir de l’image binaire et proportionnel au nombre de pixels
a` 0 ou a` 1 pre´sents dans les re´gions de´crites par les contours.
Des coefficients ponde´rateurs permettent de privile´gier l’aj-
out de pixels ayant le label de la re´gion voulue par rap-
port a` la suppression des autres pixels. Ce descripteur tend
ainsi vers 0 pour une re´gion constitue´e de nombreux pixels
de la re´gion recherche´e :
Dagregation(Ω) = NbPixelTotal −[
αagreg ·NbPixels
label(Ω)
Ω − αsup ·NbPixels
label(Ω)
Ω
]
avec :
– NbPixelTotal est le nombre total de pixels de l’image :
NbPixelTotal=hauteur.largeur .
– NbPixels
label(Ω)
Ω est le nombre de pixels ayant le label
label(Ω) dans la re´gion Ω.
– label(Ω) est le label associe´ aux re´gions d’inte´reˆt :
Ω label(
objet
centre
)
→
(
1
0
)
– Ω est le comple´mentaire Ω :
Ω Ω(
objet
centre
)
→
(
centre
objet
)
– αagreg et αsup sont des coefficients ponde´rateurs. Si
αagreg est supe´rieur a` αsup, l’agre´gation de pixels re´-
gion sera privile´gie´e a` la surpression des pixels non-
re´gion. Ces coefficients sont norme´s : αagreg +αsup =
1.
Les descripteurs de variance et d’agre´gation induisent des com-
portements comple´mentaires : la variance permet de tendre vers
une re´gion compacte homoge`ne alors que l’agre´gation va auto-
riser la segmentation d’une re´gion inte´grant du bruit.
3.2 ´Etude des configurations e´nerge´tiques
Nous allons ici e´tudier les diffe´rentes configurations d’e´ner-
gies possibles exploite´es par les MGS2. Pour de´terminer la
configuration optimale, nous testons notre algorithme sur une
base d’objets synthe´tiques. Cette base est constitue´e de diff-
e´rents objets et sources de bruits. Afin d’e´valuer la qualite´ de
la convergence induite par les configurations, nous calculons le
nombre de pixels diffe´rents (Ndiff ) entre la surface de l’objet
segmente´ et celle de l’objet re´el. La figure 4 montre l’e´volution
de cette valeur au cours du temps. Nous e´tudions ainsi la meill-
eure valeur (pointille´s), la valeur moyenne (semi-pointille´s) et
la valeur correspondant a` l’individu optimal (continu). Les re´s-
ultats de la segmentation sont pre´sente´s dans la figure 5.
Les configurations e´nerge´tiques possibles peuvent prendre
en compte cinq e´nergies : l’e´nergie gradient et les e´nergies
re´gion (variance ou agre´gation) applique´es aux re´gions de´finies
par le contour externe ou interne. Nous utilisons deux contours
de 28 nœuds chacun. L’objet a` segmenter est creux, situe´ au
centre de l’image(figure 3).
Nous avons teste´ les cinq e´nergies ensembles (figure 4-E1).
Les doubles snakes convergent vers une mauvaise segmenta-
tion car l’algorithme ge`re difficilement autant d’e´nergies. Pour
analyser l’influence des deux descripteurs de type re´gion, nous
avons choisi deux configurations e´nerge´tiques : la premie`re est
compose´e du gradient et de l’agre´gation applique´s aux re´gions
centre et objet (figure 4-E2), la seconde est de´finie a` partir
de E2 en remplac¸ant l’agre´gation par la variance (figure 4-
E3). Nous observons que les valeurs optimales vers lesquelles
tendent ces descripteurs au cours du temps ne correspondent
pas a` la segmentation cherche´e. Ainsi E2 guide les doubles
contours vers une re´gion homoge`ne restreinte (figure 5-R2) et
E3 vers une re´gion e´tendu au bruit voisin de l’objet (figure 5-
R3). Afin de pallier a` ces proble`mes nous rajoutons a` la confi-
guration E3, le descripteur de l’agre´gation applique´ au contour
externe (figures 4-E4 et 5-R4). Les double snakes convergent
bien vers l’objet et plus rapidement que que dans les autres
cas. La configuration e´nerge´tique que nous retiendrons est donc
compose´e de quatre e´nergies : le gradient, la variance applique´e
au contour interne, la variance sur le contour externe et l’agre´-
gation sur ce meˆme contour.
4 Application a` la lecture labiale
Nous allons maintenant pre´senter l’application des MGS2 a`
la lecture labiale [6]. Les MGS2 sont ici associe´s a` un ope´rateur
de contours actifs variationnels de´veloppe´ dans [1] et imple´-
mente´s en mode vide´o. Ces tests sont re´alise´s sur des se´quences
de prononciation de chiffres de la base M2VTS [5].
Le proce´de´ de lecture labiale mis en œuvre recherche un mot
unique dans une se´quence. La base d’images M2VTS est com-
pose´e de se´quences de chiffres prononce´es par dix personnes,
avec quatre se´quences par personne. Chaque se´quence est prise
a` une semaine d’intervalle. L’apprentissage est re´alise´ sur 3 se´-
quences et la reconnaissance est effectue´e sur la quatrie`me.
Chacun des chiffres prononce´ est associe´ a` une signature com-
pose´e d’informations sur la forme de la bouche, le nombre de
pixels labellise´s le`vres lors de pre´-traitements re´gion [3] et les
de´rive´es de chacun de ces parame`tres. Nous obtenons ainsi un
vecteur de huit coordonne´es pour chaque image. La classifi-
FIG. 4 – Courbes des tests e´nerge´tiques.
FIG. 5 – Contours des individus optimaux des tests
e´nerge´tiques.
cation du mot est re´alise´e par la me´thode du Dynamic Time
Warping.
Les informations sur la forme de la bouche (hauteur et lar-
geur des le`vres) sont extraits des contours segmente´s en mode
vide´o. Ce processus de segmentation exploite le MGS2 et un
ope´rateur de contours actifs [1] au cours de deux e´tapes. La
premie`re e´tape est une phase d’initialisation (figure 6) : MGS2
est applique´ sur la premie`re image de chaque se´quence et le
contour optimal obtenu est affine´ par l’algorithme de contours
actifs. La seconde e´tape est de type vide´o et utilise le re´sultat
de chaque image pour initialiser la segmentation par contours
actifs de l’image suivante (figure 7).
FIG. 6 – Exemples de segmentation d’images initiales de
se´quences de locuteurs
Nous obtenons ainsi 75% de bonne segmentation des images
initiales. Nous observons des imperfections au niveau des com-
missures des le`vres (E1-J2, figure 6). En effet les pixels appar-
tenant a` ces re´gions ne sont pas labellise´s le`vre en raison de
leur trop faible luminosie´ et sont donc rejete´s par l’algorithme.
FIG. 7 – Extrait d’une se´quence segmente´e en mode vide´o
Le temps moyen de segmentation de l’e´tape d’initialisation
est de 150 secondes sous matlab et celui de la seconde e´tape est
de 25 secondes par image.
Nous obtenons alors une moyenne de 69% de bonne clas-
sification sur les dix personnes de M2VTS. Nous avons ainsi
ame´liore´s nettement nos pre´ce´dents re´sultats qui e´taient de 58%
sur la premie`re personne. En effet, notre ancienne me´thode
n’e´tait pas assez robuste pour eˆtre applique´e sur les dix per-
sonnes.
5 Conclusion
Dans cet article nous avons pre´sente´ une nouvelle version de
l’algorithme MGS [3] effectuant une optimisation multicrite`res
de contours actifs par algorithmes ge´ne´tiques. Les MGS2 per-
mettent ainsi de segmenter plus rapidement un objet dans une
image bruite´e. Cet algorithme est e´galement plus simple a` pa-
rame´trer car il ne ge`re qu’une seule population de contours. Ces
ame´liorations nous permettent aussi de manipuler des contours
plus importants, 28 nœuds contre 8 pour les MGS.
Au cours de tests sur des objets synthe´tiques, nous avons
pu observer l’influence des e´nergies d’attache a` l’image sur la
convergence des contours actifs et de´terminer les parame`tres
e´nerge´tiques optimaux des MGS2. L’efficacite´ des MGS2 a e´te´
ve´rifie´e a` travers une application de lecture labiale.
Dans le cadre de travaux futurs, nous chercherons a` ame´liorer
la de´finition des e´nergies et a` appliquer les MGS2 a` l’extrac-
tion des contours cardiaques. Nous de´velopperons e´galement la
spe´cialisation des MGS2 aux contours labiaux afin d’acce´le´rer
la segmentation des le`vres pour la lecture labiale, notamment
par l’ajout de mode`les. Ces mode`les devront eˆtre suffisamment
flexibles pour s’adapter a` la variabilite´ de forme des le`vres.
Remerciements
Cette e´tude a e´te´ soutenue par la re´gion Bretagne.
Re´fe´rences
[1] N. Cladel et R. Seguier. Active contours multiobjective
optimisation by hybrid algorithms. Irish machine vision
and image processing (IMVIP), 2004.
[2] C.A. Coello Coello et G.T. Pulido. Multiobjective opti-
mization with a micro genetic algorithm. Proceedings of
the Genetic and Evolutionary Computation Conference
(GECCO’2001), Morgan Kaufmann Publishers,San Fran-
cisco, California, pp 274–28, 2001.
[3] Renaud Seguier et Nicolas Cladel. Multiobjectives Ge-
netic Snakes : Application on Audio-Visual Speech Re-
cognition. 4th EURASIP Conference focused on Vi-
deo, Image Processing and Multimedia Communica-
tions,Zagreb, Croatia, 2003.
[4] K. Deb. A fast elitist non dominated sorting genetic algo-
rithm for multiobjective optimization : NSGA II. Parallel
problem solving form nature - PPSN VI, Springer lecture
notes in computer science, pp. 849-858, 2000.
[5] S. Pigeon and L. Vandendrope. The M2VTS Multimodal
Face Database (Release 1.00). J. Bigun, G. Chollet, and
G. Borgefors eds., Audio- and Video-Based Biometric
Person Authentication, Springer, pp 403-409, 1997.
[6] P. DAUBIAS and P. DELEGLISE. Evaluation of an auto-
matically obtained shape and appearance model for au-
tomatic audio visual speech. Eurospeech, 2001.


https://hal.archives-ouvertes.fr/hal-00777364

MGS2 : Optimisation multicritères de contours actifs par algorithmes génétiques

Abstract

Similar works

Full text

Available Versions

HAL-Univ-Nantes

HAL-Rennes 1

I-Revues