Cet article propose une méthode de représentation de plans vidéo provenant d'une caméra mobile. L'approche est fondée sur les objets contenus dans la vidéo. Elle utilise une extraction des régions du premier plan capables de représenter des objets d'intérêt sémantiques. Cependant, les régions du premier plan extraites en chaque image par compensation de mouvement ne sont pas toujours représentatives de l'entité dont elles proviennent. Un filtrage et une classification de ces régions nous permet de retenir uniquement la plus représentative de chaque objet réel. C'est ce que nous appelons les objets-clés

BERTOLINO, Pascal

HUART, Jérémy

I-Revues

Extraction d’objets-cle´s pour l’analyse de vide´os
Je´re´my Huart, Pascal Bertolino
GIPSA-Lab, INPG-CNRS
ENSIEG, Domaine universitaire, Grenoble, France
jeremy.huart@gipsa-lab.inpg.fr, pascal.bertolino@gipsa-lab.inpg.fr
Re´sume´ – Cet article propose une me´thode de repre´sentation de plans vide´o provenant d’une came´ra mobile. L’approche est
fonde´e sur les objets contenus dans la vide´o. Elle utilise une extraction des re´gions du premier plan capables de repre´senter des
objets d’inte´reˆt se´mantiques. Cependant, les re´gions du premier plan extraites en chaque image par compensation de mouvement
ne sont pas toujours repre´sentatives de l’entite´ dont elles proviennent. Un filtrage et une classification de ces re´gions nous permet
de retenir uniquement la plus repre´sentative de chaque objet re´el. C’est ce que nous appelons les objets-cle´s.
Abstract – This paper discusses object-based representation of video shots acquired by mobile camera. Our approach uses an
extraction of foreground regions capable of representing semantic objects of interest. However, foreground regions, extracted by
motion compensation, are not always representative of the entity they stem from. A filtering and a clustering of these regions allow
us to retain only the most representative of each real object in the shot. These representations of quality are called key-objects.
1 Introduction
La description compacte du contenu d’une vide´o est ac-
tuellement une taˆche rendue difficile par la tre`s grande
quantite´ de donne´es qu’elle contient. Une repre´sentation
classique d’un plan peut eˆtre re´alise´e par une se´lection
approprie´e d’une ou plusieurs images-cle´s a` l’aide de cri-
te`res tels que la couleur, le mouvement, . . . Une synthe`se
des principales techniques pour l’extraction des images-
cle´s est disponible dans [1]. Re´cemment, quelques travaux
s’inte´ressent a` des repre´sentations fonde´es sur les objets
[2, 3, 4, 5]. Deux familles d’approches peuvent eˆtre distin-
gue´es : tout d’abord celles qui se´lectionnent dans le plan
les images dans lesquelles la recherche d’objets sera effec-
tue´e [2, 6]. La deuxie`me approche consiste a` extraire tout
au long du plan des re´gions cle´s afin de collecter de l’in-
formation sur ces re´gions et en de´duire une repre´sentation
du plan [7, 8, 4]. C’est dans cette seconde approche que
notre me´thode se positionne.
Dans notre approche, les re´gions sont tout d’abord gros-
sie`rement extraites par compensation du mouvement do-
minant. Ensuite une segmentation [9] re´alise´e uniquement
en pe´riphe´rie de ces re´gions permet d’obtenir des masques
raffine´s, correspondant bien aux contours ve´ritables de
l’objet re´el appele´ objet d’inte´reˆt par la suite (OI). No-
tons qu’une partie seulement de l’OI peut avoir un mou-
vement apparent. Il peut e´galement eˆtre partiellement ou
temporellement occulte´. Ainsi, il est souvent impossible
d’extraire dans chaque image un objet vide´o (VOP) to-
talement repre´sentatif de l’OI. Les re´gions extraites sont
donc souvent des sous-objets vide´os (S-VOPs) pas ne´ces-
sairement repre´sentatifs de l’OI (cf. fig. 1).
A partir d’une vide´o pre´alablement de´coupe´e en plans,
notre me´thode extrait un ensemble d’occurrences (ou S-
VOPs) pour chaque objet d’inte´reˆt (cf. fig. 2). L’occur-
rence la plus repre´sentative est appele´e objet-cle´. La chaˆıne
Fig. 1 – Exemple de S-VOPs extraits d’un OI non rigide
(plan-se´quence children) a` l’aide de notre me´thode
d’extraction d’un objet-cle´ se de´compose en plusieurs e´ta-
pes :
1. Extraction des S-VOPs
2. Rejet des S-VOPs de mauvaise qualite´
3. Classification couleur des S-VOPs : une classe par
S-VOP (S-VOP ge´ne´rateur)
4. Suppression dans chaque classe des S-VOPs dont la
trajectoire est non cohe´rente avec le S-VOP ge´ne´ra-
teur
5. Fusion des classes similaires pour obtenir une classe
par OI
6. Rejet des classes temporellement non significatives
7. Se´lection de l’objet-cle´ pour chaque classe
Chaque e´tape de ce proce´de´ peut eˆtre perc¸ue comme une
boˆıte noire fournie avec un nombre fini d’entre´es/sorties.
Ainsi, chaque boˆıte peut e´ventuellement eˆtre remplace´e
par une autre plus efficace ou de´die´e a` une application
donne´e. La section suivante de´taille ces diffe´rentes e´tapes.
Colloque GRETSI, 11-14 septembre 2007, Troyes 93
Fig. 2 – Exemple de traitement utilisant notre me´thode.
En haut a` gauche : montage de 3 images pour donner un
aperc¸u du plan. En haut a` droite : l’objet-cle´ extrait. En
bas : quelques S-VOPs extraits
2 La chaˆıne d’extraction des ob-
jets-cle´s
2.1 Extraction de l’ensemble des S-VOPs
L’extraction des S-VOPs peut eˆtre obtenue avec toute
technique qui fournit pour chaque image un ensemble de
masques d’entite´s en mouvement. Nous utilisons une tech-
nique rapide qui calcule un mode`le de mouvement global
parame´trique par image [10], couple´e avec une segmenta-
tion raffine´e du contour des objets [9]. Cette e´tape fournit
pour chaque image du plan un ensemble (e´ventuellement
vide) de masques (S-VOPs) dont les contours ont pour
but d’eˆtre fide`le a` la forme des objets. Notons qu’ici, au-
cun suivi d’objet n’est re´alise´.
2.2 Rejet des S-VOPs de mauvaise qualite´
Les S-VOPs non repre´sentatifs d’un OI sont supprime´s
de l’ensemble des S-VOPs. Le rejet est fonde´ sur 2 cri-
te`res (de´taille´s dans les paragraphes suivants) : le premier
fait l’hypothe`se qu’un S-VOP de qualite´ a une forme com-
pacte, alors que le second requiert une bonne correspon-
dance entre le bord du S-VOP et les contours de l’OI.
2.2.1 Compacite´ : une caracte´ristique discrimi-
nante
L’extraction d’objet en mouvement est souvent sujet
aux « fuites » de l’objet vers le fond. Les re´gions re´sul-
tantes sont alors fines et/ou allonge´es et donc peu com-
pactes. La compacite´ C d’un S-VOP s est donne´e par le
facteur de forme :
C(s) =
Perimetre(s)2
4Π× Surface(s)
(1)
C ∈ [1, ∞]. Dans la majorite´ des plans traite´s, nous avons
observe´ un mode principal pour une valeur de C proche de
1 repre´sentant des re´gions compactes. Un seuil empirique
fixe´ a` 2.5 permet d’exclure les S-VOPs peu compacts.
2.2.2 E´valuation de la qualite´ des contours
La qualite´ Q d’un S-VOP s est donne´e par le degre´
de recouvrement entre le contour de son masque et les
contours de l’OI : Soit z le contour e´pais de s et e les
contours obtenus par un seuillage adaptatif du gradient
de Sobel dans l’image originale1 :
z(s) = Dilatationǫ(s) \ Erosionǫ(s) (2)
ǫ est un e´le´ment structurant de rayon e´gal a` quelques
pixels (typiquement 6). s est rejete´ lorsque Q(s) < T . T
est obtenu adaptativement a` l’aide d’une mode´lisation par
une Gaussienne de la distribution des Q(s).
Q(s) =
card(e ∈ z(s))
Surface(z(s))
(3)
(a) Image ori-
ginale
(b) Gradient
seuille´
(c) S-VOP (d) e (en
blanc) et z (en
noir)
Fig. 3 – Mesure de qualite´ d’un S-VOP par recouvrement
du masque et des contours
2.3 Classification couleur des S-VOPs
Le but est de re´partir les n S-VOPs extraits enm classes
(en ge´ne´ral, n≫ m) repre´sentant les m OI. Comme m est
a priori inconnu, une classification en 2 e´tapes sur la cou-
leur est utilise´e : n classes couleur sont construites, chaque
classe comprenant initialement un S-VOP (appele´ S-VOP
ge´ne´rateur). Pour chaque classe, tous les S-VOPs simi-
laires en couleur au S-VOP ge´ne´rateur sont rajoute´s a` la
classe. La similarite´ est calcule´e sur le recouvrement de
me´langes de Gaussiennes mode´lisant la distribution cou-
leur des S-VOPs.
Afin de quantifier ce recouvrement nous utilisons un
crite`re pre´sente´ dans [11] : 2 Gaussiennes N (µ1,Σ1) et
N (µ2,Σ2) sont c-se´pare´es si :
‖µ1 − µ2‖ > c ·
√
2 ·max(λmax(Σ1), λmax(Σ2)) (4)
Avec λmax(Σ1) et λmax(Σ2) les valeurs singulie`res les
plus e´leve´es des matrices de covariance Σ1 et Σ2.
2 Gaussiennes 1-se´pare´es ou 1/2-se´pare´es se recouvrent
significativement. Ce recouvrement permet de comparer
les me´langes de Gaussiennes. Soient mi et mj , 2 me´langes
de Gaussiennes mode´lisant si et sj . mi est inclus dans mj
si et seulement si chaque Gaussienne de mi est au moins
1-se´pare´e d’une des Gaussiennes de mj . Si une inclusion
est ve´rifie´e entre mi et mj alors si et sj sont regroupe´s
dans la meˆme classe couleur. L’utilisation de l’inclusion
de me´langes permet de regrouper dans une meˆme classe
1A \ B = {x ∈ A et x /∈ B} .
94
les S-VOPs provenant de diffe´rentes sous-parties d’un OI
ayant des couleurs communes.
2.4 Controˆle de trajectoire
Afin de prendre en compte l’information spatio-tempo-
relle au sein de chaque classe, les S-VOPs dont la trajec-
toire n’est pas compatible avec celle construite a` partir du
S-VOP ge´ne´rateur sont supprime´s. Cette contrainte per-
met de diffe´rencier facilement des objets similaires en cou-
leur ayant des trajectoires croise´es ou des objets qui ont
des trajectoires identiques mais a` des moments diffe´rents.
La trajectoire est calcule´e en utilisant la position et le
mouvement compense´ du centre de gravite´Gref du S-VOP
de re´fe´rence sref . Le controˆle consiste a` rechercher ite´rati-
vement le S-VOP correspondant dans les images voisines
de la re´fe´rence. La toute premie`re re´fe´rence est le S-VOP
sgen. La recherche est effectue´e dans chaque image du plan
en 2 e´tapes : de sgen a` la fin du plan, ensuite de sgen au
de´but du plan. La recherche est faite dans une feneˆtre cir-
culaire centre´e sur la projection Gref = (x, y) ayant la
vitesse ~V = (dx, dy) :
proj(Gref ) = (x+ dx, y + dy) (5)
Un candidat si(t) est temporellement cohe´rent avec la
trajectoire de sref si et seulement si :
‖GSref −GSi(t)‖ 6 r et
〈
~Vsref ·
~Vsi(t)
〉
≥ 0 (6)
Avec r le rayon de la feneˆtre de recherche relative au
rayon de sgen. Dans l’e´quation 6, la premie`re condition
assure la cohe´rence spatiale et la seconde assure la confor-
mite´ entre les directions du mouvement des deux S-VOPs.
Dans une image donne´e, la recherche est effectue´e selon les
re`gles suivantes :
1. si aucun S-VOP n’a son centre de gravite´ inclus dans
la feneˆtre de recherche, la recherche continue dans
l’image suivante. La position de la feneˆtre est mise
a` jour avec le vecteur mouvement de sref .
2. si seulement un S-VOP ve´rifie les conditions de l’e´qua-
tion 6, celui-ci appartient de´finitivement a` la classe
et devient la nouvelle re´fe´rence sref .
3. si plusieurs S-VOPs ve´rifient les conditions de l’e´qua-
tion 6, ils sont tous conserve´s dans la classe. Le
centre de gravite´ de l’ensemble devient le nouveau
Gref et ~Vsref correspond a` la moyenne des vitesses.
4. chaque S-VOP dont le centre de gravite´ est exte´rieur
a` la feneˆtre de recherche est exclu de la classe.
2.5 Fusion hie´rarchique des classes
Les n classes sont ici conside´re´es comme des ensembles.
Des classes incluses entre elles ou dont l’intersection en
terme de nombre d’e´le´ments est importante doivent eˆtre
fusionne´es : la fusion commence par la construction d’un
dendrograme (i.e. une classification hie´rarchique) dans le-
quel les classes fusionnent ite´rativement deux a` deux pour
n’en donner finalement plus qu’une (fig. 4). A chaque ite´ra-
tion, seule la fusion de moindre couˆt (concernant les deux
classes les plus similaires) est re´alise´e.
Fig. 4 – Exemple de dendrogramme construit a` partir de
6 classes couleur
Le couˆt d’une fusion peut eˆtre e´value´e selon l’intersec-
tion entre deux classes du point de vue de la the´orie en-
sembliste. Soit δ la dissimilarite´ entre 2 classes c1 et c2
ve´rifiant |c2| ≤ |c1| :
δ =
|c2 \ c1 ∩ c2|
|c2|
(7)
δ = 1 lorsque l’intersection est vide. δ = 0 lorsque c2 ⊂ c1.
Soit c3 = c1 ∪ c2. La dissimilarite´ entre la classe c3 et la
classe c est donne´e par l’expression suivante :
δ(c3, c) = min[δ(c1, c), δ(c2, c)] (8)
Le de´coupage final en classes (ide´alement une classe par
OI) est obtenu en scindant le dendrogramme selon une
classification des dissimilarite´s. L’objectif est de maximi-
ser l’inertie entre les deux ensembles Ei et Fi : avec Ei
l’ensemble des dissimilarite´s faibles (≥ 0 et < i) et Fi
l’ensemble des dissimilarite´s fortes (≥ i et < 1, les dis-
similarite´s supe´rieures a` 1 sont exclues puisqu’elles tra-
duisent des classes totalement disjointes). SoitD = Ei∪Fi.
mD,mEi ,mFi sont les moyennes de D,Ei, Fi. L’inertie est
alors donne´e par :
Ii = wed(mEi ,mD)
2 + wfd(mFi ,mD)
2 (9)
Ou` we = |Ei|, wf = |Fi| et d est la distance Euclidienne.
La meilleure partition est obtenue avec la valeur i qui
maximise l’inertie :
T = argmax
i
(Ii) (10)
2.6 Suppression de classes non significa-
tives
Enfin, nous proposons d’exclure les classes qui ne sont
pas temporellement significatives : une classe contient des
S-VOPs dont la premie`re et la dernie`re apparition sont
dans les images note´es idebut et ifin. Ceci induit la dure´e
(en nombre d’images) et la persistance (taux d’apparition)
de la classe. On e´met l’hypothe`se selon laquelle un OI est
pre´sent dans un plan pendant une dure´e significative ∆ =
ifin − idebut et est extrait p% du temps. ∆ et p sont fixe´s
empiriquement et permettent de valider ou d’exclure les
classes. Il a e´te´ choisi ∆ = 50 i.e. 2 secondes et p = 20%.
Colloque GRETSI, 11-14 septembre 2007, Troyes 95
Fig. 5 – Les 12 objets-cle´s extraits de la vide´o Chavant.
A gauche : les images originales. A droite : les objets-cle´s
2.7 Selection des objets-cle´s
A ce stade, chaque classe est suppose´e contenir plusieurs
S-VOPs relatifs a` un OI. Le S-VOP ayant la meilleure
qualite´ de sa classe c (cf. l’e´quation 3) est conside´re´ comme
l’objet-cle´. Plus pre´cise´ment, l’objet-cle´ est le S-VOP qui
maximise cette qualite´ dans un sous-ensemble ĉ de c. ĉ est
obtenu de la fac¸on suivante : comme Q (cf. e´quation 3) est
un pourcentage, les petits S-VOPs sont privile´gie´s. Pour
e´viter ce biais, on estime l’intervalle le plus repre´sentatif
des surfaces de c : c est divise´e a` l’aide de l’algorithme des
k-moyennes en 3 sous-ensembles disjoints correspondant
aux surfaces des S-VOPs : petites, moyennes et grandes.
ĉ est le sous-ensemble qui donne la qualite´ moyenne Q la
plus e´leve´e.
3 Re´sultats
La me´thode pre´sente´e permet une extraction quasiment
exhaustive et de bonne qualite´ des objets-cle´s. La vide´o
Chavant (fig. 5) montre un carrefour filme´ avec une ca-
me´ra tenue a` la main qui effectue un panoramique et un
(de-)zoom. Le plan dure 18 secondes (soit 540 images de
taille 424×240). Visuellement, on y compte clairement 14
OI en mouvement. 12 objets-cle´s correspondant a` 12 OI
ont e´te´ extraits. Parmi eux, 6 voitures qui sont de cou-
leur gris me´tallise´ et 2 pie´tons. Les 2 OI qui n’ont pas
e´te´ de´tecte´s sont 2 voitures blanches qui ne sont apparues
que pendant trop peu d’images et qui ont donc ge´ne´re´ des
classes temporellement non significatives. Sur un proces-
seur Intel P4 a` 2.8Ghz, l’extraction des S-VOPs (premie`re
e´tape) prend 20mn alors que les autres e´tapes prennent
10 sec. Pour conclure, notons que la me´thode n’est pas
sensible aux occultations ni aux changement d’e´chelle des
objets d’inte´reˆt. Ces objets-cle´s peuvent eˆtre utilise´s dans
de nombreuses applications qui ne´cessitent de connaˆıtre
une ou plusieurs re´fe´rences de chaque objet, comme c’est
le cas dans le suivi d’objets (fig. 6).
Re´fe´rences
[1] Y. Li, T. Zhang, and D. Tretter, “An overview of
video abstraction techniques,” HP, July 31st 2001.
[2] J.-H Oh, J. Lee, and E. Vemuri, “An efficient tech-
nique for segmentation of key object(s) from video
(a) Re´sume´ qui montre les images importantes du plan. En vert,
l’objet-cle´, en bleu les vues-cle´s, en rouge la zone d’occultation
(b) Quelques e´chantillons du suivi obtenu
Fig. 6 – Suivi controˆle´ par un objet-cle´ et des vues-cle´s
shots,” in ITCC ’03 : Proceedings of the International
Conference on Information Technology : Computers
and Communications, Washington, DC, USA, 2003,
p. 384, IEEE Computer Society.
[3] A. Ekin, A. Murat Tekalp, and R. Mehrotra, “Object-
based video description : From low level features to
semantics,” in SPIE conf. on Storage and Retrieval
for Media Databases, San Jose, CA, pp. 362-372, Jan.
2001, pp. 362–372.
[4] C. Kim and J. Hwang, “Object-based video abstrac-
tion for video surveillance systems,” IEEE Transac-
tions on Circuits and Systems for Video Technology,
vol. 12 (12), December 2002.
[5] H. Xu, A. A. Younis, and M. R. Kabuka, “Automatic
moving object extraction for content-based applica-
tions.,” IEEE Trans. Circuits Syst. Video Techn., vol.
14, no. 6, pp. 796–812, 2004.
[6] X. Song and G. Fan, “Key-frame extraction for
object-based video segmentation,” in Proc. of the
IEEE International Conference on Acoustics, Speech
and Signal Processing (ICASSP2005), Philadelphia,
PA, March 2005.
[7] J. Ruiz Hidalgo and P. Salembier, “Robust segmenta-
tion and representation of foreground key-regions in
video sequences,” in Proc. IEEE Internat. Conf. on
Acoustic, Speech Signal Process. (ICASSP’01), 2001.
[8] J. Calic and B. Thomas, “Spatial analysis in key-
frame extraction using video segmentation,” inWork-
shop on Image Analysis for Multimedia Interactive
Services, April 2004.
[9] J. Huart, G. Foret, and P. Bertolino, “Moving object
extraction with a localized pyramid,” in International
Conference on Pattern Recognition, Cambridge, UK,
august 2004.
[10] S. Liu, Z. Yan, J. Kim, and C.-C. Jay Kuo, “Glo-
bal/local motion-compensated frame interpolation
for low-bit-rate video,” Proceedings of SPIE, vol.
3974, pp. 223–234, april 2000.
[11] S. Dasgupta, “Learning mixtures of gaussians,” in
FOCS ’99 : Proceedings of the 40th Annual Sympo-
sium on Foundations of Computer Science, Washing-
ton, DC, USA, 1999, p. 634, IEEE Computer Society.
96


Extraction d'objets-clés pour l'analyse de vidéos

National audienceCe papier traite d'une représentation fondée sur les objets du contenu d'un plan vidéo. Durant le plan, notre approche extrait toutes les régions du premier plan qui ont un mouvement apparent propre. Ces régions appelées S-VOPs (sous-objets vidéos) sont de qualité très variables. Une chaîne de traitement générique permet de ne conserver que les S-VOPs représentatifs. Une étape de classification permet de regrouper les S-VOPs par rapport aux objets d'intérêt du plan. Enfin, pour chaque objet d'intérêt, un S-VOP est choisi pour sa représentativité. C'est l'objet-clé qui peut servir à de nombreuses applications de haut niveau, notamment du suivi d'objet indépendant de problèmes d'occultation

Huart, Jérémy

Bertolino, Pascal

Hal - Université Grenoble Alpes

http://documents.irevues.inist.fr/bitstream/2042/17450/1/GRETSI_2007_93.pdf

Extraction d'objets-clés pour l'analyse de vidéos

Abstract

Similar works

Full text

Available Versions

I-Revues

Hal - Université Grenoble Alpes