Dans cet article, nous présentons une méthode de suivi de joueurs de football où les joueurs sont modélisés par des contours actifs évalués après classification couleur de chaque pixel. La position de chaque joueur extrait des images d'un match peut ainsi être déterminée sauf si ce joueur est caché par un adversaire. Dans ce cas, la reconnaissance de l'équipe des joueurs par classification des pixels permet le suivi automatique de chacun d'eux. Cet algorithme utilise un apprentissage supervisé basé sur une analyse colorimétrique des tenues des joueurs

MACAIRE, Ludovic

VANDENBROUCKE, Nicolas

VIEREN, Christophe

I-Revues

SEIZIÈME COLLOQUE GRETSI — 15-19 SEPTEMBRE 1997 — GRENOBLE 917
Suivi automatique de personnes en mouvement par analyse d’images
couleurs successives.
Application au suivi de joueurs de football.
Nicolas Vandenbroucke .1/, Ludovic Macaire .2/ et Christophe Vieren .2/
.1/Ecole des Mines de Douai
Centre de Recherche de Dorignies, Productique
59500 Douai Dorignies, France
.2/Centre d’Automatique de Lille
USTL, Cité Scientifique, Bâtiment P2
59655 Villeneuve d’Ascq cedex, France
RÉSUMÉ
Dans cet article, nous présentons une méthode de suivi de joueurs
de football où les joueurs sont modélisés par des contours actifs
évalués après classification couleur de chaque pixel. La position
de chaque joueur extrait des images d’un match peut ainsi être
déterminée sauf si ce joueur est caché par un adversaire. Dans ce cas,
la reconnaissance de l’équipe des joueurs par classification des pixels
permet le suivi automatique de chacun d’eux. Cet algorithme utilise
un apprentissage supervisé basé sur une analyse colorimétrique des
tenues des joueurs.
ABSTRACT
In this paper, we present a soccer player tracking method where
the players are modelized by active contours evaluated after color
classification of each pixel. The position of each player extracted
from images of a match can be so determined except if this player
is hidden by another one. In this case, the recognition of the players
team by pixels classification allows the automatic tracking of each of
them. This algorithm uses a supervised learning scheme based on the
colorimetric analysis of the players soccer suits.
1 Introduction
Un match de football comporte de tels enjeux économiques
que les entraineurs veulent disposer d’un maximum d’in-
formations sur son déroulement afin d’affiner leur stratégie.
Quelques auteurs se sont ainsi proposés de concevoir des sys-
tèmes d’analyse d’images d’un match de football retransmises
par une chaîne de télévision et enregistrées sur une bande vi-
déo [3, 9].
Nous présentons un système qui suit automatiquement chaque
joueur à partir d’ images couleurs successives acquises par une
caméra fixe visant le terrain de football. Ainsi, il sera pos-
sible d’évaluer des statistiques sur le comportement de chaque
joueur.
Un joueur, extrait dans l’image par un algorithme décrit ul-
térieurement, est modélisé par un modèle de contour actif ou
snake. Chaque contour actif est mis à jour au fil des images
dans le but de déterminer le mouvement des joueurs [8].
Quand, lors d’une séquence d’images, un joueur est caché par
un autre dans le champ de la caméra, leur modélisation par
contours actifs n’est plus possible et nécessite alors une réini-
tialisation interactive. Dans la majorité des cas, deux joueurs
en contact n’appartiennent pas à la même équipe. C’est pour-
quoi, afin d’affecter automatiquement chaque contour actif à
un joueur, nous proposons qu’ils soient évalués après classifi-
cation couleur des pixels selon deux classes correspondant à
chacune des deux équipes [7].
En vue de la détection des défauts de surface de bois, Adel
[1] et Brunner [2] recherche le système de représentation de
la couleur le plus discriminant. Nous proposons de déterminer
automatiquement, parmi un ensemble de systèmes de repré-
sentation, les trois composantes qui discriminent le mieux les
deux équipes. Ces trois composantes forment un « espace cou-
leur hybride ». Dans une première partie, nous décrivons l’ap-
prentissage supervisé grâce auquel nous déterminons l’espace
couleur hybride pour un match donné. Puis, nous détaillons,
dans une deuxième partie, l’algorithme de classification des
pixels dans cet espace. Les résultats sont exploités par une mé-
thode de suivi des joueurs à partir de contours actifs décrite
dans la troisième partie. Enfin, nous présentons des résultats
dans la dernière partie afin d’illustrer notre démarche.
2 L’apprentissage supervisé
Dans un premier temps, nous dissocions les pixels repré-
sentant la pelouse de ceux représentant les joueurs : les « pixels
joueurs ». Afin de modéliser la pelouse, nous sélectionnons
de façon interactive dans une image d’apprentissage une fe-
nêtre de pelouse notée W . Puis, différentes fenêtres conte-
918
nant uniquement les pixels joueurs d’un seul joueur sont sélec-
tionnées interactivement sur l’image d’apprentissage segmen-
tée. Ces « fenêtres joueurs » contiennent donc des pixels qui
sont des prototypes de chacune des deux classes, à savoir les
deux équipes. L’analyse colorimétrique de leurs tenues permet
de déterminer l’espace couleur hybride formé des trois com-
posantes chromatiques apportant la meilleure séparation des
deux classes en présence. Enfin, nous spécifions les attributs
colorimétriques des deux classes.
2.1 Extraction des pixels joueurs
Dans la fenêtre W , les histogrammes des composantes
chromatiques rouge et verte normalisées, notées r et g, sont
unimodaux. De cette façon, nous pouvons déterminer quatre
seuils correspondant aux limites droites et gauches des modes
des deux histogrammes.
Pour tout pixel P.x; y/ 2 W , nous calculons :
le seuil bas de la composante r : Srl D min

r.x; y/

.
le seuil haut de la composante r : Srh D max

r.x; y/

.
le seuil bas de la composante g : Sgl D min

g.x; y/

.
le seuil haut de la composante g : Sgh D max

g.x; y/

.
Pour chaque image de la séquence, la segmentation est ensuite
réalisée dans le plan chromatique .r; g/ selon la règle de déci-
sion suivante :
Soit un pixel P.x; y/ : si r.x; y/ 62 Srl ; Srh et g.x; y/ 62
Sgl ; S
g
h

, alors le pixel P.x; y/ est un pixel joueur.
Si la pelouse est uniforme, la sélection d’une seule fenêtre est
suffisante à la segmentation des images couleurs. Par contre,
si elle présente des dégradations, des ombres, des variations
de couleurs, etc, alors nous sélectionnons autant de fenêtres
pelouse que celle-ci présente d’aspects différents.
2.2 Détermination de l’espace couleur hybride
Une image couleur numérisée issue du système .R;G; B/
peut être convertie vers d’autres systèmes afin d’en dégager
de nouvelles caractéristiques. Pour notre étude, nous retenons
un ensemble de systèmes les plus couramment utilisés [5] : le
système de couleurs normalisées .r; g; b/, le système de per-
ception de la couleur humain .I; H; S/, les systèmes de co-
ordonnées couleurs de la CIE .X;Y; Z/ et .x; y; z/, les sys-
tèmes couleurs uniformes de la CIE .L; a; b/, .L; u; v/
et leurs systèmes dérivés .Luv;C

uv; h

uv/, .L

ab;C

ab; h

ab/ et
.Luv; S

uv; h

uv/, le système d’Otha .I1; I2; I3/, celui de Fau-
geras .A;C1;C2/ et les systèmes de coordonnées couleurs
pour les signaux de télévision .Y; I; Q/ et .Y;U; V /. Dans cet
ensemble de systèmes de représentation de la couleur, nous
voulons déterminer les trois composantes les plus discrimi-
nantes vis-à-vis des deux classes en présence selon le match
considéré. Pour cela, nous établissons les notations suivantes :
Soient C1 et C2, les deux classes de pixels joueurs qui corres-
pondent respectivement aux équipes 1 et 2.
Soit !i; j , une fenêtre joueur sélectionnée interactivement sur
l’image d’apprentissage segmentée où i indique le numéro
de la fenêtre et j le numéro de l’équipe.  , l’ensemble de
ces fenêtres est l’union de  1 et  2, les ensembles respec-
tifs des fenêtres joueurs !i;1 et !i;2. Nous sélectionnons le
même nombre N =2 de fenêtres joueurs pour l’équipe 1 et
pour l’équipe 2.
Soit 5 D .R, G, B , r , g, b, I , H , S, X , Y , Z , x , y, z, L, a,
b, u, v, I2, I3, A, C1, C2, Y , I , Q, U , V , Cuv , h

uv , S

uv ,
Cab, h

ab/, l’espace multidimensionnel défini par l’ensemble
des composantes formant les systèmes couleurs présentés pré-
cédemment. Un pixel joueur P.x; y/ est représenté par un
point dans l’espace 5 dont la ki Jeme coordonnée est k.x; y/.
Les points dans 5 associés aux pixels joueurs extraits d’une
fenêtre joueur !i; j 2   j sont considérés comme un sous-
nuage, noté SCi; j . Le nuage de points de la classe C j est alors
défini en groupant les N =2 sous-nuages SCi; j correspondant
aux N =2 fenêtres joueurs de  j .
Soit P!i; j l’ensemble des pixels joueurs d’une fenêtre joueur
!i; j 2   j , nous calculons les moyennes des pixels joueurs
selon chaque composante k.x; y/ :
mk!i; j D
X
P.x;y/2P!i; j
 
k.x; y/
card.P!i; j /
!
(1)
m
k
!i; j
représente la ki Jeme coordonnée du centre de gravité du
nuage SCi; j évalué avec une pondération selon la fonction de
densité de chaque point dans la fenêtre !i; j .
Dans le but d’évaluer le pouvoir discriminant de chacune des
composantes couleurs de l’espace 5, nous évaluons D
k
min , la
différence minimum entre les ki Jeme coordonnées des centres
d’un couple de sous-nuages de classes différentes :
D
k
min D min
mk!i;1 Ä mk!i0 ;2  (2)
où i et i 0 varient de 1 à N =2. De même, nous calculons D
k
max ,
pour un couple de sous-nuages d’une même classe.
D
k
max D max
mk!i; j Ä mk!i0 ; j  (3)
Finalement, le pouvoir discriminant de chacune des compo-
santes couleur est issu du critère Dk D Dkmin Ä D
k
max .
Sa valeur maximale indique la composante chromatique la
plus discriminante. Un nouvel espace couleur hybride appelé
.1; 2; 3/ réunit les trois composantes les plus discrimi-
nantes.
2.3 Les attributs des classes
Pour chaque classe C j , nous déterminons trois attributs
noté M
1
j , M
2
j , M
3
j . Ce sont les trois moyennes, évaluée selon
chaque composante de l’espace couleur hybride .1; 2; 3/,
de tous les pixels joueurs appartenant à toutes les fenêtres !i; j .
M
k
j D
2
N 

iDN =2X
iD1
mk!i; j (4)
3 Classification des pixels joueurs
La méthode proposée classe les pixels joueurs d’une image
couleur préalablement segmentée selon la règle de décision
vue au paragraphe 2.1. La classification est basée sur une
distance spécifique évaluée dans l’espace couleur hybride
entre un pixel joueur et les attributs d’une classe.
919
3.1 Distance spécifique entre un pixel joueur et
les attributs d’une classe
De l’image d’apprentissage, nous retenons, pour chacune
des deux classes C j , une fenêtre joueur !0; j 2   j . Dans
chacune d’elles, nous définissons une région RE j , constituée
par les pixels joueurs de !0; j et un centre de gravité G j , le
centre de !0; j . La région RE j peut être interprétée comme
une forme générique des joueurs de l’équipe j dans les images
couleurs. Pour tout pixel joueur P.x; y/ d’une image à analy-
ser, nous évaluons la région d’intersection REI entre RE j et
REP , région de centre P.x; y/ constituée des pixels joueurs
de l’image. La région RE j est alors translatée de sorte que
son centre de gravité coïncide avec le pixel joueur P.x; y/ (cf.
figure 1).
REj REI
REP
P(x,y)G j
Fenêtre joueur ω 0, j Image courante
FIG. 1 — Région d’intersection
Nous définissons alors, dans la région REI de surface S.REI /,
la distance D j .x; y/ entre les valeurs k.x; y/ des compo-
santes de l’espace couleur hybride du pixel joueur P.x; y/ et
les attributs de la classe C j :
D j .x; y/ D
1
3

kD3X
kD1
0@Mkj Ä
X
P.x;y/2REI
k.x; y/
S.REI /

1A (5)
3.2 Règle de décision
Pour chaque pixel joueur P.x; y/, la règle de décision est
basée sur la comparaison entre les deux distances correspon-
dant aux deux classes. Selon le résultat de la comparaison, le
pixel joueur est assigné à l’une ou à l’autre des deux classes.
Deux images I1 et I2, correspondant aux équipes 1 et 2 sont
alors créées de la façon suivante :
Si D1.x; y/ < D2.x; y/ alors P.x; y/ 2 C1, I1.x; y/ D 1 et
I2.x; y/ D 0.
Si D1.x; y/ > D2.x; y/ alors P.x; y/ 2 C2, I1.x; y/ D 0 et
I2.x; y/ D 1.
Si D1.x; y/ D D2.x; y/ alors P.x; y/ 2 ;, I1.x; y/ D 0 et
I2.x; y/ D 0.
Les images I1 et I2 de la figure 2 correspondent au résultat de
la classification des pixels de l’image I .
4 Le suivi des joueurs
Classiquement, le suivi consiste en l’appariement des pri-
mitives extraites des images successives. Le problème devient
rapidement complexe lorsqu’un objet peut être représenté par
I
I1 I2
FIG. 2 — Résultats de la classification
plusieurs primitives et réciproquement lorsqu’une primitive
peut représenter plusieurs objets. Dans notre cas, l’aspect dé-
formable des joueurs, lié essentiellement au mouvement de
leurs membres, accroit la difficulté de l’appariement. C’est
pourquoi, nous employons une approche globale consistant à
associer à chacun des joueurs un contour actif. Ceci permet de
réaliser simultanément les phases de modélisation et d’appa-
riement.
4.1 Le modèle de contour actif
Le modèle de contour actif retenu est celui proposé par
Kass et Terzopoulos [4]. Ce modèle est défini comme une
courbe fermée représentée paramétriquement par V .s/ D
fx.s/; y.s/gT avec s 2 [0; 1], et V .0/ D V .1/. Une fonc-
tionnelle d’énergie est définie en chaque point V .s/ de cette
courbe comme la somme de deux termes : d’une part, l’énergie
interne Eint composée elle-même de deux termes contrôlant
respectivement l’ « élasticité » et la « flexion » de la courbe
et, d’autre part, l’énergie externe Eext destinée à obtenir la
convergence du contour actif vers les objets à modéliser. On
considère que le contour actif est une bonne description des
objets lorsque la fonctionnelle d’énergie Esnake D Eint C Eext
est minimale.
L’influence relative de l’élasticité et de la flexion durant le pro-
cessus de minimisation de l’énergie Esnake est pondérée par les
paramètres  et  de sorte que :
Eint D  
Z 1
0
jjVs.s/jj2ds C  
Z 1
0
jjVss.s/jj2ds (6)
où Vs.s/ et Vss.s/ représentent respectivement les dérivées
curvilignes première et seconde de V .s/. Afin que le contour
actif soit attiré par le contour des objets à modéliser, l’énergie
externe doit présenter un minimum sur ces contours. C’est
pourquoi, elle est calculée en utilisant l’amplitude du gradient
de l’image. Dans notre cas, cette image est soit I1, soit I2 selon
l’équipe à laquelle appartiennent les joueurs suivis. Ainsi,
l’évaluation de l’énergie externe d’un contour actif associé à
un joueur de l’équipe 1 n’est pas sensible à la proximité d’un
joueur de l’équipe 2.
920
4.2 Initialisation
L’inconvénient bien connu de l’utilisation des modèles de
contours actifs est le processus d’initialisation. Dans notre cas,
les joueurs entrant séparés sur le terrain, ce processus devient
aisé : chaque contour actif est initialisé grâce à un chaînage
des points de contour des régions contenues dans les images
I1 et I2.
4.3 Suivi
Le suivi des joueurs s’obtient par l’estimation du contour
actif associé à chacun d’eux dans chaque image de la sé-
quence. A partir du contour actif estimé dans l’image précé-
dente, on réalise une prédiction de sa position dans l’image
courante en supposant le joueur animé de mouvements unifor-
mément accélérés entre deux images successives. Cependant,
afin de prendre en compte les possibles variations d’accélé-
ration, cette prédiction du second ordre est complétée par un
’gonflement’ du contour actif. Ce gonflement est obtenu faci-
lement en remplaçant durant cette phase l’énergie du contour
actif par un terme qui permet de contrôler l’aire de ce dernier
[6].
Après cette phase de prédiction, la phase d’estimation est réa-
lisée en recherchant l’énergie minimale du contour actif. Parmi
les différentes méthodes de recherche du minimum proposées
dans la littérature, nous avons utilisé la méthode de la des-
cente du gradient, réputée peu stable mais rapide. Néanmoins,
les images dont nous disposons pour évaluer l’énergie externe
étant binaires, cette méthode demeure satisfaisante.
5 Résultats expérimentaux
En ce qui concerne la procédure de classification des pixels,
on se réfèrera à [7] qui atteste de sa robustesse.
Pour illustrer les résultats obtenus dans le cadre du suivi de
footballeurs, nous présentons un extrait de séquence de scène
réelle. Les images a, b, c et d de la figure 3 sont référencées
de façon chronologique. La courbe entourant les deux joueurs
matérialise leur contour actif associé. Nous constatons l’effi-
cacité de la méthode dans le cas d’un masquage quasi total.
a b
c d
FIG. 3 — Résultats
6 Conclusion
L’approche proposée, couplant un algorithme de classifica-
tion colorimétrique à une méthode de suivi par contours actifs,
permet pour notre application de résoudre une large majorité
des cas d’occlusions. Les cas d’occlusions restants pourraient
être résolus par une fusion d’informations issues d’une analyse
stéréoscopique ainsi que d’une analyse de mouvement. Nous
travaillons actuellement sur la généralisation de la méthode à
plus de deux classes afin d’envisager d’autres applications.
Références
[1] M. Adel, D. Wolf, R. Husson, and R. Vogrig. Evaluation
of color spaces in computer vision : an application of
wood defects detection. In International conference on
systems man and cybernetics, pages 499–504, Le Touquet,
1993.
[2] C. C. Brunner, A. G. Maristany, D. A. Butler, D. Vanleu-
ween, and J. W. Funck. An evaluation of color spaces for
detecting defects in douglas-fir veneer. Industrial metro-
logy, 2 :169–184, 1992.
[3] Y. H. Gong, H. C. Chua, and T. S. Lim. An automa-
tic video parser for TV soccer games. In Second asian
conference on computer vision, pages 509–513, Singa-
pore, 1995.
[4] M. Kass, A. Witkin, and D. Terzopoulos. Snakes : Active
contour models. International journal of computer vision,
3 :321–331, 1988.
[5] Q. T. Luong. La couleur en vision par ordinateur : une
revue. Traitement du signal, 8 :548–555, 1991.
[6] N. Rougon. Kinematics of interface evolution with
application to active contour models. In Curves and
surfaces in computer vision and graphics II, volume 610,
pages 336–348, Boston, 1992.
[7] N. Vandenbroucke, L. Macaire, and J. G. Postaire. Soccer
player recognition by pixels classification in an hybrid
color space. In Multispectral and hyperspectral imagery
III, Orlando, 1997.
[8] C. Vieren, F. Cabestaing, and J. G. Postaire. Catching
moving objects with snakes for motion tracking. Pattern
recognition letters, 16 :679–685, 1995.
[9] D. Yow, B. L. Yeo, M. Yeung, and B. Liu. Analysis and
presentation of soccer highlights from digital video. In
Second asian conference on computer vision, pages 499–
503, Singapore, 1995.


Suivi automatique de personnes en mouvement par analyse d'images couleurs successives. Application au suivi de joueurs de football.

Abstract

Similar works

Full text

Available Versions

I-Revues