Nous présentons dans cet article, un nouvel algorithme de traitement d'images, la "Transformée Chinoise", permettant d'estimer la localisation des doigts d'une main. Cette approche utilise une technique inspirée de la Transformée de Hough qui prend en compte la disposition des pixels de contour ainsi que l'orientation du gradient en ces pixels. Elle a été intégrée dans un système d'acquisition visuelle monoculaire des gestes humains de préhension

CLADY, Xavier

MILGRAM, Maurice

NEGRI, Pablo Augusto

I-Revues

Perception visuelle du geste de préhension.
Pablo Augusto Negri, Xavier Clady, Maurice Milgram
LISIF - PARC, UMPC (Paris 6)
3 rue Galilee 94200 Ivry-sur-Seine, FRANCE
pablo.negri@lisif.jussieu.fr,
clady@ccr.jussieu.fr,
maum@ccr.jussieu.fr
Résumé – Nous présentons dans cet article, un nouvel algorithme de traitement d’images, la "Transformée Chinoise", permettant
d’estimer la localisation des doigts d’une main. Cette approche utilise une technique inspirée de la Transformée de Hough qui
prend en compte la disposition des pixels de contour ainsi que l’orientation du gradient en ces pixels. Elle a été intégrée dans un
système d’acquisition visuelle monoculaire des gestes humains de préhension.
Abstract – This article describe a new algorithm, the Chinese Transform, for the localization of the fingers. This approach is
inspired in the Hough Transform utilizing the position and the orientation of the gradient from the image edge’s pixels. A vision
system using this technique is proposed, requiring only one camera and a computer.
1 Introduction
Dans la taxonomie des gestes [9], ceux de préhension se
classent dans la catégorie des gestes techniques. Ils font
l’objet de nombreuses études dans les communautés cog-
nitivistes et médicales, dont [4, 5] font office de travaux
fondateurs. Ces études sont souvent réalisées dans l’ob-
jectif de déterminer les influences de maladies motrices
ou psychomotrices (Parkinson [1], lésions cérébrales [3],
etc.) sur la coordination du geste de préhension. Pour la
plupart, les expérimentations consistent à disposer sur un
plan plusieurs objets, généralement cylindriques, de diffé-
rentes tailles et à différentes positions. Les cobayes doivent
prendre les objets suivant un protocole défini ; tout en
gardant la main parallèle au plan. Des émetteurs infra-
rouges sont installés sur le pouce et l’index, ainsi que sur
la paume. Un système de vision dédié, par exemple l’Op-
totrack, traque ces marqueurs.
Dans ce papier, nous allons proposer un système non
intrusif et peu onéreux, ne nécessitant qu’une seule ca-
méra numérique grand public. D’autres applications se-
raient possibles telles qu’une Interface Homme-Machine
naturelle [14] pour la téléopération de robots manipula-
teurs [13] ou des jeux en Réalité Virtuelle (par exemple,
un jeu d’échecs où les pièces seraient virtuelles).
Nous disposons d’une mire, dite Plateforme d’Evolution
(PE), composée d’amers circulaires de couleurs différentes
et de géométrie connue. La main, formant une pince avec
le pouce et l’index, se déplace dans un plan horizontal
(parallèle à la plateforme) sans variation de la hauteur
(composante Z, estimée à 5cm). Une caméra fixe est pla-
cée en contre-plongée, à une distance relativement grande
par rapport à la PE, de sorte que la variabilité de profon-
deur des points de la main puisse être considérée comme
négligeable. La position 3D des doigts est calculée à par-
tir de ces hypothèses et en utilisant aussi une méthode
itérative d’estimation de la pose de la caméra (cf. fig. 1).
Dans la prochaine section, nous décrivons les procédures
Fig. 1 – Relation "scène-caméra".
pour extraire les positions des doigts dans l’image. Tout
d’abord, un algorithme de soustraction de fond nous per-
met de déterminer une zone d’intérêt dans l’image. Dans
cette zone, une image de distance à la couleur de peau est
calculée pour l’extraction des bords orientés de la main.
Ces bords sont employés dans un algorithme original, la
Transformée Chinoise (TC), pour la segmentation et la
localisation des doigts. Cette approche est inspirée de la
Transformée de Hough. Cet algorithme permet l’extrac-
tion des segments des doigts. La section 3 concerne le suivi
du geste. Nous utilisons un filtre de Kalman adapté au
suivi des segments. Un modèle simplifié permet la recons-
truction de la main à partir de ces segments. La section
4 présente quelques résultats obtenus avec notre système.
Nous concluons cet article avec quelques perspectives.
2 Détection des doigts
2.1 Localisation de la scène et prétraite-
ments
Les centres des amers colorés nous permettent d’obte-
nir la pose de la caméra dans la matrice homogène de
transformation M [8]. Cette matrice sert à reconstruire
les positions de 3D de points de la main dans les repères
liés à la PE, à partir de leurs positions 2D dans l’image.
Il existe des solutions plus élégantes [12], permettant de
résoudre notre problème sans calcul explicite de la pose ;
cependant cette connaissance pourrait s’avérer utile dans
des travaux futurs. Dans une évolution future de notre
système, nous pourrions ajouter une seconde caméra, liée
mécaniquement à la première, qui observerait le visage de
l’opérateur, afin de déterminer son champ de vision de
la scène. D’où l’importance de localiser la plateforme par
rapport au bâti instrumenté des deux caméras.
Pour restreindre la recherche à une fenêtre dans l’image,
avec pour conséquence un gain de calcul, nous utilisons
une méthode de suppression du fond. La méthode dite de
Stauffer et Grimson [11, 2] utilise des mixtures de Gaus-
siennes pour modéliser la couleur des pixels. Dans notre
approche, nous n’utilisons pas l’espace RGB, mais unique-
ment les chrominances de l’espace couleur Y CbCr. Cela
nous permet de minimiser l’influence des variations de la
composante Y (essentiellement dues aux ombres générées
par la main ou l’environnement).
De la fenêtre obtenue, nous extrayons une image en ni-
veaux de gris Itc, où les pixels qui ont une chrominance
proche à celle de la teinte chair seront nettement distin-
gués. La méthode développée consiste à calculer une image
de distance normalisée à la teinte chair dans l’espace des
chrominances. L’image I transformé de l’espace RGB à
l’espace Y CbCr est appelée Iybr. Ensuite, nous calculons
la soustraction sur chaque composante, rouge (r), et bleue
(b), du Iybr avec les valeurs moyennes expérimentales de
la teinte chair, btc and rtc respectivement.
Ib = |Iybr(b)− btc|
Ir = |Iybr(r)− rtc|
Ibr =
√
Ib + Ir
Enfin, nous obtenons l’image de distance à la teinte
chair (cf. fig. 4) définie par :
Itc = 1− Ibr
max(Ibr)
2.2 Transformation Chinoise
La Transformation Chinoise (TC) tient son nom du mot
Shongguo, l’Empire du Milieu : c’est ainsi que les Chinois
nomment leur pays. Il s’agit d’une méthode de votes :
chaque vote est attribué au centre ou milieu de deux points
ayant des directions de gradients opposées. Cette méthode
a le même principe que le travail de Reisfeld [10].
Dans l’exemple de la fig. 2, deux points du contour e1
et e2, obtenus de l’image d’une ellipse Ie, sont définis à
partir des paramètres suivants : le vecteur normal, ni, et
sa position dans l’image, pi(x, y), avec i = {1, 2}. Chaque
vecteur normal représente l’orientation du gradient dans
ce point. p12 est le segment que lie les deux points avec pv
son point milieu.
En superposant e1 sur e2, nous pouvons comparer ces
orientations. Nous affirmons que e1 et e2 ont des orienta-
Fig. 2 – (a) montre deux points de l’image et ses vecteurs
normals, (b) montre les deux vecteurs normals superposés
qui forment un angle α.
Fig. 3 – Exemple de la TC pour un rectangle. (a) image
originale, (b) contours orientés, (c) et (d) matrices des
votes en 2D et 3D.
tions opposées si l’angle α12 formé entre n1 et −n2 accom-
plit la condition :
α12 < αthreshold (1)
Ensuite, la TC vote pour pv, le point milieu de p12, si :
|p12| < d (2)
Nous créons et incrémentons un accumulateur (matrice
de votes) avec tous les couples qui accomplissent les condi-
tions (1) et (2).
La fig. 3 est un exemple de l’algorithme de la TC appli-
qué à un rectangle. La fig. 3.a représente l’image originale
et la fig. 3.b montre ces contours orientés en différentes
couleurs. Dans la pratique, nous échantillons les orienta-
tions du gradient en N = 8 directions ; cette opération fixe
une valeur pratique pour αthreshold. La matrice de votes
(voir la fig. 3.c et 3.d) est le résultat de l’application de la
TC pour tous les points de contour de la fig. 3.a avec d =
35 pixels.
Dans notre application, nous profitons de la forme tu-
bulaire de l’index et du pouce (les deux doigts formant la
pince). Leurs bords parallèles satisfont les conditions de
direction, de distance et de gradient. Les zones d’accumu-
lation trouvées permettent de définir les régions intérieures
des doigts (cf. fig. 4.d). L’application d’une Transformée
de Hough sur la matrice de votes permet de déterminer
les segments correspondant aux doigts.
Fig. 4 – Illustration de la TC. (a) Image originale, (b)
Distance à la couleur chair Itc, (c) Orientation du gradient
aux contour de l’image : chaque orientation est répresentée
par une couleur différente, (d) Matrice d’accumulation de
votes.
Les résultats de la TC peuvent se comparer à un algo-
rithme de squelettisation morphologique. Cependant, la
squelettisation utilise les régions comme primitive et est
soumise à ses défauts caractéristiques : les trous, les la-
cunes et les irrégularités des bords.
3 Suivi du geste et répresentations
Un filtre de Kalman [6] adapté aux segments nous per-
met de filtrer les pistes, pour ne retenir que celles liées
aux doigts formant la "pince" (constituée du pouce et de
l’index), et d’éliminer les fauses alarmes.
3.1 Suivi des segments
L’objectif est le suivi des segments appartenant aux
doigts dans une séquence d’images. Ceux-ci ont été ob-
tenus à partir de la matrice de votes de la TC et de
l’application de la Transformée de Hough. Les paramètres
identifiant chaque segment sont (voir fig. 5) : Pm(xm, ym),
coordonnées du point milieu, l et θ, respectivement la lon-
gueur et l’angle du segment.
Fig. 5 – Modèle
du segment.
Fig. 6 – Modèle de la
pince.
Notre système est composé de trois filtres de Kalman
indépendants. Deux filtres scalaires pour la longueur et
pour l’orientation, et un filtre vectoriel pour la position.
Si nous considérons la vitesse constante, les vecteurs d’état
sont :
XPm =

xm
˙xm
ym
˙ym
 X l = ( ll˙
)
Xθ =
(
θ
θ˙
)
Nous suivons tous les segments de chaque image de la
séquence. Il subsiste des fausses alarmes, qui vont dispa-
raître dans les images successives.
3.2 Suivi de la pince
A partir de deux segments, nous modélisons la pince (cf.
fig. 6) avec les paramètres suivants :
– pc, point milieu du segment m1m2,
– Θpc, angle qui défine l’inclination de la pince par rap-
port à l’axe x,
– vd, vecteur unitaire directeur qui définit l’orientation
de la pince,
– l12, longueur du segment m1m2,
Nous ajoutons deux autres paramètres : les orientations
α1 et α2 des segments s1 et s2, calculées après un chan-
gement de repères, de (x, y) au (pc, x′, y′), l’axe lié à la
pince, (voir fig. 6).
Les nouveaux vecteurs d’état pour le suivi de la pince
sont : Xpc , XΘpc , Xα1 , Xα2 et X l12 .
Tous les couples de segments ne forment pas forcément
une pince. Des contraintes sur la longueur l12 et les angles
α1 et α2 nous permettent de filtrer les "fausses pinces".
Cette représentation a été inspirée des études réalisées sur
le geste de préhension [4, 5, 3, 1]. Elle permet d’obser-
ver facilement les principales grandeurs utilisées dans ces
études : distance inter-doigts (ouverture de la pince), po-
sition et orientation de la main par rapport à la scène (et
aux objets). Par ailleurs, elle nous a permis de définir un
modèle articulatoire de la main.
4 Résultats
Nous appliquons la TC dans une séquence vidéo com-
posée de trois étapes. La première étape montre une main
allant saisir un objet imaginaire dans un coin de la PE (cf.
la fig. 7). Dans la prochaine étape, le sujet "pose" l’objet
imaginaire dans le coin opposé de la PE. L’étape finale
montre la main retournant à la position initiale. Nous pré-
sentons les résultats obtenus pour l’étape 1.
Dans la fig. 8.a, nous pouvons voir tous les segments
enregistrés durant la première étape. La fig. 8.b montre la
trajectoire du point pc. Les courbes d’évolution de l’ou-
verture des doigts et de la vitesse de la main pour l’étape
1 sont présentées respectivement dans la fig. 8.c et 8.d.
D’après Jeannerod [4, 5], l’acte de préhension d’un sujet
normal est divisé en 2 phases : une phase à grande vitesse
correspondante au 75% du mouvement d’approche vers
l’objet et une phase finale à plus faible vitesse. Dans la
fig. 8.d, nous remarquons que la première phase jusqu’au
frame 15 est caractérisée par une grande accélération et
une augmentation de la distance inter-doigts (fig. 8.c). En-
suite, il y a une désaccélération de la main en s’approchant
vers l’objet pour atteindre la distance inter-doigts finale.
Fig. 7 – Cette figure montre des images de l’étape 1. Sur
l’image de gauche, nous pouvons voir le point de vue de
la caméra et sur la droite, l’environnement OpenGL avec
une pince virtuelle reproduisant simultanément le geste.
Fig. 8 – Résultats pour l’étape 1 : (a) tous les segments.
(b) trajectoire du point pc (c) distance entre les doigts (d)
vitesse de la main. Dans (b), (c) et (d), les courbes en
pointillés montrent la vérité terrain.
Ces informations peuvent être employées par les spécia-
listes afin de mesurer l’habilité du sujet et peuvent égale-
ment être utiles pour un diagnostic médical.
5 Conclusion and perspectives
Cet article a présenté un système pour l’acquisition du
geste humain de préhension. Il utilise une nouvelle mé-
thode pour la détection et localisation des doigts, ap-
pelée Transformation Chinoise. Cette technique est une
méthode de votes inspirée par la Transformée de Hough.
Des filtres de Kalman sont utilisés pour le suivi du geste.
Les résultats obtenus sont conformes aux observations des
études médicales [4, 5] et peuvent être utilisés pour la dé-
tection des maladies psychomotrices.
Les prochaines étapes de nos travaux de recherche se-
ront orientées dans la détermination, voire l’anticipation
des points de prise d’un objet [7]. Pour ceci, nous devrons
analyser le geste en fonction de ses propres caractéris-
tiques, mais aussi des caractéristiques intrinsèques (forme,
taille, etc.) et extrinsèques (position, orientation) de l’ob-
jet.
Références
[1] U. Castiello, K. Bennet, C. Bonfiglioli, S. Lim, and
R.F. Peppard. The reach-to-grap movement in par-
kinson’s disease : response to a simultaneous pertur-
bation of object position and object size. Computer
Exp. Brain Res, (125) :453–462, 1999.
[2] E. Hayman and J. Eklundh. Statistical background
subtraction for a mobile observer. In In the Procee-
dings of the 9th International Conference on Compu-
ter Vision, pages 67–74, Nice, France, 2003.
[3] J. Hermdörfer, and Marquardt C. Ulrich, S., and and
Mai N. Goldenberg, G. Prehension with the ipsile-
sional hand after unilateral brain damage. Cortex,
pages 35 :139–161, 1999.
[4] M. Jeannerod. Intersegmental coordination during
reaching at natural visual objects. Attention and per-
formance (Long J, Baddeley A, eds), pages 153–168,
1981.
[5] M. Jeannerod. The timing of natural prehension mo-
vements. Journal of Motor Behavior, pages 16 :235–
254, 1984.
[6] R.E. Kalman. A new approach to linear filtering and
prediction problems. Transactions of the ASME -
Journal of Basic Engineering, (82) :35–45, 1960.
[7] C. Michel, V. Perdereau, and M. Drouin. An ap-
proach to grasp planning in constrained environ-
ments. In Proceedings of the IEEE International
Conference on Mechatronics and Robotics, pages 761–
767, Aachen, Germany, Septembre 2004.
[8] P. Negri, X. Clady, and Milgram M. Perception vi-
suelle du geste de préhension : Application à la ro-
botique manipulatrice. In 18ème Journée des JJCR,
Douai, France, Septembre 2004.
[9] V. Pavlovic, R. Sharma, and T. S. Huang. Visual
interpretation of hand gestures for human-computer
interaction : A review. IEEE Transactions on Pattern
Analysis and Machine Intelligence, 19 :677–695, July
1997.
[10] D. Reisfeld. Generalized Symmetry Transforms : At-
tentional Mechanisms and Face Recognition. PhD
thesis, Tel Aviv University, Janvier 1994.
[11] C. Stauffer and W.E.L. Grimson. Adaptive back-
ground mixture models for real-time tracking. In
Computer Vision and Pattern Recognition, volume 2,
pages 22–46, Fort Collins, Colorado, Juin 1999.
[12] Peter Sturm. Algorithms for plane-based pose estima-
tion. In Proceedings of the Conference on Computer
Vision and Pattern Recognition, Hilton Head Island,
South Carolina, USA, pages 1010–1017, June 2000.
[13] J. Triesh and C. von der Malsburg. Classification
of hand postures agains complex backgrounds using
elastic graph matching. Image and Vision Compu-
ting, 20(13-14) :937–943, Décembre 2002.
[14] M. Turk and M. Kolsch. Emerging Topics in Com-
puter Vision, chapter Perceptual Interfaces. Prentice
Hall PTR, 2005.


Perception visuelle du geste de préhension

Abstract

Similar works

Full text

Available Versions

I-Revues