Pour obtenir une reconstruction complète de son environnement un robot mobile a besoin d'une vision globale. La vision panoramique contrairement à la vision classique répond pleinement à ce problème. Ce papier présente un aperçu général des capteurs optiques utilisés à ce jour en vision panoramique ainsi que notre solution à ce problème. Nous présentons un nouveau système de stéréovision panoramique passive basée sur la rotation de deux barrettes CCD. L'objectif est de déterminer la géométrie des scènes observées en utilisant des techniques d'appariements qui utilisent les simplifications introduites par l'architecture du système pour apparier les primitives et cela en respectant une contrainte de temps réel

BENOSMAN, R.

DEVARS, J.

MANIERE, T.

I-Revues

Système de stéréovision panoramique
R.Benosman, T.Maniere , J.Devars,
Laboratoire L.I.S
T66, coul 66-56, 2eme étage
4 Place Jussieu, 75252 Paris, Cedex 05,
France,
Résumé :
Pour obtenir une reconstruction complète de son
environnement un robot mobile a besoin d’une vision
globale. La vision panoramique contrairement à la
vision classique répond pleinement à ce problème. Ce
papier présente un aperçu général des capteurs
optiques utilisés à ce jour en vision panoramique ainsi
que notre solution à ce problème. Nous présentons un
nouveau système de stéréovision panoramique passive
basée sur la rotation de deux barrettes CCD .
L’objectif  est de déterminer la géométrie des scènes
observées en utilisant des techniques d’appariements
qui utilisent les simplifications introduites par
l’architecture du système pour apparier les primitives
et cela en respectant une contrainte de temps réel.
Abstract :
Classical computer vision like human vision only
allows to consider a narrow angle of the observed
scenes. Panoramic vision answer this problem by
allowing a full 360 vision. This paper presents a
general overview of all the panoramic sensors used up
to now. We will also present our new panoramic
sensor based on the use of two linear CCD arrays of
resolution 1024 pixels. The aim is to determine the
geometric shape of indoor scenes using matching
algorithms that use the simplifications introduced by
the architecture of our system, and also respecting a
real time constraint.
1. INTRODUCTION
Tandis que de nombreuses recherches ont été menées
sur les robots mobiles comprenant des  systèmes de
vision qui leur permettent de naviguer dans des
environnements connus ou inconnus, la plupart des
robots ne voient que ce qui se présente devant eux et
n’évitent ainsi que les obstacles le plus souvent
statiques. Ils sont donc susceptibles d’entrer en
collision avec des objets en mouvement qui viendraient
par derrière ou des les cotés.
La solution à ce problème est donc l’utilisation de la
vision panoramique. Plusieurs tentatives d’acquérir des
images 360° ont été menées en utilisant des capteurs à
ultrasons, des systèmes de lentilles sphériques, des
miroirs coniques et plus récemment en utilisant des
cameras tournantes.
Notre approche se différencie des précédentes  en
utilisant deux barrettes CCD de 1024 pixels alignées,
en rotation autour d’un axe vertical. L’image est
obtenue en concatenant chaque      colonne image
correspondant à une position angulaire. Ce système
donne implicitement les lignes épipolaires. Un point de
la scène aura son image sur la même colonne dans le
capteur haut et bas. Cette architecture permet une
simplification importante du problème de
l’appariement des primitives en réduisant un problème
classiquement 2D à 1D.
Nous commencerons par donner un aperçu des
systèmes de vision panoramique utilisés à ce jour en
expliquant les avantages et le défauts de chacun. Puis
nous expliciterons notre approche du problème et
introduirons l’architecture considérée. Le paragraphe
quatre présente brièvement  les méthodes de calibrage
et de corrélation de primitives. Finalement la partie
cinq montre les résultats expérimentaux obtenus.
2. SYTEMES DE VISION PANORAMIQUE
De nombreuses techniques ont été utilisées pour
obtenir des informations périphériques. La plus
ancienne est celle utilisée par Moravec [Mor83] avec
un robot mobile comportant un nombre important de
capteurs ultrasoniques situés tout autour du robot.
Cette approche a été suivie par de nombreux travaux
qui analysent les données 3D récupérées en fusionnant
SEIZIÈME COLLOQUE GRETSI — 15-19 SEPTEMBRE 1997 — GRENOBLE 411
les informations des capteurs à ultrasons pour générer
des cartes 3D de l’environnement
[Elf87][Cro89][Lam90].
L’utilisation d’un télémètre laser par Miller et Wagner
[Mil87] permet une précision bien supérieure à celle
des méthodes acoustiques mais reste handicapée pour
le temps de traitement. L’apparition des systèmes
basés sur les cameras  vient avec les travaux de Z.Cao
[Cao86], S.Oh [Oh87] et plus tard J.Hong [Hon91] qui
se servent de lentilles sphériques pour récupérer une
image panoramique. L’inconvénient des miroirs
sphériques réside essentiellement  dans la résolution
assez pauvre le long d’une direction radiale car l’angle
de vue dans cette direction est trop large. Jarvis et
Byrne [Jar88] utilisent un miroir conique disposé au
dessus d’une camera CCD classique qui permet
d’obtenir une information périphérique assez
rapidement mais au prix de distorsions liées à la
géométrie qui pénalisent les traitements ultérieurs.
Cette idée a été reprise par S.Tsuji, S.Kawato et
Y.Yagi qui dès 1990 réussirent à implémenter
l’approche de Jarvis et Byrne en créant le système
COPIS [Yag90]. Entre temps une autre approche de la
vision panoramique apparaît avec les travaux de
K.Sarachick [Sar89] sur la construction des cartes de
l’environnement perçu par un robot mobile. H.Ishiguro
[Ish90] met en pratique l’idée en obtenant deux images
stéréoscopiques à partir d’un système à une camera.
Néanmoins malgré son originalité cette méthode n’a
pas fourni de résultats convenables pour une
reconstruction fiable.
Récemment une idée originale qui repose sur
l’utilisation des miroirs[Sou96], a permis de générer
une paire d’images stéréoscopiques et panoramiques en
se basant sur un miroir doublement sphérique, mais
aucun traitement concret n’a été proposé.
3.  ARCHITECTURE DU SYSTEME
Notre solution pour réaliser un capteur optique de
symétrie axiale, consiste à mettre en rotation une
barrette CCD, on obtient ainsi un capteur qui projette
l'espace sur un cylindre. Notre idée est de concevoir un
système qui soit à symétrie axiale, il nous faut donc
positionner les deux capteurs l'un au dessus de l'autre
avec le même axe de rotation. L'architecture proposée
permet d'obtenir une transformation de perspective
directe beaucoup plus simple que dans le cas classique,
le problème se ramène à une géométrie planaire. La
simplification est telle que l'on peut ne plus passer par
un symbolisme matriciel, mais exprimer directement
sous forme d'équations cette transformation.
4.  CALIBRAGE ET RECONSTRUCTION DE SCENES.
4.1.  Calibrage Planaire:
La rotation étant directement donnée par le capteur une
dimension est donc connue. Nous allons alors calculer
les coordonnées 2D d’un point du  repère monde à
partir de son image 1D. Classiquement cette opération
s’effectue du 3D au 2D. Notre approche simplifie
considérablement les calculs, nos matrices sont 3x3 au
lieu des classiques 4x4.
Le but du calibrage est d’exprimer les points objets
dans le repère (Oc, Xc, Yc). Si (xw, yw)représentent les
cordonnées d’un point objet P, (xc, yc) seront ses
cordonnées dons le repère camera. Le segment image
est parallèle à Yc et se trouve à une distance f de
l’origine où f représente la distance focale (voir
figure.1).
Figure.1 : Le modèle stenopé 2D.
La projection générale de RW repère objet a Ri repère
image s’exprime comme suit
su
s
R
n
u
t
u
t
u t t
t t
t
x
y
R
w
u
x
u
x
x u y
x x
x
w
w
1
1
0 0
1 1
0 0
0





=
− +
+












cos sin sin cos
cos sin
.
Φ Φ Φ Φ
Φ Φ
α α
α
4.2. Appariement des primitives:
Considérons chaque colonne d’intensité de niveaux de
gris comme un vecteur de taille (1x1024) (voir
figure.2), l’appariement se fera sur deux vecteurs
(vecteur haut et vecteur bas). Le but est de trouver une
correspondance entre les composantes des deux
vecteurs.
u
Rw
P(xw, yw)
Ow
OcfOi
p(v)
Xw
Yw
R
YcXcΦ
Rc
412
0256
Indice
Niveau de gris
figure.2 : Les vecteurs colonnes.
Avant d’utiliser les vecteurs pour l’appariement ils
sont lissés pour minimiser le bruit et éviter de mauvais
appariements. Chaque vecteur est donc lissé en
utilisant un filtre récursif de Deriche avec pour valeur
de lissage α=2. L’extraction des contours est obtenue
en appliquant la dérivée de l’image d’intensité pour
retrouver la position des contours. Pour cela, et pour
obtenir les deux composantes du gradient deux
positions angulaires sont nécessaires.
L’appariement des deux vecteurs peut être fait en
utilisant plusieurs algorithmes de corrélations.
Néanmoins les meilleurs résultats ont été obtenus avec
les méthodes de programmation dynamique de Bellman
[Bel62]. La fonction de coût étant basée sur une
corrélation de la radiométrie des points de contour.
Nous forçons le parcours optimal à commencer au
point (1,1) pour atteindre le point (1024,1024) aucun
point ne peut être évité et aucun retour en arrière n’est
autorisé.
Le résultat est exprimé par la figure.3.
0 100 200 300 400 500 600
40
80
140
Vecteur Haut
Vecteur Bas
Figure.3 : Appariement des deux vecteurs colonnes en
utilisant la programmation dynamique.
Une fois la correspondance entre les deux vecteurs
établie, deux points sont considérés comme appariés
s’ils vérifient une condition épipolaire et si tous les
deux sont des points de contours. Cette étape permet
d’éliminer les faux appariements.
5.  RESULTATS EXPERIMENTAUX.
Figure.4 : Images panoramique haute et basse.
Figure.5 : Scène Reconstruite.
CONCLUSION
Les systèmes de vision panoramiques sont constitués
d'un assemblage d'éléments standards. Ceci amène une
économie certaine sur ces sous-ensembles, mais
reporte la difficulté au niveau de l'algorithmique. Notre
démarche est totalement opposée, car nous proposons
un système de prise de vue dédié à la vision
périphérique, conçu à partir d'une analyse des
problèmes posés, qui réduit à leurs minima les
contraintes algorithmiques de détection, de corrélation,
et de triangulation.
BIBLIOGRAPHIE
[Mor83] H.P.Moravec «  The stanford  Cart and the
CMU Rover » Proc..IEEE vol71.no.7,pp.872-884,
1983.
[Elf87]  A.Elfes, «  Sonar based real world mapping
navigation »,IEEE, Jour Robotics Automat.,vol.RA-
3,pp.249-265,1987.
[Cro89] J.L.Corwley, « World modeling and position
estimation for a mobile robot using ultrasonic
ranging », in Proc. Inter conf Robotics and
Automat,1989,pp.674-680.
[Lam90] J.F.G.Lamadrid and M.L.gini, « Path
tracking through uncharted moving obstacles »,IEEE
&
u
413
Trans, Syst, Man, Cybern, vol.20, no6, pp1408-1422,
1990.
[Mil87] G.L.Miller and E.R.Wagner, «An optical
rangefinder for autonomous robot cart navigation » in
Proc, SPIE Mobile Robots II, 1987, vol.852, pp. 132-
144.
[Jar88] R.A.Jarvis and J.C.byrne, « An Automated
guided vehicle with map building and path finding
capabilities » in Proc. 4th ISSR, 1988, pp497-504.
[Ish90] H.Ishiguro, M.Yamamoto and S.Tsuji, « 
Omnidirectional stereo for making global map, » in
Proc.3rd ICCV, 1990.
[Sar89] K.B.Sarachick, « Characterizing an indoor
environment with mobile robot and uncalibrated
stereo, » in Proc.IEEE Int. Conf. Robotics Automat.,
1989, pp.984-989.
[Cao86] Z.L.Cao, S.J.oh and E.L.Hall, « Dynamic
omnidirectional vision for mobile robots ,»
J.Robotics.Syst., vol.3, no.1, pp.5-17,1986.
[Yag90] Y.Yagi and S.Kawato, «  Panorama scene
analysis with conic projection, » in Proc. IEEE
Int.Workshop Intelligent Robots & Syst., 1990 ,
pp.181-187.
[Sou96] D.Southwell, A.basu, M.fiala, J.Reyda
« Panoramic Stereo, » Int Conf. Patt. Rec., Vienna,
vol1., p378-382, 1996.
[Bel62] R.Bellman, « The theory of dynamic
programming, » American Mathematical Society,
1962.
[Hon91] J.Hong, X.Tan, B.Pinette, R.Weiss, and
E.M.Rieseman, «  Image-based homing ,» in Proc.
Conf Robotics Automat., Apor.1991, pp 181-187.
414


Système de stéréovision panoramique

Abstract

Similar works

Full text

Available Versions

I-Revues