In this article, we present a multisensorial solution for road obstacle detection and tracking . This solution is based on a mixe d
camera/3D sensor mounted on the front of an experimental vehicle .
The multisensor is described . The calibration step enables the matching of the heterogeneous data . Two capabalities of the senso r
have been developped : the controlled perception making possible the acquisition of depth data in an area defined in the intensit y
image; the visual servoing carrying out the focusing of the laser beam on a moving target detected in the intensity image . These
two capabalities allow a Feedback control on the acquisition mode of the sensor according to the environment . '
The perception strategy is based on the selection of the best sensor for a given goal . The obstacle detection is based on th e
segmentation and interpretation of depth data which are well suited in this context . However, the rate of acquisition of these dat a
is too slow in order to extract the kinematic state of the obstacle . So, the tracking process is based on the collaboration betwee n
intensity image processing which ensures the tracking itself and a 3D process which returns the obstacle model size to search in th e
image. This algorithm of heterogeneous data fusion, associated with a Kalman filtering, permits to compute the state of obstacles .
This work fits into the european project PROMETHEUS . Experimental results have been validated in real situation on the Prola b
vehicle .Dans cet article, nous présentons une solution multisensorielle temps réel pour la détection et le suivi d'obstacles sur route. Cette solution est basée sur l'utilisation d'un capteur mixte caméra vidéo/capteur de profondeur placé à l'avant d'un véhicule expérimental. Le capteur multisensoriel est décrit. Le calibrage permet l'alignement des données hétérogènes. Deux facultés du capteur sont développées : la perception dirigée permet l'acquisition d'une image de profondeur dans une zone définie dans l'image de luminance ; l'asservissement visuel réalise la focalisation du faisceau laser sur un point de l'image de luminance. De façon générale, ces facultés permettent un contrôle par rétroaction sur le mode d'acquisition du capteur en fonction de la situation dans laquelle se trouve le système de perception. La stratégie de perception est basée sur la sélection du capteur adéquat pour un objectif donné. La détection d'obstacle repose sur la segmentation et l'interprétation des données de profondeur qui sont d'une grande pertinence dans ce contexte. En revanche, la cadence d'acquisition de ces données n'est pas suffisante si l'on souhaite dériver les caractéristiques cinématiques des obstacles. En conséquence, le suivi des obstacles combine un traitement de l'image de luminance rapide avec un traitement de l'information 3D. Le premier permet de réactualiser la position de l'obstacle afin d'asservir le faisceau laser sur celui-ci et le second assure la connaissance de la taille du modèle de l'obstacle à chercher dans l'image. Cet algorithme de fusion de données hétérogènes accompagné d'un filtrage de Kalman permet d'inférer les caractéristiques cinématiques des obstacles dont la connaissance est indispensable pour aborder ceux-ci dans de bonnes conditions. Ces recherches sont menées dans le cadre du projet européen PROMETHEUS et sont validées en situation réelle à bord du véhicule expérimental Prolab
