Tracking with Stereo-vision System for Low Speed Following Applications

International audienceResearch in adaptative cruise control (ACC) is currently one of the most important topics in the field of intelligent transportation systems. The main challenge is to perceive the environment, especialy at low speed. In this paper, we present a novel approach to track the 3-D trajectory and speed of the obstacles and the surrounding vehicles through a stereo-vision system. This tracking method extends the classical patch-based Lucas-Kanade algorithm [9], [1] by integrating the geometric constraints of the stereo system into the motion model: the epipolar constraint, which enforces the tracked patches to remain on the epipolar lines, and the magnification constraint, which links the disparity of the tracked patches to the apparent size of these patches. We report experimental results on simulated and real data showing the improvement in accuracy and robustness of our algorithm compared to the classical Lucas-Kanade tracker

Evaluation Method for Automotive Stereo-Vision Systems

International audienceSafe vehicle guidance under human or computer control requires a thorough understanding of the traversed environment. Consequently if perception systems are to be introduced into mass market vehicles as part of driving assistance systems, their proper operation throughout the vehicle working life is needed. Onboard stereo-vision systems can provide rich information in terms of range, feature recognition, etc., hence the interest by car OEMs. System performance depends on multiple factors like light conditions, algorithms and the mechanical apparatus. Due to inaccuracies produced by changes in the system physical properties due to vibrations, misalignment of fixtures, etc. through the vehicle operational life a reduction in performance will occur. In this paper, an evaluation framework to estimate the performance of a vehicle onboard stereo-vision system in terms of 3D measurements and re-projection errors is presented. The approach considers changes that might occur in the system during the vehicle working life. It includes means to evaluate the self-calibration process often used to correct the effects of physical changes in the stereo-vision system. The results provide key information for the design and geometrical specification of automotive stereo-vision systems. As the potential physical changes in the geometric configuration of the camera-pair over the vehicle life time are difficult to predict, it was necessary to simulate them to generate families of errors that these might trigger on the system performance

Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile

The increasing complexity of the driving environment and the effortsfor improving safety in the roads, explain the interest carmanufacturers put on the development of automatic driver assistancetechnology. Many vehicles available on the market are already equippedwith such systems. While we have become proficient in judging thestate of the vehicle (speed, position, etc.), judging the surroundingenvironment remains a difficult task. Among all the sensors capable ofperceiving the complexity of an urban environment, stereo-visionhas interesting capabilities, a large spectrum of applications(pedestrian detection, vehicle tracking, white-line detection, etc.)and a competitive price. For these reasons, Renault aims to identifyand solve the problems related to the implementation of such a systemin a vehicle series. The first related issue concerns thedevelopment of the stereo-system calibration. Indeed the capability ofthe system to provide measurements depends on parameters beingproperly estimated, even when the system undergoes extreme conditions(high temperatures, shock, vibration ...). Therefore, we present anevaluation methodology that measures the degradation of the system'sperformance with respect to the calibration. The second problem dealswith the detection of obstacles. The method we propose uses theproperties of rectification in an original fashion, and segments thescene in road and obstacles. The last issue relates to the calculationof the obstacles' speed. A large majority of approaches in theliterature approximate the speed of an obstacle from its successivepositions. In this calculation, the accumulation of uncertaintiesmakes this estimate extremely noisy. Our approach effectively combinesthe strengths of the stereo-vision and optical flows to directlyobtain a robust and precise measure of 3-D speed.La complexité croissante de l'environnement routier et le souci d'amélioration de la sécurité routière expliquent l'intérêt que porte les constructeurs automobiles aux travaux sur l'aide à la conduite. De nombreux systèmes équipent déjà les véhicules de la rue. Alors que la perception de l'état du véhicule (vitesse, position, etc.) est maîtrisée, celle de l'environnement reste une tache difficile. Parmi tous les capteurs susceptibles de percevoir la complexité d'un environnement urbain, la stéréo-vision offre à la fois des performances intéressantes, une spectre d'applications très larges (détection de piéton, suivi de véhicules, détection de ligne blanches, etc.) et un prix compétitif. Pour ces raisons, Renault s'attache à identifier et résoudre les problèmes liés à l'implantation d'un tel système dans un véhicule de série, notamment pour une application de suivi de véhicules. La première problématique à maîtriser concerne le calibrage du système stéréoscopique. En effet, pour que le système puisse fournir une mesure, ses paramètres doivent être correctement estimés, y compris sous des conditions extrêmes (forte températures, chocs, vibrations, ...). Nous présentons donc une méthodologie d'évaluation permettant de répondre aux interrogations sur les dégradations de performances du système en fonction du calibrage.Le deuxième problème concerne la détection des obstacles. La méthode mis au point utilise d'une originale les propriétés des rectifications. Le résultat est une segmentation de la route et des obstacles. La dernière problématique concerne la calcul de vitesse des obstacles. Une grande majorité des approches de la littérature approxime la vitesse d'un obstacle à partir de ses positions successives. Lors de ce calcul, l'accumulation des incertitudes rendent cette estimation extrêmement bruitée. Notre approche combine efficacement les atouts de la stéréo-vision et du flux optique afin d'obtenir directement une mesure de vitesse 3-D robuste et précise

Mesure de Trajectoire par Stéréo-Vision pour des Applications de Suivi de Véhicules à Basse Vitesse

National audienceLa recherche en matière de régulateurs de vitesse avec gestion des inter-distances est un sujet prometteur dans le domaine des transports intelligents. Un des principaux défis restant à relever dans ce domaine est la perception de l'environnement du véhicule, tout particulièrement à basse vitesse. Dans cet article, nous présentons une nouvelle approche basée sur un système de stéréovision permettant de suivre en 3-D la position et la vitesse du véhicule ciblé.Cette méthode est une extension de l'algorithme proposé par Lucas & Kanade [8, 1]. Nous avons intégré deux contraintes permettant d'exploiter au mieux la stéréovision : (1) la contrainte épipolaire, qui assure que les points suivis restent sur les lignes épipolaires, et (2) la contrainte de grandissement qui lie la profondeur du point suivi à sa taille apparente dans l'image. Nous présentons des résultats expérimentaux sur des données réelles et simulées prouvant l'apport de la méthode en terme de précision et de robustesse