Auto-étalonnage de caméras fisheyes en environnement structuré

Session "Articles"National audienceCet article présente une méthode simple et totalement automatique de correction de la distorsion radiale des caméras à courte focale non étalonnées. Le principe consiste à estimer les paramètres intrinsèques d'un modèle de projection à partir de l'analyse d'une scène présentant des éléments tridimensionnels de type droite. Comme introduit par Devernay et Rosten, la projection des contours de ces éléments dans l'image non distordue doit rester un contour 2D droit. Ce travail propose une formalisation probabiliste originale continue de la présence d'alignement de primitives de contour ("edgels") au sein de l'image. Deux critères d'optimisation originaux ont été développés afin de maximiser cette probabilité, le premier basé sur un maximum de vraisemblance et le second sur l'entropie. Enfin, une méthode d'estimation de la probabilité qu'un pixel appartienne à un contour a été mise en place en se basant sur la propagation de l'erreur, supposée Gaussienne, du capteur de la caméra. Des expériences réalisées, à la fois sur des déformations de synthèse et des caméras réelles à courte focale, comparent les performances de la méthode proposée en terme de précision de correction et de robustesse en présence de bruit par rapport aux techniques habituellement utilisées

Comment calibrer extrinsèquement des caméras à champs non-recouvrants ? Application pour un robot mobile

National audienceMulti-camera systems are more and more used in visionbased robotics. An accurate extrinsic calibration (camera relative poses) is usually required. In most of cases, this task is done by matching features through different views of the same scene. However, if the camera fields of view do not overlap, such a matching procedure is not feasible anymore. This article deals with a simple and flexible extrinsic calibration method, for non-overlapping camera rig. The aim is the calibration of non-overlapping cameras embedded on a vehicle, for visual navigation purpose in urban environment. The cameras do not see the same area at the same time. The calibration procedure consists in manoeuvring the vehicle while each camera observes a static scene. Previously, the camera were intrinsically calibrated. The main contributions are a study of the singular motions and a specific bundle adjustment which both reconstructs the scene and calibrates the cameras. Solutions to handle the singular configurations, such as planar motions, are exposed. The proposed approach has been validated with synthetic and real data. This article is translated from [19].Les systèmes multi-caméras sont de plus en plus utilisés en robotique mobile. Il est souvent nécessaire que l'étalonnage extrinsèque (poses relatives des caméras) soit précis. Pour cela, on utilise généralement des appariements entre différentes vues, ce qui est impossible à réaliser si les champs de vue des caméras sont disjoints. Dans cet article, nous exposons une méthode simple et flexible pour étalonner extrinsèquement un système multicaméras dont les champs de vue sont disjoints. Le but est de calibrer des caméras embarquées sur un véhicule pour des applications de navigation en milieu urbain. Les caméras observent donc des régions différentes à un instant donné. La procédure d'étalonnage consiste à manoeuvrer le véhicule pendant que chaque caméra, intrinsèquement calibrée au préalable, observe une scène statique. Les principales contributions sont l'étude des mouvements singuliers, et un ajustement de faisceaux spécifique qui affine les scènes, les poses du système multi-caméras, et calibre extrinsèquement les caméras. Nous étudions comment traiter les mouvements singuliers, comme les mouvements plans. La méthode proposée est validée avec des données synthétiques et réelles. Traduction depuis l'anglais de l'article [19]

Non-overlapping camera calibration and 3D reconstruction : Application to Vision-Based Robotics

Ces travaux s’inscrivent dans le cadre du projet VIPA « Véhicule Individuel Public Autonome », au cours duquel le LASMEA et ses partenaires ont mis au point des véhicules capables de naviguer automatiquement, sans aucune infrastructure extérieure dédiée, dans des zones urbaines (parkings, zones piétonnes, aéroports). Il est doté de deux caméras, l’une à l’avant, et l’autre à l’arrière. Avant son déploiement, le véhicule doit tout d’abord être étalonné et conduit manuellement afin de reconstruire la carte d’amers visuels dans laquelle il naviguera ensuite automatiquement. Les travaux de cette thèse ont pour but de développer et de mettre en oeuvre des méthodes souples permettant d’étalonner cet ensemble de caméras dont les champs de vue sont totalement disjoints. Après une étape préalable d’étalonnage intrinsèque et un état de l’art sur les systèmes multi-caméra, nous développons et mettons en oeuvre différentes méthodes d’étalonnage extrinsèque (déterminant les poses relatives des caméras à champs de vue disjoints). La première méthode présentée utilise un miroir plan pour créer un champ de vision commun aux différentes caméras. La seconde approche consiste à manoeuvrer le véhicule pendant que chaque caméra observe une scène statique composée de cibles (dont la détection est sous-pixellique). Dans la troisième approche, nous montrons que l’étalonnage extrinsèque peut être obtenu simultanément à la reconstruction 3D (par exemple lors de la phase d’apprentissage), en utilisant des points d’intérêt comme amers visuels. Pour cela un algorithme d’ajustement de faisceaux multi-caméra a été développé avec une implémentation creuse. Enfin, nous terminons par un étalonnage déterminant l’orientation du système multi-caméra par rapport au véhicule.My research was involved in the VIPA « Automatic Electric Vehicle for Passenger Transportation » project. During which, the LASMEA and its partnerships have developed vehicles able to navigate autonomously, without any outside dedicated infrastructure in an urban environment (parking lots, pedestrian areas, airports). Two cameras are rigidly embedded on a vehicle : one at the front, another at the back. Before being available for autonomous navigation tasks, the vehicle have to be calibrated and driven manually in order to build a visual 3D map (calibration and learning steps). Then, the vehicle will use this map to localize itself and drive autonomously. The goals of this thesis are to develop and apply user friendly methods, which calibrate this set of nonoverlapping cameras. After a first step of intrinsic calibration and a state of the art on multi-camera rigs, we develop and test several methods to extrinsically calibrate non-overlapping cameras (i.e. estimate the camera relative poses). The first method uses a planar mirror to create an overlap between views of the different cameras. The second procedure consists in manoeuvring the vehicle while each camera observes a static scene (composed of a set of targets, which are detected accurately). In a third procedure, we solve the 3D reconstruction and the extrinsic calibration problems simultaneously (the learning step can be used for that purpose) relying on visual features such as interest points. To achieve this goal a multi-camera bundle adjustment is proposed and implemented with a sparse data structures. Lastly, we present a calibration of the orientation of a multi-camera rig relative to the vehicle

Etalonnage de caméras à champs disjoints et reconstruction 3D : Application à un robot mobile

My research was involved in the VIPA « Automatic Electric Vehicle for Passenger Transportation » project. During which, the LASMEA and its partnerships have developed vehicles able to navigate autonomously, without any outside dedicated infrastructure in an urban environment (parking lots, pedestrian areas, airports). Two cameras are rigidly embedded on a vehicle : one at the front, another at the back. Before being available for autonomous navigation tasks, the vehicle have to be calibrated and driven manually in order to build a visual 3D map (calibration and learning steps). Then, the vehicle will use this map to localize itself and drive autonomously. The goals of this thesis are to develop and apply user friendly methods, which calibrate this set of nonoverlapping cameras. After a first step of intrinsic calibration and a state of the art on multi-camera rigs, we develop and test several methods to extrinsically calibrate non-overlapping cameras (i.e. estimate the camera relative poses). The first method uses a planar mirror to create an overlap between views of the different cameras. The second procedure consists in manoeuvring the vehicle while each camera observes a static scene (composed of a set of targets, which are detected accurately). In a third procedure, we solve the 3D reconstruction and the extrinsic calibration problems simultaneously (the learning step can be used for that purpose) relying on visual features such as interest points. To achieve this goal a multi-camera bundle adjustment is proposed and implemented with a sparse data structures. Lastly, we present a calibration of the orientation of a multi-camera rig relative to the vehicle.Ces travaux s’inscrivent dans le cadre du projet VIPA « Véhicule Individuel Public Autonome », au cours duquel le LASMEA et ses partenaires ont mis au point des véhicules capables de naviguer automatiquement, sans aucune infrastructure extérieure dédiée, dans des zones urbaines (parkings, zones piétonnes, aéroports). Il est doté de deux caméras, l’une à l’avant, et l’autre à l’arrière. Avant son déploiement, le véhicule doit tout d’abord être étalonné et conduit manuellement afin de reconstruire la carte d’amers visuels dans laquelle il naviguera ensuite automatiquement. Les travaux de cette thèse ont pour but de développer et de mettre en oeuvre des méthodes souples permettant d’étalonner cet ensemble de caméras dont les champs de vue sont totalement disjoints. Après une étape préalable d’étalonnage intrinsèque et un état de l’art sur les systèmes multi-caméra, nous développons et mettons en oeuvre différentes méthodes d’étalonnage extrinsèque (déterminant les poses relatives des caméras à champs de vue disjoints). La première méthode présentée utilise un miroir plan pour créer un champ de vision commun aux différentes caméras. La seconde approche consiste à manoeuvrer le véhicule pendant que chaque caméra observe une scène statique composée de cibles (dont la détection est sous-pixellique). Dans la troisième approche, nous montrons que l’étalonnage extrinsèque peut être obtenu simultanément à la reconstruction 3D (par exemple lors de la phase d’apprentissage), en utilisant des points d’intérêt comme amers visuels. Pour cela un algorithme d’ajustement de faisceaux multi-caméra a été développé avec une implémentation creuse. Enfin, nous terminons par un étalonnage déterminant l’orientation du système multi-caméra par rapport au véhicule

An Overall Control Strategy Based on Target Reaching for the Navigation of a Urban Electric Vehicle

International audienceThis paper deals with reactive and flexible human-like autonomous vehicle navigation. A human driver reactively guides his vehicle, performing a smooth trajectory within the roads limits until reaching the defined goal. To obtain a similar behavior with an unmanned ground vehicle (UGV), this paper proposes a flexible control law to drive a vehicle towards desired static or dynamic targets based on a novel definition of control variables and Lyapunov stability analysis. Moreover, a target assignment strategy, combined with an appropriate sigmoid function, that allow to perform smooth, flexible and safe vehicle navigation through successive waypoints is presented. The stability of the proposed control strategy is proved according to Lyapunov synthesis. Simulations and experiments are performed in different cases to demonstrate the reliability and efficiency of the control strategy