Toward 3D reconstruction of outdoor scenes using an MMW radar and a monocular vision sensor

International audienceIn this paper, we introduce a geometric method for 3D reconstruction of the exterior environment using a panoramic microwave radar and a camera. We rely on the complementarity of these two sensors considering the robustness to the environmental conditions and depth detection ability of the radar, on the one hand, and the high spatial resolution of a vision sensor, on the other. Firstly, geometric modeling of each sensor and of the entire system is presented. Secondly, we address the global calibration problem, which consists of finding the exact transformation between the sensors' coordinate systems. Two implementation methods are proposed and compared, based on the optimization of a non-linear criterion obtained from a set of radar-to-image target correspondences. Unlike existing methods, no special configuration of the 3D points is required for calibration. This makes the methods flexible and easy to use by a non-expert operator. Finally, we present a very simple, yet robust 3D reconstruction method based on the sensors' geometry. This method enables one to reconstruct observed features in 3D using one acquisition (static sensor), which is not always met in the state of the art for outdoor scene reconstruction.The proposed methods have been validated with synthetic and real data

Contrôle de la direction d'un véhicule agricole

Different approaches to realise the steering control of agricultural vehicles are presented. Results of a non-modeling approach on an agricultural tractor are described more in details. This approach is based on neural steering controller. During the first learning step, the neural controller "learn" to drive looking at the driver's behaviour. Modifications of vehicle behaviour (slope,...) are take into account with in-line learning capacities. / Différentes approches pour réaliser le contrôle de direction d'un engin agricole sont présentées. Les résultats de l'implantation d'une méthode non modélisante sur un tracteur agricole sont exposés plus en détails. Cette approche utilise un contrôleur de braquage neuronal. Durant une première phase d'apprentissage, le contrôleur neuronal "apprend" à conduire en observant le comportement du pilote humain. Les modifications de comportement du véhicule (sol en pente,...) sont prises en compte par une capacité d'apprentissage en ligne

Driving assistance for agricultural vehicle

An approach of automatic guidance vehicles is presented. It is a non-modelling approach based on vision analysis. The use of neural network controller allows to learn to drive "as well as the driver". In-line learning capacities are introduced to correct constant error due to dynamic effects on slope and sliding ground. Results on driving simulator and driving track are shown. / Une approche pour le guidage automatique des engins agricoles est présentée. Il s'agit d'une approche non-modélisante qui utilise des données issues d'un traitement d'images. L'utilisation d'un contrôleur neuronal permet d'apprendre à conduire "aussi bien que le chauffeur". Des capacités d'apprentissage en ligne sont introduites pour corriger des erreurs de braquage dues aux effets dynamiques sur pente et terrain glissant. Des résultats sur simulateur de conduite et sur piste d'essais sont exposés

Guidage automatique de machine agricole : état de l'art et présentation d'une application

This communication is about an automatic guiding system that includes a perception module based on artificial vision associated to an adaptive control module using techniques based on neural networks. The original principle allows one to detect in part of the image, the contrast interfaces contained in the guide; a statistical process computes the heading and position differences between the planned route and the vehicle, differences that are transmitted to the neural controller. Laboratory and field results are presented. / La communication présente un système de guidage automatique comprenant un module de perception basé sur la vision artificielle associé à un module de contrôle adaptatif utilisant les techniques à base de réseaux de neurones. Le principe original présenté permet de détecter dans une partie de l'image les interfaces de contraste contenues dans le guide ; un traitement statistique calcule les écarts de cap et de position entre la trace à suivre et le véhicule qui sont transmises au contrôleur neuronal. Les résultats en laboratoire et de terrains sont présentés et commentés

Automated trajectory following

Two approaches of automatic guidance for agricultural vehicles are presented. The first one uses absolute positioning and vehicle model. Driving algorithms allow to follow trajectories memorized during manual guidance or computed through path planning. The second one is a non-modelling approach based on vision analysis. The use of neural network controller allows to learn to drive "as well as the driver". In-line learning capacities are introduced to compensate for constant error due to dynamic effects. / Deux approches pour le guidage automatique des engins agricoles sont présentées. La première utilise un système de positionnement absolu et un modèle du véhicule. Les algorithmes de conduite testés permettent de suivre soit des trajectoires enregistrées lors d'une phase de conduite manuelle, soit des trajectoires planifiées. La seconde méthode est une approche non-modélisante basée sur de l'analyse d'images. L'utilisation d'un contrôleur neuronal permet d'apprendre à conduire "aussi bien que le pilote". Des capacités d'apprentissage en ligne sont introduites afin de compenser les erreurs constantes dues aux effets dynamiques

Cartographie à haute résolution de l'environnement avec un radar imageur terrestre

International audienceThe aim of this paper is to show the potential of the microwave radar as a sensor dedicated to outdoor perception. A new radar sensor named K2PI, based on the principle of Frequency-Modulated Continuous Wave (FM-CW) is presented here. An application in simultaneous localization and mapping using scan matching of radar images (R-SLAM algorithm) has been developed and first results in different environments are presented. Trajectories obtained by the R-Slam algorithm are compared with GPS positioning. The results show the ability of the microwave radar to build maps even in unstructured environment

A new radar sensor for coastal and riverbank monitoring

International audienceFor environmental management, remote sensing techniques are of major interest as they can provide global and local coverage of natural environments. Considering the visibility conditions that are often poor in outdoor environments (day/night cycles, clouds, shadows, fog, etc.), microwave system offers an alternative solution in order to overcome the difficulties of optical sensors. In order to deal with the need of high spatial resolution, close temporal acquisition, and low-cost data availability, we developed a small-sized microwave radar sensor called K2Pi. This radar is based on the principle of Frequency-Modulated Continuous Wave (FM-CW) technology. This radar can be easily positioned on different vehicles, including boats. An application in simultaneous localization and mapping using scan matching of radar images (R-SLAM algorithm) has been developed in order to build radar map of the environment. The potentialities of the sensor are presented through an application of riverbank mapping

Perception et cartographie 2D de l’environnement avec un radar hyperfréquence terrestre

National audiencePour de nombreuses applications comme la gestion de l’environnement ou la robotique mobile, la tâche de perception demeurent une opération critique lorsque l’on évolue en milieu naturel. Les systèmes de perception optiques (laser, vision) sont particulièrement bien adaptés aux milieux fermés, mais ils sont pénalisés par les conditions de visibilité rencontrées en milieux extérieurs : les alternances jour/nuit, la présence de poussières, les phénomènes météorologiques comme la couverture nuageuse, la pluie, le brouillard, etc. peuvent en effet détériorer la qualité de l’information fournie par ces capteurs. Dans ce contexte, un radar hyperfréquence peut apporter une solution alternative et complémentaire, car en raison de sa longueur d’onde millimétrique ou centimétrique, le signal radar est très peu perturbé par les conditions atmosphériques. Nous avons développé un imageur radar hyperfréquence qui peut être aisément implanté sur tout type de véhicule, et nous présentons ses potentialités à travers une application de cartographie de l‘environnement

Tracking footprints for agricultural applications: a low cost lidar approach

International audienceThe accuracy of a mobile robot is an important topic, which is subjected to an important attention. It is particularly crucial when considering off-road applications such as agricultural robot, since it rises questions for both localization and control. A possible way to avoid the use of expensive sensors (such as RTK-GPS) or building specific landmarks, lies in the exploitation of tire footprints, let in the soil by previous actions achieved manually or autonomously. These footprints are particularly detectable by several kind of sensors. This paper presents a method for tracking footprints with a low cost lidar sensor. The proposed way is to detect an expected footprint template and then aggregate successive detections to construct a 3D map. This map finally permit to compute a control law for path tracking regarding mobile robot position compared with footprint location

Cartographie 2D de l’environnement par radar hyperfréquence

National audiencePour de nombreuses applications comme la gestion de l’environnement ou la robotique mobile, la tâche de perception demeurent une opération critique lorsque l’on évolue en milieu naturel. Les systèmes de perception optiques (laser, vision) sont particulièrement bien adaptés aux milieux fermés, mais ils sont pénalisés par les conditions de visibilité rencontrées en milieux extérieurs : les alternances jour/nuit, la présence de poussières, les phénomènes météorologiques comme la couverture nuageuse, la pluie, le brouillard, etc. peuvent en effet détériorer la qualité de l’information fournie par ces capteurs. Dans ce contexte, un radar hyperfréquence peut apporter une solution alternative et complémentaire, car en raison de sa longueur d’onde millimétrique ou centimétrique, le signal radar est très peu perturbé par les conditions atmosphériques. Nous avons développé un imageur radar hyperfréquence qui peut être aisément implanté sur tout type de véhicule, et nous présentons ses potentialités à travers une application de cartographie de l‘environnement