Localisation par vision multi-spectrale (Application aux systèmes embarqués)

Abstract

La problématique SLAM (Simultaneous Localization and Mapping) est un thème largement étudié au LAAS depuis plusieurs années. L'application visée concerne le développement d'un système d'aide au roulage sur aéroport des avions de ligne, ce système devant être opérationnel quelques soient les conditions météorologiques et de luminosité (projet SART financé par la DGE en partenariat avec principalement FLIR Systems, Latécoère et Thales).Lors de conditions de visibilité difficile (faible luminosité, brouillard, pluie...), une seule caméra traditionnelle n'est pas suffisante pour assurer la fonction de localisation. Dans un premier temps, on se propose d'étudier l'apport d'une caméra infrarouge thermique.Dans un deuxième temps, on s'intéressera à l'utilisation d'une centrale inertielle et d'un GPS dans l'algorithme de SLAM, la centrale aidant à la prédiction du mouvement, et le GPS à la correction des divergences éventuelles. Enfin, on intègrera dans ce même SLAM des pseudo-observations issues de l'appariement entre des segments extraits des images, et ces mêmes segments contenus dans une cartographie stockée dans une base de données. L'ensemble des observations et pseudo-observations a pour but de localiser le porteur à un mètre près.Les algorithmes devant être portés sur un FPGA muni d'un processeur de faible puissance par rapport aux PC standard (400 MHz), un co-design devra donc être effectué entre les éléments logiques du FPGA réalisant le traitement d'images à la volée et le processeur embarquant le filtre de Kalman étendu (EKF) pour le SLAM, de manière à garantir une application temps-réel à 30 Hz. Ces algorithmes spécialement développés pour le co-design et les systèmes embarqués avioniques seront testés sur la plate-forme robotique du LAAS, puis portés sur différentes cartes de développement (Virtex 5, Raspberry, PandaBoard...) en vue de l'évaluation des performancesThe SLAM (Simultaneous Localization and Mapping) problematic is widely studied from years at LAAS. The aimed application is the development of a helping rolling system for planes on airports. This system has to work under any visibility and weather conditions ("SART" project, funding by DGE, with FLIR Systems, Thalès and Latecoère).During some weather conditions (fog, rain, darkness), one only visible camera is not enough to complete this task of SLAM. Firstly, in this thesis, we will study what an infrared camera can bring to SLAM problematic, compared to a visible camera, particularly during hard visible conditions.Secondly, we will focus on using Inertial Measurement Unit (IMU) and GPS into SLAM algorithm, IMU helping on movement prediction, and GPS helping on SLAM correction step. Finally, we will fit in this SLAM algorithm pseudo-observations coming from matching between points retrieved from images, and lines coming from map database. The main objective of the whole system is to localize the vehicle at one meter.These algorithms aimed to work on a FPGA with a low-power processor (400MHz), a co-design between the hardware (processing images on the fly) and the software (embedding an Extended Kalman Filter (EKF) for the SLAM), has to be realized in order to guarantee a real-time application at 30 Hz. These algorithms will be experimented on LAAS robots, then embedded on different boards (Virtex 5, Raspberry Pi, PandaBoard...) for performances evaluationTOULOUSE-INSA-Bib. electronique (315559905) / SudocSudocFranceF