Embedded Visual SLAM Methodology for Drone Surveillance

Abstract

Les drones autonomes dédiés à la surveillance nécessitent une localisation visuelle fiable tout en respectant des contraintes de poids, de coût et de consommation énergétique. Dans ce contexte, les capteurs légers comme les caméras monoculaires représentent une solution attrayante. Cependant, les algorithmes classiques de SLAM visuel, tels qu'ORB-SLAM, montrent leurs limites dans des environnements réels où les objets dynamiques perturbent la carte de navigation, où l'échelle métrique est absente, et où la localisation absolue n'est pas garantie. Cette thèse vise à lever ces verrous en adaptant ORB-SLAM aux contraintes spécifiques d'un drone de surveillance visuelle. La méthodologie développée repose sur trois améliorations clés. D'abord, les objets dynamiques sont détectés automatiquement et les points d'intérêt associés sont retirés du processus de SLAM afin d'éviter les erreurs d'ancrage sur des entités en mouvement. Ensuite, l'échelle est estimée à partir d'objets statiques dont les dimensions sont connues, permettant de reconstruire des cartes cohérentes en unités réelles. Enfin, la localisation est initialisée de façon absolue grâce à un repère visuel géoréférencé dans l'environnement, assurant une pose globale cohérente dès le démarrage. Au-delà de l'amélioration de la robustesse du SLAM, cette méthode permet également d'alimenter le système de surveillance en fournissant des positions absolues de cibles, exploitables par des opérateurs humains pour des tâches d'observation et d'intervention. La détection des objets dynamiques a été validée par des expérimentations sur la base de données TUM RGB-D et montre une nette amélioration par rapport à un SLAM classique. L'approche globale intégrant les trois volets (objets dynamiques, objets statiques, repère d'initialisation) a quant à elle été validée expérimentalement dans une volière sur un drone DJI Tello, démontrant la faisabilité et la pertinence de cette solution embarquée pour des missions de surveillance autonomes.Autonomous drones dedicated to surveillance missions require reliable visual localization while meeting constraints related to weight, cost, and energy consumption. In this context, lightweight sensors such as monocular cameras offer an attractive solution. However, classical visual SLAM algorithms, such as ORB-SLAM, show significant limitations in real-world environments where dynamic objects disrupt the navigation map, where metric scale is missing, and where absolute localization is not guaranteed. This thesis aims to address these challenges by adapting ORB-SLAM to the specific constraints of a visual surveillance drone. The proposed methodology relies on three key enhancements. First, dynamic objects are automatically detected, and the associated visual features are removed from the SLAM process to avoid incorrect anchoring on moving entities. Second, the scale is estimated from static objects with known dimensions, enabling the reconstruction of consistent maps in real-world units. Finally, localization is initialized in an absolute manner using a georeferenced visual landmark placed in the environment, ensuring a coherent global pose from the start. Beyond improving the robustness of the SLAM process, this method also enhances the surveillance system by providing absolute target positions, which human operators can exploit for observation and intervention tasks. The dynamic object detection module was validated using experiments on the TUM RGB-D dataset and showed significant improvements over standard SLAM approaches. The complete solution integrating (dynamic object filtering, scale estimation, and absolute pose initialization) was experimentally validated in a controlled indoor environment using a DJI Tello drone, demonstrating the feasibility and relevance of this embedded approach for autonomous surveillance missions