Real Time UAV Altitude, Attitude and Motion Estimation form Hybrid Stereovision

International audienceKnowledge of altitude, attitude and motion is essential for an Unmanned Aerial Vehicle during crit- ical maneuvers such as landing and take-off. In this paper we present a hybrid stereoscopic rig composed of a fisheye and a perspective camera for vision-based navigation. In contrast to classical stereoscopic systems based on feature matching, we propose methods which avoid matching between hybrid views. A plane-sweeping approach is proposed for estimating altitude and de- tecting the ground plane. Rotation and translation are then estimated by decoupling: the fisheye camera con- tributes to evaluating attitude, while the perspective camera contributes to estimating the scale of the trans- lation. The motion can be estimated robustly at the scale, thanks to the knowledge of the altitude. We propose a robust, real-time, accurate, exclusively vision-based approach with an embedded C++ implementation. Although this approach removes the need for any non-visual sensors, it can also be coupled with an Inertial Measurement Unit

Hybrid stereo sensor for UAV navigation

Knowledge of attitude, altitude, ground plane segmentation and motion is essential for an Unmanned Aerial Vehicle during critical maneuvers such as landing and take-off. In this thesis we present a hybrid stereoscopic rig composed of a fisheye and a perspective camera for vision-based navigation. This sensor is then exploited by systemic methods. In contrast to classical stereoscopic systems based on feature matching, we propose methods which avoid matching between hybrid views. A plane-sweeping approach is proposed for estimating altitude and detecting the ground plane. Rotation and translation are then estimated by decoupling : the fisheye camera contributes to evaluating attitude, while the perspective camera contributes to estimating the scale of the translation. The motion can be estimated robustly at the meter scale, thanks to the knowledge of the altitude. Our method uses a 2-point algorithm complemented by a Kalman filter. We propose a robust, real-time, accurate, exclusively vision-based approach with a C++ implementation. Although this approach removes the need for any non-visual sensors, it can also be coupled with an Inertial Measurement Unit.La connaissance de l'attitude, de l'altitude, de la segmentation du sol et du mouvement est essentielle pour la navigation d'un drone, en particulier durant les phases critiques de décollage et d'atterrissage. Dans ce travail de thèse, nous présentons un système stéréoscopique hybride composé d'une caméra fisheye et d'une caméra perspective pour estimer les paramètres de navigation d'un drone. À partir de ce capteur, une approche systémique est proposée. Contrairement aux méthodes classiques de stéréovision basées sur l'appariement de primitives, nous proposons des méthodes qui évitent toute mise en correspondance entre les vues hybrides. Une technique de plane-sweeping est suggérée pour déterminer l'altitude et détecter le plan du sol. La rotation et la translation du mouvement sont ensuite découplés : la vue fisheye contribue à évaluer l'attitude et l'orientation tandis que la vue perspective contribue à apporter l'échelle métrique de la translation. Le mouvement peut ainsi être estimé de façon robuste et à l'échelle métrique grâce à la connaissance de l'altitude. Cette méthode repose sur l'algorithme des 2-points complété par un filtre de Kalman. Nous proposons des approches robustes, temps réel et précises, exclusivement basées sur la vision avec une implémentation C++. Bien que cette approche évite l'utilisation de capteurs autres que les caméras, ce système peut également être appuyé par une centrale inertielle

Multiple camera types simultaneous stereo calibration

International audienceCalibration is a classical issue in computer vision needed to retrieve 3D information from image measurements. This work presents a calibration approach for hybrid stereo rig involving multiple central camera types (perspective, flsheye, catadioptric). The paper extends the method of monocular perspective camera calibration using virtual visual servoing. The simultaneous intrinsic and extrinsic calibration of central cameras rig, using different models for each camera, is developed. The presented approach is suitable for the calibration of rigs composed by N cameras modelled by N different models. Calibration results, compared with state of the art approaches, and a 3D plane estimation application, allowed by the calibration, show the effectiveness of the approach. A cross-platform software implementing this method is available

HySCaS: Hybrid Stereoscopic Calibration Software

SPIE newsroom in Electronic Imaging & Signal ProcessingNew software simultaneously calibrates conventional and omnidirectional cameras in the same stereoscopic rig

Etalonnage simultané de systèmes stéréoscopiques hybrides

National audienceCalibration is a classical issue in computer vision needed to retrieve 3D information from image measurements. This work presents a calibration approach for hybrid stereo rig involving multiple central camera types (perspective, omnidirectional). The paper extends the method of monocular perspective camera calibration using virtual visual servoing. The simultaneous intrinsic and extrinsic calibration of central cameras rig, using different models for each camera, is developed. The presented approach is suitable for the calibration of rigs composed by N cameras modelled by N different models. Calibration results, compared with state of the art approaches, and a 3D plane estimation application, allowed by the calibration, show the effectiveness of the approach. A cross-platform software implementing this method is available.L'étalonnage est un problème classique en vision artificielle mais nécessaire pour retrouver l'information 3D à partir de mesures réalisées dans l'image. Ce travail présente une méthode d'étalonnage d'un banc stéréoscopique hybride composé de caméras de modèles différents (perspective, fisheye, catadioptrique). Cet article propose d'étendre la méthode d'étalonnage de caméra perspective utilisant l'asservissement visuel virtuel (AVV) à l'étalonnage simultané intrinsèque et extrinsèque d'un banc stéréo de caméras de modèles hybrides. L'approche présentée est valide pour l'étalonnage de bancs stéréo composés de N caméras modélisées par N modèles différents. Les résultats d'étalonnage, comparés aux approches de l'état de l'art, et utilisés pour une application d'estimation de plan 3D, montrent l'efficacité de l'approche. Enfin, un logiciel multi-plateforme implémentant cette méthode est mis à disposition de la communauté

Capteur de stétéovision hybride pour la navigation des drones

La connaissance de l attitude, de l altitude, de la segmentation du sol et du mouvement est essentielle pour la navigation d un drone, en particulier durant les phases critiques de décollage et d atterrissage. Dans ce travail de thèse, nous présentons un système stéréoscopique hybride composé d une caméra fisheye et d une caméra perspective pour estimer les paramètres de navigation d un drone. À partir de ce capteur, une approche systémique est proposée. Contrairement aux méthodes classiques de stéréovision basées sur l appariement de primitives, nous proposons des méthodes qui évitent toute mise en correspondance entre les vues hybrides. Une technique de plane-sweeping est suggérée pour déterminer l altitude et détecter le plan du sol. La rotation et la translation du mouvement sont ensuite découplés : la vue fisheye contribue à évaluer l attitude et l orientation tandis que la vue perspective contribue à apporter l échelle métrique de la translation. Le mouvement peut ainsi être estimé de façon robuste et à l échelle métrique grâce à la connaissance de l altitude. Cette méthode repose sur l algorithme des 2-points complété par un filtre de Kalman. Nous proposons des approches robustes, temps réel et précises, exclusivement basées sur la vision avec une implémentation C++. Bien que cette approche évite l utilisation de capteurs autres que les caméras, ce système peut également être appuyé par une centrale inertielle.Knowledge of attitude, altitude, ground plane segmentation and motion is essential for an Unmanned Aerial Vehicle during critical maneuvers such as landing and take-off. In this thesis we present a hybrid stereoscopic rig composed of a fisheye and a perspective camera for visionbased navigation. This sensor is then exploited by systemic methods. In contrast to classical stereoscopic systems based on feature matching, we propose methods which avoid matching between hybrid views. A planesweeping approach is proposed for estimating altitude and detecting the ground plane. Rotation and translation are then estimated by decoupling : the fisheye camera contributes to evaluating attitude, while the perspective camera contributes to estimating the scale of the translation. The motion can be estimated robustly at the meter scale, thanks to the knowledge of the altitude. Our method uses a 2-point algorithm complemented by a Kalman filter. We propose a robust, real-time, accurate, exclusively vision-based approach with a C++ implementation. Although this approach removes the need for any non-visual sensors, it can also be coupled with an Inertial Measurement Unit.AMIENS-BU Sciences (800212103) / SudocSudocFranceF

Classification automatique de véhicules à partir d'un capteur stéréo-fisheye

National audienceNous présentons dans ce papier un capteur de stéréovision à base de caméras fisheyes coaxiales, capables d'observer jusqu'à 2x3 voies de circulation et destiné à des applications autoroutières. En s'appuyant sur une modélisation sphérique des vues fisheyes, nous proposons une approche d'estimation de carte de disparité directe sans dépliage suivie d'une reconstruction 3D. La méthode proposée est entièrement basée sur l'interprétation des données de disparité / 3D. Le système élaboré permet d'acquérir, reconstruire et classifier automatiquement des véhicules dont les 2 Roues Motorisés (2RM). Les résultats expérimentaux montrent l'efficacité de la méthode, testée jusqu'à 133km/h sur voie rapide

Estimation temps réel de l'altitude d'un drone à partir d'un capteur de stéréovision mixte

National audienceL'altitude est l'un des paramètres les plus importants à connaitre pour un drone surtout pendant les phases de décollage et d'atterrissage. Dans ce papier nous présentons un nouveau capteur de stéréovision mixte composé d'une caméra fisheye et d'une caméra perspective pour l'estimation de l'altitude. Contrairement aux systèmes de stéréo classiques, basés sur l'appariement de points, nous proposons une approche de planesweeping pour l'estimation de l'altitude et la segmentation du sol. Par rapport au plan du sol, il existe une homographie entre les deux vues, le capteur étant calibré et l'attitude estimée par la caméra fishsheye, l'algorithme consiste en la recherche de l'altitude qui vérfie cette homographie. Nous montrons que cette méthode est robuste et précise et l'implémentation GPU permet une estimation temps réel. Des résultats expérimentaux sur des séquences réelles montrent la validité de l'approche

Estimation de mouvement d'un drone à partir d'un capteur stéréo hybride

National audienceMotion and velocity are two of the most important parameters to be known for an Unmanned Aerial Vehicle (UAV) especially during critical maneuvers such as landing or steady flight. In this paper, we present mixed stereoscopic vision system made of a fish-eye camera and a perspective camera for motion estimation. Contrary to classical stereoscopic systems based on feature matching between cameras, we propose an algorithm which tracks and exploits points in each camera independently. The omnidirectional view estimates the orientation of the motion while the perspective view contribute to estimate the scale of the translation and brings accuracy. By fusing points tracked in each camera and knowing the rotation between two consecutive positions, we can estimate robustly the translation and the velocity using the two-points algorithm. Then motion is filtered by Kalman filter to remove bad estimations. By experimental results on UAV, we validate the approach.Le mouvement et la vitesse sont deux paramètres essentiels à connaitre lors de la navigation d'un drone en particulier durant les phases critiques d'atterrissage et de navigation. Dans cet article, nous présentons un système stéréoscopique mixte composé d'une caméra fisheye et d'une caméra perspective pour estimer le mouvement. Le mouvement est découplé en rotation et translation. La vue fisheye évalue cette rotation, l'attitude et la translation globale alors que la vue perspective contribue à déterminer l'échelle de la translation et apporte une information de précision. Contrairement aux systèmes stéréoscopiques classiques basés sur l'appariement de primitives, nous proposons un algorithme qui suit et exploite des points dans chacune des caméras indépendamment. Les points suivis dans chacune des caméras sont classés en deux types puis sont fusionnés : on distingue les points localisés sur le sol, dont la profondeur est connue et les autres points de l'environnement, dont la profondeur est inconnue. Nous pouvons alors estimer de façon robuste la translation et la vitesse en utilisant l'algorithme des deux points suivi d'un filtrage de Kalman. Nous montrons que cette approche est robuste et précise grâce à l'utilisation des vues hybrides. Des résultats de synthèse et expérimentaux sur des séquences réelles d'un drone démontrent la validité de cette approche

UAV Altitude Estimation by Mixed Stereoscopic Vision

International audienceAltitude is one of the most important parameters to be known for an Unmanned Aerial Vehicle (UAV) especially during critical maneuvers such as landing or steady flight. In this paper, we present mixed stereoscopic vision system made of a fish-eye camera and a perspective camera for altitude estimation. Contrary to classical stereoscopic systems based on feature matching, we propose a plane sweeping approach in order to estimate the altitude and consequently to detect the ground plane. Since there exists a homography between the two views and the sensor being calibrated and the attitude estimated by the fish-eye camera, the algorithm consists then in searching the altitude which verifies this homography. We show that this approach is robust and accurate, and a CPU implementation allows a real time estimation. Experimental results on real sequences of a small UAV demonstrate the effectiveness of the approach