Cylindrical Calibration for Hybrid Epipolar Configurations

This paper deals with the calibration of a cylindrical omnidirectional imaging system, based on a rotating 2048 pixels linear camera which provides high definition panoramas. The two-step algorithm relies on line segment projections as calibration features, which are sinusoidal curves. A cylindrical image line detection algorithm is proposed, based on the dual principle of the Hough transform. Moreover, the use of Plücker coordinates introduces some new characteristics in the calibration process. This kind of formalism allows a linearization of the cylindrical projection, which is non-linear in the usual way. Results obtained from this first step are used to evaluate one of the intrinsic parameters, the other one being determined by a linear criterion minimization in the dual space, ie the sine magnitude space.Cet article présente le calibrage d'un capteur cylindrique omnidirectionnel, qui fournit des panoramas Haute Résolution par la mise en rotation d'une caméra CCD linéaire. L'algorithme utilise les segments de droite pour primitives, dont les projections sont des composées de sinusoïdes, et est constitué de deux étapes. Un algorithme de détection et d'identification de l'image de droites est proposé, selon une méthode proche de la transformée de Hough. De plus, l'utilisation des coordonnées de Plücker permet la linéarisation de la projection cylindrique. Les résultats extraits de la première étape sont utilisés pour l'évaluation du premier paramètre intrinsèque. Le second est quant à lui déterminé par l'intermédiaire de la minimisation d'un critère linéaire dans l'espace d'accumulation

Visual Odometry and Sparse Scene Reconstruction for UAVs with a Multi-Fisheye Camera System

Autonomously operating UAVs demand a fast localization for navigation, to actively explore unknown areas and to create maps. For pose estimation, many UAV systems make use of a combination of GPS receivers and inertial sensor units (IMU). However, GPS signal coverage may go down occasionally, especially in the close vicinity of objects, and precise IMUs are too heavy to be carried by lightweight UAVs. This and the high cost of high quality IMU motivate the use of inexpensive vision based sensors for localization using visual odometry or visual SLAM (simultaneous localization and mapping) techniques. The first contribution of this thesis is a more general approach to bundle adjustment with an extended version of the projective coplanarity equation which enables us to make use of omnidirectional multi-camera systems which may consist of fisheye cameras that can capture a large field of view with one shot. We use ray directions as observations instead of image points which is why our approach does not rely on a specific projection model assuming a central projection. In addition, our approach allows the integration and estimation of points at infinity, which classical bundle adjustments are not capable of. We show that the integration of far or infinitely far points stabilizes the estimation of the rotation angles of the camera poses. In its second contribution, we employ this approach to bundle adjustment in a highly integrated system for incremental pose estimation and mapping on light-weight UAVs. Based on the image sequences of a multi-camera system our system makes use of tracked feature points to incrementally build a sparse map and incrementally refines this map using the iSAM2 algorithm. Our system is able to optionally integrate GPS information on the level of carrier phase observations even in underconstrained situations, e.g. if only two satellites are visible, for georeferenced pose estimation. This way, we are able to use all available information in underconstrained GPS situations to keep the mapped 3D model accurate and georeferenced. In its third contribution, we present an approach for re-using existing methods for dense stereo matching with fisheye cameras, which has the advantage that highly optimized existing methods can be applied as a black-box without modifications even with cameras that have field of view of more than 180 deg. We provide a detailed accuracy analysis of the obtained dense stereo results. The accuracy analysis shows the growing uncertainty of observed image points of fisheye cameras due to increasing blur towards the image border. Core of the contribution is a rigorous variance component estimation which allows to estimate the variance of the observed disparities at an image point as a function of the distance of that point to the principal point. We show that this improved stochastic model provides a more realistic prediction of the uncertainty of the triangulated 3D points.Autonom operierende UAVs benötigen eine schnelle Lokalisierung zur Navigation, zur Exploration unbekannter Umgebungen und zur Kartierung. Zur Posenbestimmung verwenden viele UAV-Systeme eine Kombination aus GPS-Empfängern und Inertial-Messeinheiten (IMU). Die Verfügbarkeit von GPS-Signalen ist jedoch nicht überall gewährleistet, insbesondere in der Nähe abschattender Objekte, und präzise IMUs sind für leichtgewichtige UAVs zu schwer. Auch die hohen Kosten qualitativ hochwertiger IMUs motivieren den Einsatz von kostengünstigen bildgebenden Sensoren zur Lokalisierung mittels visueller Odometrie oder SLAM-Techniken zur simultanen Lokalisierung und Kartierung. Im ersten wissenschaftlichen Beitrag dieser Arbeit entwickeln wir einen allgemeineren Ansatz für die Bündelausgleichung mit einem erweiterten Modell für die projektive Kollinearitätsgleichung, sodass auch omnidirektionale Multikamerasysteme verwendet werden können, welche beispielsweise bestehend aus Fisheyekameras mit einer Aufnahme einen großen Sichtbereich abdecken. Durch die Integration von Strahlrichtungen als Beobachtungen ist unser Ansatz nicht von einem kameraspezifischen Abbildungsmodell abhängig solange dieses der Zentralprojektion folgt. Zudem erlaubt unser Ansatz die Integration und Schätzung von unendlich fernen Punkten, was bei klassischen Bündelausgleichungen nicht möglich ist. Wir zeigen, dass durch die Integration weit entfernter und unendlich ferner Punkte die Schätzung der Rotationswinkel der Kameraposen stabilisiert werden kann. Im zweiten Beitrag verwenden wir diesen entwickelten Ansatz zur Bündelausgleichung für ein System zur inkrementellen Posenschätzung und dünnbesetzten Kartierung auf einem leichtgewichtigen UAV. Basierend auf den Bildsequenzen eines Mulitkamerasystems baut unser System mittels verfolgter markanter Bildpunkte inkrementell eine dünnbesetzte Karte auf und verfeinert diese inkrementell mittels des iSAM2-Algorithmus. Unser System ist in der Lage optional auch GPS Informationen auf dem Level von GPS-Trägerphasen zu integrieren, wodurch sogar in unterbestimmten Situation - beispielsweise bei nur zwei verfügbaren Satelliten - diese Informationen zur georeferenzierten Posenschätzung verwendet werden können. Im dritten Beitrag stellen wir einen Ansatz zur Verwendung existierender Methoden für dichtes Stereomatching mit Fisheyekameras vor, sodass hoch optimierte existierende Methoden als Black Box ohne Modifzierungen sogar mit Kameras mit einem Gesichtsfeld von mehr als 180 Grad verwendet werden können. Wir stellen eine detaillierte Genauigkeitsanalyse basierend auf dem Ergebnis des dichten Stereomatchings dar. Die Genauigkeitsanalyse zeigt, wie stark die Genauigkeit beobachteter Bildpunkte bei Fisheyekameras zum Bildrand aufgrund von zunehmender Unschärfe abnimmt. Das Kernstück dieses Beitrags ist eine Varianzkomponentenschätzung, welche die Schätzung der Varianz der beobachteten Disparitäten an einem Bildpunkt als Funktion von der Distanz dieses Punktes zum Hauptpunkt des Bildes ermöglicht. Wir zeigen, dass dieses verbesserte stochastische Modell eine realistischere Prädiktion der Genauigkeiten der 3D Punkte ermöglicht

Computer Vision and Image Understanding xxx

Abstract 13 This paper presents a panoramic virtual stereo vision approach to the problem of detecting 14 and localizing multiple moving objects (e.g., humans) in an indoor scene. Two panoramic 15 cameras, residing on different mobile platforms, compose a virtual stereo sensor with a flexible 16 baseline. A novel ''mutual calibration'' algorithm is proposed, where panoramic cameras on 17 two cooperative moving platforms are dynamically calibrated by looking at each other. A de-18 tailed numerical analysis of the error characteristics of the panoramic virtual stereo vision 19 (mutual calibration error, stereo matching error, and triangulation error) is given to derive 20 rules for optimal view planning. Experimental results are discussed for detecting and localizing 21 multiple humans in motion using two cooperative robot platforms. 2

Multi-view geometry for general camera models

We consider the structure from motion problem for a previously introduced, highly general imaging model, where cameras are modeled as possibly unconstrained sets of projection rays. This allows to describe most existing camera types (at least for those operating in the visible domain), including pinhole cameras, sensors with radial or more general distortions, catadioptric cameras (central or non-central), etc. We introduce a hierarchy of general camera models: the most general model has unconstrained projection rays whereas the most constrained model dealt with here is the central model, where all rays pass through a single point. Intermediate models are what we call axial cameras (all rays touch a single line), and x-slit cameras (rays touch two lines). The foundations for a multi-view geometry of completely non-central cameras are given, leading to the formulation of multi-view matching tensors, analogous to the fundamental/essential matrices, trifocal and quadrifocal tensors of perspective cameras. This framework is then specialized explicitly for the two-view case, for the intermediate camera types mentioned above.Nous considérons le problème de l’estimation de la structure et du mouvement pour un modèle de caméras hautement général, qui représente une caméra par un ensemble de rayons de projection. Ceci permet de décrire la plupart des types de caméras existants (du moins celles qui opèrent dans le domaine visible), y inclus les caméras sténopé, les caméras avec des distorsions radiales ou plus générales, les caméras catadioptriques (à point de vue unique ou non), etc. Nous introduisons une hiérarchie de modèles de caméras généraux : le modèle le plus général peut posséder des rayons de projection quelconques tandis que le modèle le plus contraint que nous considérons ici est le modèle à point de vue unique (tous les rayons passent par un même point). Parmi les modèles intermédiaires, nous identifions ce que nous appelons les caméras axiales (tous les rayons touchent une même ligne) et les caméras connues sous le nom de « cross-slit » (les rayons touchent deux lignes). Les fondements d’une géométrie d’images multiples pour le modèle de caméras le plus général sont donnés. Ils se manifestent par la formulation de tenseurs d’appariement multi-vues, qui sont l’analogue des matrices fondamentales/essentielles, tenseurs trifocaux ou quadrifocaux des caméras perspectives. Ce cadre théorique général est ensuite spécialisé pour les modèles de caméras intermédiaires mentionnés, pour le cas de deux images

Modèle de formation du flou d'une caméra rotative à bande et son impact sur la reconstruction 3D

L'imagerie panoramique permet d'élargir le champ visuel restreint des caméras standards. La reconstruction 3D d'une scène peut se faire à l'aide d'une ou plusieurs images panoramiques. Afin de reconstruire une scène en trois dimensions à partir d'images panoramiques, plusieurs méthodes existent. Dans ce document, nous nous intéressons à l'utilisation du flou comme indice de profondeur. Plus précisément, nous nous intéressons à la différence de flou proposée par Ziou et Deschênes en 1999 sur des images saisies à l'aide d'une caméra panoramique rotative à bande. Dans un premier temps, nous effectuons l'analyse du modèle de formation du flou d'une caméra rotative à bande et proposons une adaptation du modèle de formation d'une caméra standard dans le cas d'images formées à l'aide d'un capteur linéaire en rotation. Ce modèle adapté est ensuite utilisé pour modifier l'algorithme de reconstruction 3D par différence de flou de Ziou et Deschênes dans le cas d'images panoramiques capturées à l'aide d'une caméra rotative à bande. Nous montrons que cette adaptation nous permet d'obtenir, à partir d'images panoramiques, des résultats similaires à 98% à ce que donne l'algorithme de reconstruction original sur des images non panoramiques