Distributed Robotic Vision for Calibration, Localisation, and Mapping

This dissertation explores distributed algorithms for calibration, localisation, and mapping in the context of a multi-robot network equipped with cameras and onboard processing, comparing against centralised alternatives where all data is transmitted to a singular external node on which processing occurs. With the rise of large-scale camera networks, and as low-cost on-board processing becomes increasingly feasible in robotics networks, distributed algorithms are becoming important for robustness and scalability. Standard solutions to multi-camera computer vision require the data from all nodes to be processed at a central node which represents a significant single point of failure and incurs infeasible communication costs. Distributed solutions solve these issues by spreading the work over the entire network, operating only on local calculations and direct communication with nearby neighbours. This research considers a framework for a distributed robotic vision platform for calibration, localisation, mapping tasks where three main stages are identified: an initialisation stage where calibration and localisation are performed in a distributed manner, a local tracking stage where visual odometry is performed without inter-robot communication, and a global mapping stage where global alignment and optimisation strategies are applied. In consideration of this framework, this research investigates how algorithms can be developed to produce fundamentally distributed solutions, designed to minimise computational complexity whilst maintaining excellent performance, and designed to operate effectively in the long term. Therefore, three primary objectives are sought aligning with these three stages

Enhanced vision-based localization and control for navigation of non-holonomic omnidirectional mobile robots in GPS-denied environments

New Zealand’s economy relies on primary production to a great extent, where use of the technological advances can have a significant impact on the productivity. Robotics and automation can play a key role in increasing productivity in primary sector, leading to a boost in national economy. This thesis investigates novel methodologies for design, control, and navigation of a mobile robotic platform, aimed for field service applications, specifically in agricultural environments such as orchards to automate the agricultural tasks. The design process of this robotic platform as a non-holonomic omnidirectional mobile robot, includes an innovative integrated application of CAD, CAM, CAE, and RP for development and manufacturing of the platform. Robot Operating System (ROS) is employed for the optimum embedded software system design and development to enable control, sensing, and navigation of the platform. 3D modelling and simulation of the robotic system is performed through interfacing ROS and Gazebo simulator, aiming for off-line programming, optimal control system design, and system performance analysis. Gazebo simulator provides 3D simulation of the robotic system, sensors, and control interfaces. It also enables simulation of the world environment, allowing the simulated robot to operate in a modelled environment. The model based controller for kinematic control of the non-holonomic omnidirectional platform is tested and validated through experimental results obtained from the simulated and the physical robot. The challenges of the kinematic model based controller including the mathematical and kinematic singularities are discussed and the solution to enable an optimal kinematic model based controller is presented. The kinematic singularity associated with the non-holonomic omnidirectional robots is solved using a novel fuzzy logic based approach. The proposed approach is successfully validated and tested through the simulation and experimental results. Development of a reliable localization system is aimed to enable navigation of the platform in GPS-denied environments such as orchards. For this aim, stereo visual odometry (SVO) is considered as the core of the non-GPS localization system. Challenges of SVO are introduced and the SVO accumulative drift is considered as the main challenge to overcome. SVO drift is identified in form of rotational and translational drift. Sensor fusion is employed to improve the SVO rotational drift through the integration of IMU and SVO. A novel machine learning approach is proposed to improve the SVO translational drift using Neural-Fuzzy system and RBF neural network. The machine learning system is formulated as a drift estimator for each image frame, then correction is applied at that frame to avoid the accumulation of the drift over time. The experimental results and analyses are presented to validate the effectiveness of the methodology in improving the SVO accuracy. An enhanced SVO is aimed through combination of sensor fusion and machine learning methods to improve the SVO rotational and translational drifts. Furthermore, to achieve a robust non-GPS localization system for the platform, sensor fusion of the wheel odometry and the enhanced SVO is performed to increase the accuracy of the overall system, as well as the robustness of the non-GPS localization system. The experimental results and analyses are conducted to support the methodology

Calibrage et modélisation d’un système de stéréovision hybride et panoramique

Dans cette thèse nos contributions à la résolution de deux problématiques rencontrées en vision numérique et en photogrammétrie, qui sont le calibrage de caméras et la stéréovision, sont présentées. Ces deux problèmes font l’objet de très nombreuses recherches depuis plusieurs années. Les techniques de calibrage existantes diffèrent beaucoup suivant le type de caméras à calibrer (classique ou panoramique, à focale fixe ou à focale variable, ..). Notre première contribution est un banc de calibrage, à l’aide des éléments d’optique diffractive, qui permet de calibrer avec une bonne précision une très grande partie des caméras existantes. Un modèle simple et précis qui décrit la projection de la grille formée sur l’image et une méthode de calibrage pour chaque type de caméras est proposé. La technique est très robuste et les résultats pour l’ensemble des caméras calibrées sont optimaux. Avec la multiplication des types de caméras et la diversité des modèles de projections, un modèle de formation d'image générique semble très intéressant. Notre deuxième contribution est un modèle de projection unifié pour plusieurs caméras classiques et panoramiques. Dans ce modèle, toute caméra est modélisée par une projection rectiligne et des splines cubiques composées permettant de représenter toutes sortes de distorsions. Cette approche permet de modéliser géométriquement les systèmes de stéréovision mixtes ou panoramiques et de convertir une image panoramique en une image classique. Par conséquent, le problème de stéréovision mixte ou panoramique est transformé en un problème de stéréovision conventionnelle. Mots clés : calibrage, vision panoramique, distorsion, fisheye, zoom, panomorphe, géométrie épipolaire, reconstruction tridimensionnelle, stéréovision hybride, stéréovision panoramique.This thesis aims to present our contributions to the resolution of two problems encountered in the field of computer vision and photogrammetry, which are camera calibration and stereovision. These two problems have been extensively studied in the last years. Different camera calibration techniques have been developed in the literature depending on the type of camera (classical or panoramic, with zoom lens or fixed lens..). Our first contribution is a compact and accurate calibration setup, based on diffractive optical elements, which is suitable for different kind of cameras. The technique is very robust and optimal results were achieved for different types of cameras. With the multiplication of camera types and the diversity of the projection models, a generic model has become very interesting. Our second contribution is a generic model, which is suitable for conventional and panoramic cameras. In this model, composed cubic splines functions provide more realistic model of both radial and tangential distortions. Such an approach allows to model either hybrid or panoramic stereovision system and to convert panoramic image to classical image. Consequently, the processing challenges of a hybrid stereovision system or a panoramic stereovision system are turned into simple classical stereovision problems. Keywords: Calibration, panoramic vision, distortions, fisheye, zoom, panomorph, epipolar geometry, three-dimensional reconstruction, hybrid stereovision, panoramic stereovision

Camera Calibration with Non-Central Local Camera Models

Kamerakalibrierung ist eine wichtige Grundvoraussetzung für viele Computer-Vision-Algorithmen wie Stereo-Vision und visuelle Odometrie. Das Ziel der Kamerakalibrierung besteht darin, sowohl die örtliche Lage der Kameras als auch deren Abbildungsmodell zu bestimmen. Das Abbildungsmodell einer Kamera beschreibt den Zusammenhang zwischen der 3D-Welt und der Bildebene. Aktuell werden häufig einfache globale Kamera-Modelle in einem Kalibrierprozess geschätzt, welcher mit vergleichsweise geringem Aufwand und einer großen Fehlertoleranz durchgeführt werden kann. Um das resultierende Kameramodell zu bewerten, wird in der Regel der Rückprojektionsfehler als Maß herangezogen. Jedoch können auch einfache Kameramodelle, die das Abbildungsverhalten von optischen Systemen nicht präzise beschreiben können, niedrige Rückprojektionsfehler erzielen. Dies führt dazu, dass immer wieder schlecht kalibrierte Kameramodelle nicht als solche identifiziert werden. Um dem entgegen zu wirken, wird in dieser Arbeit ein neues kontinuierliches nicht-zentrales Kameramodell basierend auf B-Splines vorgeschlagen. Dieses Abbildungsmodell ermöglicht es, verschiedene Objektive und nicht-zentrale Verschiebungen, die zum Beispiel durch eine Platzierung der Kamera hinter einer Windschutzscheibe entstehen, akkurat abzubilden. Trotz der allgemeinen Modellierung kann dieses Kameramodell durch einen einfach zu verwendenden Schachbrett-Kalibrierprozess geschätzt werden. Um Kalibrierergebnisse zu bewerten, wird anstelle des mittleren Rückprojektionsfehlers ein Kalibrier-Benchmark vorgeschlagen. Die Grundwahrheit des Kameramodells wird durch ein diskretes Sichtstrahlen-basiertes Modell beschrieben. Um dieses Modell zu schätzen, wird ein Kalibrierprozess vorgestellt, welches ein aktives Display als Ziel verwendet. Dabei wird eine lokale Parametrisierung für die Sichtstrahlen vorgestellt und ein Weg aufgezeigt, die Oberfläche des Displays zusammen mit den intrinsischen Kameraparametern zu schätzen. Durch die Schätzung der Oberfläche wird der mittlere Punkt-zu-Linien-Abstand um einen Faktor von mehr als 20 reduziert. Erst dadurch kann das so geschätzte Kameramodell als Grundwahrheit dienen. Das vorgeschlagene Kameramodell und die dazugehörigen Kalibrierprozesse werden durch eine ausführliche Auswertung in Simulation und in der echten Welt mithilfe des neuen Kalibrier-Benchmarks bewertet. Es wird gezeigt, dass selbst in dem vereinfachten Fall einer ebenen Glasscheibe, die vor der Kamera platziert ist, das vorgeschlagene Modell sowohl einem zentralen als auch einem nicht-zentralen globalen Kameramodell überlegen ist. Am Ende wird die Praxistauglichkeit des vorgeschlagenen Modells bewiesen, indem ein automatisches Fahrzeug kalibriert wird, das mit sechs Kameras ausgestattet ist, welche in unterschiedliche Richtungen zeigen. Der mittlere Rückprojektionsfehler verringert sich durch das neue Modell bei allen Kameras um den Faktor zwei bis drei. Der Kalibrier-Benchmark ermöglicht es in Zukunft, die Ergebnisse verschiedener Kalibrierverfahren miteinander zu vergleichen und die Genauigkeit des geschätzten Kameramodells mithilfe der Grundwahrheit akkurat zu bestimmen. Die Verringerung des Kalibrierfehlers durch das neue vorgeschlagene Kameramodell hilft die Genauigkeit weiterführender Algorithmen wie Stereo-Vision, visuelle Odometrie oder 3D-Rekonstruktion zu erhöhen

A Comprehensive Review on Autonomous Navigation

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed

Konforme geometrische Algebra und deren Anwendungen auf stochastische Optimierungsprobleme im Bereich 3D-Vision

In the present work, the modeling capabilities of conformal geometric algebra (CGA) are harnessed to approach typical problems from the research field of 3D-vision. This increasingly popular methodology is then extended in a new fashion by the integration of a least squares technique into the framework of CGA. Specifically, choosing the linear Gauss-Helmert model as the basis, the most general variant of least squares adjustment can be brought into operation. The result is a new versatile parameter estimation, termed GH-method, that reconciles two different mathematical areas, that is algebra and stochastics, under the umbrella of geometry. The main concern of the thesis is to show up the advantages inhering with this combination. Monocular pose estimation, from the subject 3D-vision, is the applicational focus of this thesis; given a picture of a scene, position and orientation of the image capturing vision system with respect to an external coordinate system define the pose. The developed parameter estimation technique is applied to different variants of this problem. Parameters are encoded by the algebra elements, called multivectors. They can be geometric objects as a circle, geometric operators as a rotation or likewise the pose. In the conducted pose experiments, observations are image pixels with associated uncertainties. The high accuracy achieved throughout all experiments confirms the competitiveness of the proposed estimation technique. Central to this work is also the consideration of omnidirectional vision using a paracatadioptric imaging sensor. It is demonstrated that CGA provides the ideal framework to model the related image formation. Two variants of the perspective pose estimation problem are adapted to the omnidirectional case. A new formalization of the epipolar geometry of two images in terms of CGA is developed, from which new insights into the structures behind the essential and the fundamental matrix, respectively, are drawn. Renowned standard approaches are shown to implicitly make use of CGA. Finally, an invocation of the GH-method for estimating epipoles is presented. Experimental results substantiate the goodness of this approach. Next to the detailed elucidations on parameter estimation, this text also gives a comprehensive introduction to geometric algebra, its tensor representation, the conformal space and the respective conformal geometric algebra. A valuable contribution is especially the analytic investigation into the geometric capabilities of CGA.Die vorliegende Arbeit ist motiviert durch die im Forschungszweig Computer Vision (CV) der Informatik typisch auftretenden geometrischen Problemstellungen auf der Grundlage von digitalen Bildaufnahmen. Hierzu zählt die Berechnung einer optimal durch eine Menge von Bildpunkten verlaufende Kurve, die Bestimmung der Epipolargeometrie, das Schätzen der Pose eines Objektes oder die 3D-Rekonstruktion. Diese Klasse von Problemen lässt sich durch den Einsatz der geometrischen Algebra (GA) – so werden unter geometrischen Aspekten besonders interessante Clifford Algebren bezeichnet – in überaus prägnanter und geschlossener Form modellieren. Dieser mit wachsender Akzeptanz verfolgte Ansatz, der beständig durch den Lehrstuhl „Kognitive Systeme“ der Universität Kiel weiterentwickelt wird, ist zentraler Bestandteile der Dissertation. Speziell wird die „konforme geometrische Algebra“ (CGA), die auf einer nicht-linearen Einbettung des euklidischen 3D-Raumes in einen fünfdimensionalen projektiven konformen Raum beruht, eingesetzt. Die Elemente dieser Algebra erlauben die Repräsentation geometrischer Basisentitäten, im wesentlichen Punkte, Linien, Kreise, Kugeln und Ebenen. Eine Vielzahl von Operationen ist möglich; besonders interessant sind die Transformationen der enthaltenen konformen Gruppe sowie die Möglichkeit algebraisch mit Unterräumen zu rechnen, d.h. diese zu vergrößern, zu schneiden oder Inzidenzen abzufragen. Den zweiten wichtigen Bestandteil der Arbeit stellt ein für die oben genannten Problemstellungen typisches stochastischen Verfahren dar – die Ausgleichsrechnung nach der Methode der kleinsten Quadrate. Deren allgemeinste Form erwächst aus der Verwendung des aus der Geodäsie bekannten linearen Gauß-Helmert (GH) Modells. Der resultierende GH-Schätzer zeigt alle Optimalitätseigenschaften wie minimale Varianz und Erwartungstreue. Eine der geometrischen Algebra inhärente Tensordarstellung stellt eine geeignete numerische Schnittstelle zwischen CGA und der GH-Schätzmethode zur Verfügung. Aufgrund der Bilinearität des Algebraprodukts lässt sich so ebenfalls das Konzept der Fehlerfortpflanzung, ein wichtiges Instrument der Ausgleichsrechnung, mit hoher Genauigkeit auf die Operationen der Algebra ausdehnen. Im Ergebnis entsteht ein neues universelles Parameterschätzverfahren zur Bestimmung der des jeweiligen Problems zugrundeliegenden Variablen. Ziel der vorliegenden Arbeit ist es auch, die aus der Verbindung von Algebra und Stochastik entstehenden Vorteile anhand von typischen CV-Anwendungen herauszustellen. Den Schwerpunkt hierfür bildet die Schätzung der Pose (Position und Orientierung eines Objekts bezüglich eines objektfremden Koordinatensystems), z.B. die eines Roboters anhand eines vom Roboter aufgenommenen Kamerabildes. Es wird ebenfalls gezeigt, dass CGA den optimalen Rahmen zur Modellierung omnidirektionaler Bildgebungsverfahren bietet, falls diese auf einem katadioptrischen System mit parabolischem Spiegel beruhen. Als omnidirektionale Anwendungen werden Posenschätzung sowie die Bestimmung der Epipolargeometrie präsentiert. Die erreichte Güte der GH-Parameterschätzung in den einzelnen Anwendungen wird jeweils durch experimentell gewonnene Resultate untermauert. Neben den umfangreichen Ausführungen zur Parameterschätzung liefert diese Arbeit auch eine detaillierte Einführung und Herleitung der geometrischen Algebra. Besonderes Augenmerk ist auch auf die analytische Darlegung der konformen geometrischen Algebra zu richten