Adaptive Robotic Information Gathering via Non-Stationary Gaussian Processes

Robotic Information Gathering (RIG) is a foundational research topic that answers how a robot (team) collects informative data to efficiently build an accurate model of an unknown target function under robot embodiment constraints. RIG has many applications, including but not limited to autonomous exploration and mapping, 3D reconstruction or inspection, search and rescue, and environmental monitoring. A RIG system relies on a probabilistic model's prediction uncertainty to identify critical areas for informative data collection. Gaussian Processes (GPs) with stationary kernels have been widely adopted for spatial modeling. However, real-world spatial data is typically non-stationary -- different locations do not have the same degree of variability. As a result, the prediction uncertainty does not accurately reveal prediction error, limiting the success of RIG algorithms. We propose a family of non-stationary kernels named Attentive Kernel (AK), which is simple, robust, and can extend any existing kernel to a non-stationary one. We evaluate the new kernel in elevation mapping tasks, where AK provides better accuracy and uncertainty quantification over the commonly used stationary kernels and the leading non-stationary kernels. The improved uncertainty quantification guides the downstream informative planner to collect more valuable data around the high-error area, further increasing prediction accuracy. A field experiment demonstrates that the proposed method can guide an Autonomous Surface Vehicle (ASV) to prioritize data collection in locations with significant spatial variations, enabling the model to characterize salient environmental features.Comment: International Journal of Robotics Research (IJRR). arXiv admin note: text overlap with arXiv:2205.0642

Traffic Scene Perception for Automated Driving with Top-View Grid Maps

Ein automatisiertes Fahrzeug muss sichere, sinnvolle und schnelle Entscheidungen auf Basis seiner Umgebung treffen. Dies benötigt ein genaues und recheneffizientes Modell der Verkehrsumgebung. Mit diesem Umfeldmodell sollen Messungen verschiedener Sensoren fusioniert, gefiltert und nachfolgenden Teilsysteme als kompakte, aber aussagekräftige Information bereitgestellt werden. Diese Arbeit befasst sich mit der Modellierung der Verkehrsszene auf Basis von Top-View Grid Maps. Im Vergleich zu anderen Umfeldmodellen ermöglichen sie eine frühe Fusion von Distanzmessungen aus verschiedenen Quellen mit geringem Rechenaufwand sowie eine explizite Modellierung von Freiraum. Nach der Vorstellung eines Verfahrens zur Bodenoberflächenschätzung, das die Grundlage der Top-View Modellierung darstellt, werden Methoden zur Belegungs- und Elevationskartierung für Grid Maps auf Basis von mehreren, verrauschten, teilweise widersprüchlichen oder fehlenden Distanzmessungen behandelt. Auf der resultierenden, sensorunabhängigen Repräsentation werden anschließend Modelle zur Detektion von Verkehrsteilnehmern sowie zur Schätzung von Szenenfluss, Odometrie und Tracking-Merkmalen untersucht. Untersuchungen auf öffentlich verfügbaren Datensätzen und einem Realfahrzeug zeigen, dass Top-View Grid Maps durch on-board LiDAR Sensorik geschätzt und verlässlich sicherheitskritische Umgebungsinformationen wie Beobachtbarkeit und Befahrbarkeit abgeleitet werden können. Schließlich werden Verkehrsteilnehmer als orientierte Bounding Boxen mit semantischen Klassen, Geschwindigkeiten und Tracking-Merkmalen aus einem gemeinsamen Modell zur Objektdetektion und Flussschätzung auf Basis der Top-View Grid Maps bestimmt

Belief-space Planning for Active Visual SLAM in Underwater Environments.

Autonomous mobile robots operating in a priori unknown environments must be able to integrate path planning with simultaneous localization and mapping (SLAM) in order to perform tasks like exploration, search and rescue, inspection, reconnaissance, target-tracking, and others. This level of autonomy is especially difficult in underwater environments, where GPS is unavailable, communication is limited, and environment features may be sparsely- distributed. In these situations, the path taken by the robot can drastically affect the performance of SLAM, so the robot must plan and act intelligently and efficiently to ensure successful task completion. This document proposes novel research in belief-space planning for active visual SLAM in underwater environments. Our motivating application is ship hull inspection with an autonomous underwater robot. We design a Gaussian belief-space planning formulation that accounts for the randomness of the loop-closure measurements in visual SLAM and serves as the mathematical foundation for the research in this thesis. Combining this planning formulation with sampling-based techniques, we efficiently search for loop-closure actions throughout the environment and present a two-step approach for selecting revisit actions that results in an opportunistic active SLAM framework. The proposed active SLAM method is tested in hybrid simulations and real-world field trials of an underwater robot performing inspections of a physical modeling basin and a U.S. Coast Guard cutter. To reduce computational load, we present research into efficient planning by compressing the representation and examining the structure of the underlying SLAM system. We propose the use of graph sparsification methods online to reduce complexity by planning with an approximate distribution that represents the original, full pose graph. We also propose the use of the Bayes tree data structure—first introduced for fast inference in SLAM—to perform efficient incremental updates when evaluating candidate plans that are similar. As a final contribution, we design risk-averse objective functions that account for the randomness within our planning formulation. We show that this aversion to uncertainty in the posterior belief leads to desirable and intuitive behavior within active SLAM.PhDMechanical EngineeringUniversity of Michigan, Horace H. Rackham School of Graduate Studieshttp://deepblue.lib.umich.edu/bitstream/2027.42/133303/1/schaves_1.pd

A multi-hypothesis approach for range-only simultaneous localization and mapping with aerial robots

Los sistemas de Range-only SLAM (o RO-SLAM) tienen como objetivo la construcción de un mapa formado por la posición de un conjunto de sensores de distancia y la localización simultánea del robot con respecto a dicho mapa, utilizando únicamente para ello medidas de distancia. Los sensores de distancia son dispositivos capaces de medir la distancia relativa entre cada par de dispositivos. Estos sensores son especialmente interesantes para su applicación a vehículos aéreos debido a su reducido tamaño y peso. Además, estos dispositivos son capaces de operar en interiores o zonas con carencia de señal GPS y no requieren de una línea de visión directa entre cada par de dispositivos a diferencia de otros sensores como cámaras o sensores laser, permitiendo así obtener una lectura de datos continuada sin oclusiones. Sin embargo, estos sensores presentan un modelo de observación no lineal con una deficiencia de rango debido a la carencia de información de orientación relativa entre cada par de sensores. Además, cuando se incrementa la dimensionalidad del problema de 2D a 3D para su aplicación a vehículos aéreos, el número de variables ocultas del modelo aumenta haciendo el problema más costoso computacionalmente especialmente ante implementaciones multi-hipótesis. Esta tesis estudia y propone diferentes métodos que permitan la aplicación eficiente de estos sistemas RO-SLAM con vehículos terrestres o aéreos en entornos reales. Para ello se estudia la escalabilidad del sistema en relación al número de variables ocultas y el número de dispositivos a posicionar en el mapa. A diferencia de otros métodos descritos en la literatura de RO-SLAM, los algoritmos propuestos en esta tesis tienen en cuenta las correlaciones existentes entre cada par de dispositivos especialmente para la integración de medidas estÃa˛ticas entre pares de sensores del mapa. Además, esta tesis estudia el ruido y las medidas espúreas que puedan generar los sensores de distancia para mejorar la robustez de los algoritmos propuestos con técnicas de detección y filtración. También se proponen métodos de integración de medidas de otros sensores como cámaras, altímetros o GPS para refinar las estimaciones realizadas por el sistema RO-SLAM. Otros capítulos estudian y proponen técnicas para la integración de los algoritmos RO-SLAM presentados a sistemas con múltiples robots, así como el uso de técnicas de percepción activa que permitan reducir la incertidumbre del sistema ante trayectorias con carencia de trilateración entre el robot y los sensores de destancia estáticos del mapa. Todos los métodos propuestos han sido validados mediante simulaciones y experimentos con sistemas reales detallados en esta tesis. Además, todos los sistemas software implementados, así como los conjuntos de datos registrados durante la experimentación han sido publicados y documentados para su uso en la comunidad científica

Map-based localization for urban service mobile robotics

Mobile robotics research is currently interested on exporting autonomous navigation results achieved in indoor environments, to more challenging environments, such as, for instance, urban pedestrian areas. Developing mobile robots with autonomous navigation capabilities in such urban environments supposes a basic requirement for a upperlevel service set that could be provided to an users community. However, exporting indoor techniques to outdoor urban pedestrian scenarios is not evident due to the larger size of the environment, the dynamism of the scene due to pedestrians and other moving obstacles, the sunlight conditions, and the high presence of three dimensional elements such as ramps, steps, curbs or holes. Moreover, GPS-based mobile robot localization has demonstrated insufficient performance for robust long-term navigation in urban environments. One of the key modules within autonomous navigation is localization. If localization supposes an a priori map, even if it is not a complete model of the environment, localization is called map-based. This assumption is realistic since current trends of city councils are on building precise maps of their cities, specially of the most interesting places such as city downtowns. Having robots localized within a map allows for a high-level planning and monitoring, so that robots can achieve goal points expressed on the map, by following in a deliberative way a previously planned route. This thesis deals with the mobile robot map-based localization issue in urban pedestrian areas. The thesis approach uses the particle filter algorithm, a well-known and widely used probabilistic and recursive method for data fusion and state estimation. The main contributions of the thesis are divided on four aspects: (1) long-term experiments of mobile robot 2D and 3D position tracking in real urban pedestrian scenarios within a full autonomous navigation framework, (2) developing a fast and accurate technique to compute on-line range observation models in 3D environments, a basic step required by the real-time performance of the developed particle filter, (3) formulation of a particle filter that integrates asynchronous data streams and (4) a theoretical proposal to solve the global localization problem in an active and cooperative way, defining cooperation as either information sharing among the robots or planning joint actions to solve a common goal.Actualment, la recerca en robòtica mòbil té un interés creixent en exportar els resultats de navegació autònoma aconseguits en entorns interiors cap a d'altres tipus d'entorns més exigents, com, per exemple, les àrees urbanes peatonals. Desenvolupar capacitats de navegació autònoma en aquests entorns urbans és un requisit bàsic per poder proporcionar un conjunt de serveis de més alt nivell a una comunitat d'usuaris. Malgrat tot, exportar les tècniques d'interiors cap a entorns exteriors peatonals no és evident, a causa de la major dimensió de l'entorn, del dinamisme de l'escena provocada pels peatons i per altres obstacles en moviment, de la resposta de certs sensors a la il.luminació natural, i de la constant presència d'elements tridimensionals tals com rampes, escales, voreres o forats. D'altra banda, la localització de robots mòbils basada en GPS ha demostrat uns resultats insuficients de cara a una navegació robusta i de llarga durada en entorns urbans. Una de les peces clau en la navegació autònoma és la localització. En el cas que la localització consideri un mapa conegut a priori, encara que no sigui un model complet de l'entorn, parlem d'una localització basada en un mapa. Aquesta assumpció és realista ja que la tendència actual de les administracions locals és de construir mapes precisos de les ciutats, especialment dels llocs d'interés tals com les zones més cèntriques. El fet de tenir els robots localitzats en un mapa permet una planificació i una monitorització d'alt nivell, i així els robots poden arribar a destinacions indicades sobre el mapa, tot seguint de forma deliberativa una ruta prèviament planificada. Aquesta tesi tracta el tema de la localització de robots mòbils, basada en un mapa i per entorns urbans peatonals. La proposta de la tesi utilitza el filtre de partícules, un mètode probabilístic i recursiu, ben conegut i àmpliament utilitzat per la fusió de dades i l'estimació d'estats. Les principals contribucions de la tesi queden dividides en quatre aspectes: (1) experimentació de llarga durada del seguiment de la posició, tant en 2D com en 3D, d'un robot mòbil en entorns urbans reals, en el context de la navegació autònoma, (2) desenvolupament d'una tècnica ràpida i precisa per calcular en temps d'execució els models d'observació de distàncies en entorns 3D, un requisit bàsic pel rendiment del filtre de partícules a temps real, (3) formulació d'un filtre de partícules que integra conjunts de dades asíncrones i (4) proposta teòrica per solucionar la localització global d'una manera activa i cooperativa, entenent la cooperació com el fet de compartir informació, o bé com el de planificar accions conjuntes per solucionar un objectiu comú

Automated 3D model generation for urban environments [online]

Abstract In this thesis, we present a fast approach to automated generation of textured 3D city models with both high details at ground level and complete coverage for birds-eye view. A ground-based facade model is acquired by driving a vehicle equipped with two 2D laser scanners and a digital camera under normal traffic conditions on public roads. One scanner is mounted horizontally and is used to determine the approximate component of relative motion along the movement of the acquisition vehicle via scan matching; the obtained relative motion estimates are concatenated to form an initial path. Assuming that features such as buildings are visible from both ground-based and airborne view, this initial path is globally corrected by Monte-Carlo Localization techniques using an aerial photograph or a Digital Surface Model as a global map. The second scanner is mounted vertically and is used to capture the 3D shape of the building facades. Applying a series of automated processing steps, a texture-mapped 3D facade model is reconstructed from the vertical laser scans and the camera images. In order to obtain an airborne model containing the roof and terrain shape complementary to the facade model, a Digital Surface Model is created from airborne laser scans, then triangulated, and finally texturemapped with aerial imagery. Finally, the facade model and the airborne model are fused to one single model usable for both walk- and fly-thrus. The developed algorithms are evaluated on a large data set acquired in downtown Berkeley, and the results are shown and discussed

Cooperative Localization in Mobile Underwater Acoustic Sensor Networks

Die großflächige Erkundung und Überwachung von Tiefseegebieten gewinnt mehr und mehr an Bedeutung für Industrie und Wissenschaft. Diese schwer zugänglichen Areale in der Tiefsee können nur mittels Teams unbemannter Tauchbote effizient erkundet werden. Aufgrund der hohen Kosten, war bisher ein Einsatz von mehreren autonomen Unterwasserfahrzeugen (AUV) wirtschaftlich undenkbar, wodurch AUV-Teams nur in Simulationen erforscht werden konnten. In den letzten Jahren konnte jedoch eine Entwicklung hin zu günstigeren und robusteren AUVs beobachtet werden. Somit wird der Einsatz von AUV-Teams in Zukunft zu einer realen Option. Die wachsende Nachfrage nach Technologien zur Unterwasseraufklärung und Überwachung konnte diese Entwicklung noch zusätzlich beschleunigen. Eine der größten technischen Hürden für tief tauchende AUVs ist die Unterwasserlokalisierug. Satelitengestützte Navigation ist in der Tiefe nicht möglich, da Radiowellen bereits nach wenigen Metern im Wasser stark an Intensität verlieren. Daher müssen neue Ansätze für die Unterwasserlokalisierung entwickelt werden die sich auch für Fahrzeugenverbände skalieren lassen. Der Einsatz von AUV-Teams ermöglicht nicht nur völlig neue Möglichkeiten der Kooperation, sondern erlaubt auch jedem einzelnen AUV von den Navigationsdaten der anderen Fahrzeuge im Verband zu profitieren, um die eigene Lokalisierung zu verbessern. In dieser Arbeit wird ein kooperativer Lokalisierungsansatz vorgestellt, welcher auf dem Nachrichtenaustausch durch akustische Ultra-Short Base-Line (USBL) Modems basiert. Ein akustisches Modem ermöglicht die Übertragung von Datenpaketen im Wasser, wärend ein USBL-Sensor die Richtung einer akustischen Quelle bestimmen kann. Durch die Kombination von Modem und Sensor entsteht ein wichtiges Messinstrument für die Unterwasserlokalisierung. Wenn ein Fahrzeug ein Datenpaket mit seiner eignen Position aussendet, können andere Fahrzeuge mit einem USBL-Modem diese Nachricht empfangen. In Verbindung mit der Richtungsmessung zur Quelle, können diese Daten von einem Empfangenden AUV verwendet werden, um seine eigene Positionsschatzung zu verbessern. Diese Arbeit schlägt einen Ansatz zur Fusionierung der empfangenen Nachricht mit der Richtungsmessung vor, welcher auch die jeweiligen Messungenauigkeiten berücksichtigt. Um die Messungenauigkeit des komplexen USBL-Sensors bestimmen zu können, wurde zudem ein detailliertes Sensormodell entwickelt. Zunächst wurden existierende Ansätze zur kooperativen Lokalisierung (CL) untersucht, um daraus eine Liste von erwünschten Eigenschaften für eine CL abzuleiten. Darauf aufbauend wurde der Deep-Sea Network Lokalisation (DNL) Ansatz entwickelt. Bei DNL handelt es sich um eine CL Methode, bei der die Skalierbarkeit sowie die praktische Anwendbarkeit im Fokus stehen. DNL ist als eine Zwischenschicht konzipiert, welche USBL-Modem und Navigationssystem miteinander verbindet. Es werden dabei Messwerte und Kommunikationsdaten des USBL zu einer Standortbestimmung inklusive Richtungsschätzung fusioniert und an das Navigationssystem weiter geleitet, ähnlich einem GPS-Sensor. Die Funktionalität von USBL-Modell und DNL konnten evaluiert werden anhand von Messdaten aus Seeerprobungen in der Ostsee sowie im Mittelatlantik. Die Qualität einer CL hangt häufig von vielen unterschiedlichen Faktoren ab. Die Netzwerktopologie muss genauso berücksichtig werden wie die Lokalisierungsfähigkeiten jedes einzelnen Teilnehmers. Auch das Kommunikationsverhalten der einzelnen Teilnehmer bestimmt, welche Informationen im Netzwerk vorhanden sind und hat somit einen starken Einfluss auf die CL. Um diese Einflussfaktoren zu untersuchen, wurden eine Reihe von Szenarien simuliert, in denen Kommunikationsverhalten und Netzwerktopologie für eine Gruppe von AUVs variiert wurden. In diesen Experimenten wurden die AUVs durch ein Oberflächenfahrzeug unterstützt, welches seine geo-referenzierte Position über DNL an die getauchten Fahrzeuge weiter leitete. Anhand der untersuchten Topologie können die Experimente eingeteilt werden in Single-Hop und Multi-Hop. Single-Hop bedeutet, dass jedes AUV sich in der Sendereichweite des Oberflächenfahrzeugs befindet und dessen Positionsdaten auf direktem Wege erhält. Wie die Ergebnisse der Single-Hop Experimente zeigen, kann der Lokalisierungsfehler der AUVs eingegrenzt werden, wenn man DNL verwendet. Dabei korreliert der Lokalisierungsfehler mit der kombinierten Ungenauigkeit von USBL-Messung und Oberflächenfahrzeugposition. Bei den Multi-Hop Experimenten wurde die Topologie so geändert, dass sich nur eines der AUVs in direkter Sendereichweite des Oberflächenfahrzeugs befindet. Dieses AUV verbessert seine Position mit den empfangen Daten des Oberflächenfahrzeugs und sendet wiederum seine verbesserte Position an die anderen AUVs. Auch hier konnte gezeigt werden, dass sich der Lokalisierungfehler der Gruppe mit DNL einschränken lässt. Ändert man nun das Schema der Kommunikation so, dass alle AUVs zyklisch ihre Position senden, zeigte sich eine Verschlechterung der Lokalisierungsqualität der Gruppe. Dieses unerwartet Ergebnis konnte auf einen Teil des DNL-Algorithmus zurück geführt werden. Da die verwendete USBL-Klasse nur die Richtung eines Signals misst, nicht jedoch die Entfernung zum Sender, wird in der DNL-Schicht eine Entfernungsschatzung vorgenommen. Wenn die Kommunikation nicht streng unidirektional ist, entsteht eine Ruckkopplungsschleife, was zu fehlerhaften Entfernungsschatzungen führt. Im letzten Experiment wird gezeigt wie sich dieses Problem vermeiden lasst, mithilfe einer relativ neue USBL-Klasse, die sowohl Richtung als auch Entfernung zum Sender misst. Die zwei wesentlichen Beiträge dieser Arbeit sind das USBL-Model zum einen und zum Anderen, der neue kooperative Lokalisierungsansatz DNL. Mithilfe des Sensormodels lassen sich nicht nur Messabweichungen einer USBL-Messung bestimmen, es kann auch dazu genutzt werden, einige Fehlereinflüsse zu korrigieren. Mit DNL wurde eine skalierbare CL-Methode entwickelt, die sich gut für den den Einsatz bei mobilen Unterwassersensornetzwerken eignet. Durch das Konzept als Zwischenschicht, lasst sich DNL einfach in bestehende Navigationslösungen integrieren, um die Langzeitstabilität der Navigation für große Verbände von tiefgetauchten Fahrzeugen zu gewährleisten. Sowohl USBL-Model als auch DNL sind dabei so ressourcenschonend, dass sie auf dem Computer eines Standard USBL laufen können, ohne die ursprüngliche Funktionalität einzuschränken, was den praktischen Einsatz zusätzlich vereinfacht

Past, Present, and Future of Simultaneous Localization And Mapping: Towards the Robust-Perception Age

Simultaneous Localization and Mapping (SLAM)consists in the concurrent construction of a model of the environment (the map), and the estimation of the state of the robot moving within it. The SLAM community has made astonishing progress over the last 30 years, enabling large-scale real-world applications, and witnessing a steady transition of this technology to industry. We survey the current state of SLAM. We start by presenting what is now the de-facto standard formulation for SLAM. We then review related work, covering a broad set of topics including robustness and scalability in long-term mapping, metric and semantic representations for mapping, theoretical performance guarantees, active SLAM and exploration, and other new frontiers. This paper simultaneously serves as a position paper and tutorial to those who are users of SLAM. By looking at the published research with a critical eye, we delineate open challenges and new research issues, that still deserve careful scientific investigation. The paper also contains the authors' take on two questions that often animate discussions during robotics conferences: Do robots need SLAM? and Is SLAM solved