Semantische dreidimensionale Karten für autonome mobile Roboter

Intelligentes autonomes Roboterhandeln in Alltagsumgebungen erfordert den Einsatz von 3D-Karten, in denen Objekte klassifiziert sind. 3D-Karten sind u.a. zur Steuerung notwendig, damit der Roboter komplexen Hindernissen ausweichen und sich mit 6 Freiheitsgraden (x-, y-, z-Position, Nick-, Gier-, und Rollwinkel) lokalisieren kann. Soll der Roboter mit seiner Umgebung interagieren, wird Interpretation unumgänglich. Über erkannte Objekte kann der Roboter Schlussfolgerungen ziehen, sein Wissen wird inspizier- und kommunizierbar. Aus diesen Gründen ist die automatische und schnelle semantische 3D-Modellierung der Umgebung eine wichtige Fragestellung in der Robotik. 3D-Laserscanner sind eine junge Technologie, die die Erfassung räumlicher Daten revolutioniert und Robotern das dreidimensionale Abtasten von Objekten möglich macht. Die vorliegende Arbeit untersucht und evaluiert mit Hilfe eines 3D-Laserscanners und des mobilen Roboters Kurt3D die zur automatischen semantischen 3D-Kartenerstellung notwendigen Algorithmen. Der erste Teil der Arbeit beschäftigt sich mit der Aufgabe, 3D-Scans in einem globalen Koordinatensystem zu registrieren. Korrekte, global konsistente Modelle entstehen durch einen 6D-SLAM Algorithmus. Hierbei werden 6 Freiheitsgrade in der Roboterpose berücksichtigt, geschlossene Kreise erkannt und der globale Fehler minimiert. Die Basis des 6D-SLAM ist ein sehr schneller ICP-Algorithmus. Im zweiten Teil geht es darum, die Punktmodelle mit Semantik zu versehen. Dazu werden 3D-Flächen in einer digitalisierten 3D-Szene detektiert und interpretiert. Anschließend sucht ein effizienter Algorithmus nach Objekten und bestimmt deren Pose, ebenfalls mit 6 Freiheitsgraden. Schließlich wird der in den zahlreichen Experimenten verwendete, mobile Roboter Kurt3D vorgestellt.Semantic three dimensional maps for autonomous mobile robots Intelligent autonomous acting in unstructured environments requires 3D maps with labelled 3D objects. 3D maps are necessary to avoid collisions with complex obstacles and to self localize in six degrees of freedom (x-, y-, z-position, roll, yaw and pitch angle). Meaning becomes inevitable, if the robot has to interact with its environment. The robot is then able to reason about the objects; its knowledge becomes inspectable and communicable. These arguments lead to requiring automatic and fast semantic environment modelling in robotics. A revolutionary method for gaging environments are 3D scanners, which enable robots to scan objects in a non-contact way in three dimensions. The presented work examines and evaluates the algorithms needed for automatic semantic 3D map building using a 3D laser range finder and the mobile robot Kurt3D. The first part deals with the task to register 3D scans in a common coordinate system. Correct, globally consistent models result from a 6D SLAM algorithm. Hereby 6 degrees of freedom of the robot pose are considered, closed-loops are detected and the global error is minimized. 6D SLAM is based on a very fast ICP algorithm. In the second part semantic descriptions are derived from the point model. For that purpose 3D planes are detected and interpreted in the digitalized 3D scene. After that an efficient algorithm detects objects and estimates their pose with 6 degrees of freedom, too. Finally, the mobile robot Kurt3D, that was used in numerous experiments is presented

Beitrag zur sensorgestützten Positionsbestimmung und Navigation autonomer Roboter

Bauwerke unterliegen aufgrund ständiger Beanspruchungen einer Degradation. Daraus resultierende Schäden können durch regelmäßige Prüfungen reduziert werden, die aber sehr zeit- und kostenintensiv sind. Durch den Einsatz automatisiert agierender Flugobjekte (UAV) wird eine effiziente visuelle Inspektion ermöglicht. Die Arbeit entwickelt die Grundlagen eines UAV-basierten Inspektionssystems zur Prüfung industrieller Hallen. Der Fokus liegt auf der Entwicklung einer automatisierten Routenplanung mittels Umgebungsdaten sowie der sensorbasierten Navigation im Innenbereich für kompakte UAV-Systeme

Semantische Objektmodellierung mittels multimodaler Interaktion

Ein Konzept für eine interaktive semantische Objektmodellierung wird vorgeschlagen. Die flexible und erweiterbare Objektrepräsentation ermöglicht die Modellierung funktionaler und semantischer Objektinformationen durch die Darstellung von Eigenschaften, die menschliche Begriffe und Kategorien abbilden und die Verbindung von Objekten mit Handlungen und mit sensoriell erfassbaren Attributen herstellen. Das interaktive Modellierungssystem erlaubt die intuitive Erstellung semantischer Objektmodelle

Szenen- und Objektmodellierung für Serviceroboter

Ein Serviceroboter benötigt für die Perzeption und Manipulation der Umwelt Modellwissen. Die Erzeugung geeigneter Repräsentationen von Alltagsgegenständen auf Basis von Sensordaten und automatisierter Nachbearbeitung ist Gegenstand der Arbeit

Probabilistische Methoden für die Roboter-Navigation am Beispiel eines autonomen Shopping-Assistenten

Abstract Autonomous navigation, in addition to interaction, is a basic ability for the operation of a mobile service robot. Here, important subskills are selfocalization, path planning, and motion control with collision avoidance. A further pre-condition for many navigation tasks ist the generation of an environment model from sensor observationa, often in combination with autonomous exploration. In this thesis, these challenges are considered in the context of the development of an interactive mobile shopping guide, which is able to provide information about the shop's products to customers of a home improvement store and guide them to the respective location. The focus of this work lies on the initial environment mapping. A method for Simultaneous Localization and Mapping (SLAM) has been developed, which in contrast to other comparable approaches does not assume the use of high-precision laser range scanners. Instead, sonar range sensors are used mainly, which feature an inferior spatial resolution and increased measurement noise. The resulting Map-Match-SLAM algorithm is based on the well known Rao-Blackwellized Particle Filter (RBPF), in combination with local maps for representation of most recent observations and and a map matching function for comparison of local and global maps. By adding a memory-effcient global map representation and dynamic adaption of the number of particles, online mapping is possible even under high state uncertainty resulting from the sensor characteristics. The use of local maps for representation of the observations and the sensor-independent weighting function make Map-Match-SLAM applicable for a wide range of different sensors. This has been demonstrated by mapping with a stereo camera and with a single camera, in combination with a depth-from-motion algorithm for pre-processing. Furthermore, a SLAM assistant has been developed, which is generating direction hints for the human operator during the mapping phase, in order to ensure a route that enables optimal operation of the SLAM algorithm. The assistant represents an intermediate step between purely manual mapping and completely autonomous exploration. A second main part of the work presented here are methods for the autonomous operation of the robot. For selflocalization, a map matching approach with local maps is used, similar to the proposed SLAM algorithm. Improvements of robustness and precision are achieved in combination with an existing visual localization approach which is using omnidirectional camera images. Path planning is done by the utilization of standard graph search algorithms. To that purpose, the grid cells of the global map are regarded as graph nodes. Comparitive analysis is presented for search algorithms with and without heuristics (A*/Dijkstra algorithm), for the specifcs of typical operation areas. Two different algorithms have been developed for motion control and collision avoidance: A reactive method, which is an enhancement of the existing Vector Field Histogram (VFH) approach, is experimentally compared with a new anticipative method based on sampling and stochastic search in the trajectory space. All the developed methods are employed on a team of shopping robots, which have been in permanent public test operation in a home improvement store for six months currently. The description of navigation methods is complemented by an overview of further software componentsof the robots, e.g. for Human-Robot-Interaction, and a detailed description of the control architecture for coordination of the subsystems. Analysis of long term test operation proves that all the applied methods are suitable for real world applications and that the robot is accepted and regarded as a valuable service by the customers.Die autonome Navigation stellt neben der Interaktionsfähigkeit eine Grundlage für die Funktion eines mobilen Serviceroboters dar. Wichtige Teilleistungen sind dabei die Selbstlokalisation, die Pfadplanung und die Bewegungssteuerung unter Vermeidung von Kollisionen. Eine Voraussetzung für viele Navigationsaufgaben ist zudem die Erstellung eines Umgebungsmodells aus sensorischen Beobachtungen, unter Umständen in Verbindung mit einer selbständigen Exploration. Diese Teilprobleme wurden in der vorgelegten Arbeit vor dem Hintergrund der Entwicklung eines interaktiven mobilen Shopping-Lotsen bearbeitet, welcher Kunden eines Baumarktes Informationen zu Produkten zur Verfügung stellen und sie auf Wunsch zum Standort der gesuchten Waren führen kann. Den methodischen Kern der Arbeit bildet die initiale Umgebungskartierung. Dafür wurde ein Verfahren zum Simultaneous Localization and Mapping (SLAM) entwickelt, welches im Gegensatz zu vergleichbaren Ansätzen nicht auf den Einsatz hochgenauer Laser-Range-Scanner ausgerichtet ist. Stattdessen wurden hauptsächlich Sonar-Sensoren benutzt, die sich durch eine wesentlich geringere räumliche Auflösung und höhere Messunsicherheit auszeichnen. Der entwickelte Map-Match-SLAM-Algorithmus beruht auf dem bekannten Rao-Blackwellized Particle Filter (RBPF), welcher mit einer lokalen Karte zur Repräsentation der aktuellen Umgebungsbeobachtungen sowie einer Map-Matching-Methode zum Vergleich der lokalen und globalen Karte kombiniert wurde. Durch eine speichereffiziente Darstellung der globalen Karte und dynamische Adaption der Partikel-Anzahl ist trotz der aus den sensorischen Beschränkungen resultierenden großen Zustandsunsicherheit die Online-Kartierung möglich. Durch die Transformation der Beobachtungen in eine lokale Karte und die sensorunabhängige Bewertungsfunktion ist das Map-Match-SLAMVerfahren für ein breites Spektrum unterschiedlicher Sensoren geeignet. Dies wurde exemplarisch durch die Kartierung unter Nutzung einer Stereo-Kamera-Anordnung und einer einfachen Kamera in Verbindung mit einem Depth-from-Motion-Verfahren gezeigt. Aufbauend auf dem Kartierungsalgorithmus wurde zudem ein SLAM-Assistent entwickelt, welcher während der Kartierungsphase Aktionsvorschläge für den menschlichen Bediener präsentiert, die eine optimale Funktion des SLAM-Algorithmus gewährleisten. Der Assistent stellt damit eine Zwischenstufe zwischen rein manueller Steuerung und komplett autonomer Exploration dar. Einen weiteren Schwerpunkt der Arbeit stellen die Verfahren für die autonome Funktion des Roboters dar. Für die Selbstlokalisation wird ebenso wie beim SLAM ein Map Matching mit lokalen Karten eingesetzt. Eine Verbesserung der Robustheit und Genauigkeit wird durch die Kombination dieses Ansatzes mit einem vorhandenen visuellen Selbstlokalisations-Verfahren auf Basis einer omnidirektionalen Kamera erzielt. Für die Bestimmung des optimalen Pfades zu einem Zielpunkt kommen Standard-Algorithmen zur Pfadsuche in Graphen zum Einsatz, die Zellen der Karte werden dazu als Graphknoten interpretiert. Die Arbeit präsentiert vergleichende Untersuchungen zur Effizienz von Algorithmen mit und ohne Suchheuristik (A*/Dijkstra-Algorithmus) in der konkreten Einsatzumgebung. Für die Bewegungssteuerung und Kollisionsvermeidung wurden zwei verschiedene Algorithmen entwickelt: Einem reaktiven Verfahren, welches eine Weiterentwicklung des bekannten Vector Field Histogram (VFH) darstellt, wird ein neues antizipatives Verfahren auf Basis von Sampling und stochastischer Suche im Raum der möglichen Bewegungstrajektorien gegenüber gestellt und experimentell verglichen. Die entwickelten Methoden kommen auf mehreren Shopping-Robotern zum Einsatz, die sich seit ca. sechs Monaten im dauerhaften öffentlichen Testbetrieb in einem Baumarkt befinden. Neben den Navigationsmethoden gibt die Arbeit einen Überblick über die weiteren Module des Roboters, z.B. für die Nutzer-Interaktion, und beschreibt detailliert die Steuerarchitektur zur Koordinierung der Teilleistungen. Die Eignung aller eingesetzten Methoden für den Einsatz in einer realen Anwendung und die hohe Akzeptanz der Nutzer für das entwickelte Gesamtsystem werden durch die Auswertung von Langzeittests nachgewiesen

Semantische Situationsrepräsentation und Aktionsbewertung zur Planung von Fahrmanöversequenzen

Hochautomatisiertes Fahren und autonome Fahrzeuge stehen seit einigen Jahren im Fokus der Forschung von Automobilherstellern, Zulieferern aber auch IT-Unternehmen sowie Forschungseinrichtungen. Selbstfahrende Fahrzeuge nehmen ihre Umgebung mittels Sensoren wahr und führen Fahraktionen aus, um ihr Ziel sicher und effizient zu erreichen. Dabei wird häufig ein Modell der Verkehrssituation erstellt, das sowohl aktuelle Sensordaten als auch Hintergrundwissen wie Kartendaten zusammenführt. Darauf aufbauend können dann Fahrmanöver geplant werden, die von der Aktorik des Fahrzeugs ausgeführt werden. In den letzten Jahren wurden große Fortschritte auf dem Gebiet des hochautomatisierten Fahrens erzielt. Herausforderungen, die sich dabei gezeigt haben, sind das automatisierte Verstehen von komplexen Verkehrssituationen und darauf aufbauend die Generierung von optimalen Fahrstrategien. Automatisierte Fahrzeuge müssen gerade im innerstädtischen Bereich mit einer Vielzahl von unterschiedlichen Straßentopologien zurechtkommen. Situationsabhängige Speziallösungen stoßen dabei an ihre Grenzen. Hinzu kommt die durch dynamische Verkehrsteilnehmer induzierte kombinatorische Komplexität im Planungsprozess. Ziel dieser Arbeit ist die aktive und passive Unterstützung des Fahrers sowie die Bereitstellung von abstrakten Fahrmanöversequenzen für automatisiertes Fahren. Wissenschaftliche Beiträge sind dabei - eine Abstraktion der Verkehrssituation durch eine relationale, semantische Szenenrepräsentation sowie darauf aufbauend - Methoden zur effizienten Planung und dynamischen Validierung von Fahrmanöversequenzen. Durch eine relationale Modellierung kann der Planungsraum für Fahrmanöver an semantischen Grenzen diskretisiert werden. Dies erlaubt eine einheitliche und durch die Reduktion des Raums effiziente Planung. Die Rückführung der semantischen Pläne in eine geometrische Darstellung ermöglicht die dynamische Validierung und Optimierung resultierender Pläne hinsichtlich Energieeffizienz und Komfort. Hinweise zur optimalen Fahrweise werden als Teil einer Assistenzfunktion dem Fahrer kommuniziert oder für die Trajektorienplanung automatisierter Fahrzeuge zur Verfügung gestellt. Die Verfahren werden sowohl auf synthetischen Daten als auch im realen Fahrversuch evaluiert

Szenenabhängige Online-Adaption von Manipulationssequenzen für einen Serviceroboter

Um in alltäglichen Umgebungen agieren zu können, muss ein Serviceroboter in der Lage sein, seine Handlung zielgerichtet an neue Szenen anzupassen. In dieser Arbeit werden dazu Handlungspläne zur Manipulation durch symbolische Planung erzeugt. Damit diese konsistent mit der realen Umgebung sind, wird aufgrund von sensorischer Wahrnehmung ein symbolisches Modell der Umgebung erzeugt. Dieses erlaubt es dem Roboter, die Effekte einer Aktion, bzw. Aktionsfolge auf seine Umwelt vorherzusagen