Unsupervised navigation using an economy principle

We describe robot navigation learning based on self-selection of privileged vectors through the environment in accordance with an in built economy metric. This provides the opportunity both for progressive behavioural adaptation, and adaptive derivations, leading, through situated activity, to “representations" of the environment which are both economically attained and inherently meaningful to the agent

Integrierte Multi-Sensor-Fusion für die simultane Lokalisierung und Kartenerstellung für mobile Robotersysteme

In this work, probabilistic methods for combining multiple sensors utilizing multi-sensor fusion for robust and precise localization and mapping in heterogeneous outdoor environments are presented. Aspects of increasing the reliability of landmark recognition are highlighted, as well as the integration of additional absolute and relative sensors using advanced filtering techniques

Wahrscheinlichkeitsbasierte Methoden zur autonomen Führung von Fahrzeugen in unsicherer Umgebung

[no abstract

Autonome Instrumentierung von Altbergbau durch einen mobilen Manipulator

Im Fokus dieser Arbeit steht die Konzeption, Entwicklung und Erprobung eines autonomen Roboters zur Instrumentierung eines untertägigen Bergwerks. Der exemplarische Anwendungsfall umfasst das selbstständige Absetzen intelligenter Sensorstationen durch einen Roboterarm. Der Roboter ist einer der ersten mobilen Manipulatoren für den langfristigen Einsatz unter Tage. Ziel ist es, die Sicherheit für den Bergmann zu erhöhen, indem in gefährlichen Situationen der mobile Manipulator als echte Alternative zur Verfügung steht. Das fordert von dem Roboter selbstständiges und adaptives Handeln in einer Komplexität, die mobile Manipulatoren bisher lediglich in strukturierten Umgebungen leisten. Exemplarisch dafür ist das Platzieren von Technik im Altbergbau - Dunkelheit, Nässe und enge Querschnitte gestalten dies sehr herausfordernd. Der Roboter nutzt seine anthropomorphe Hand, um verschiedene Objekte abzusetzen. Das sind im konkreten Fall Sensorboxen, die diese Arbeit für die Instrumentierung des Bergwerks vorschlägt. Wichtig ist, dass das Absetzen autonom geschieht. Der Roboter trifft die Entscheidungen, wo er etwas platziert, welche Trajektorie sein Arm wählt und welchen Planungsalgorithmus er nutzt, vollkommen selbstständig. In dem Zusammenhang entwirft diese Dissertation eine variable Absetzroutine. Der mobile Manipulator baut dafür ein Kollisionsmodell der Umgebung auf, sucht eine geeignete Absetzposition, greift ein vordefiniertes Objekt und platziert dies im Bergwerk. Sicherheit und Robustheit stehen dabei an vorderster Stelle. Entsprechend schließt die Absetzroutine nach dem Absetzen nicht ab, sondern führt eine unabhängige Überprüfung durch. Dabei vergleicht der mobile Manipulator über Sensoren die wahrgenommene mit der angestrebten Objektposition. Hier kommen auf Deep Learning basierende Methoden zum Einsatz, die eine Überprüfung auch in vollkommener Dunkelheit erlauben. In insgesamt 60 Experimenten gelingt das Absetzen in 97% der Fälle mit einer Genauigkeit im Zentimeterbereich. Dabei beschränkt sich diese Evaluierung nicht auf das untertägige Bergwerk, sondern wertet auch Experimente in strukturierten und offenen Umgebungen aus. Diese Breite erlaubt eine qualitative Diskussion von Aspekten wie: Autonomie, Sicherheit und Einfluss der Umgebung auf das Verfahren. Das Ergebnis ist die Erkenntnis, dass der hier vorgestellte Roboter die Lücke zwischen Untertagerobotern und den mobilen Manipulatoren aus Industrieanwendungen schließt. Er steht in gefährlichen Situationen als Alternative zur Verfügung.:Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis Abkürzungsverzeichnis Notation Variablenverzeichnis 1. Einleitung 1.1. Motivation 1.2. Forschungsfrage und Beitrag der Arbeit 1.3. Aufbau der Arbeit 2. Forschungstrends bei mobilen Manipulatoren und Untertagerobotern 2.1. Mobile Manipulatoren in verschiedenen Einsatzszenarien 2.2. Wettbewerbe mobiler Manipulatoren und Trends im Forschungsgebiet 2.3. Hard- und Software Komponenten für mobile Manipulatoren 2.4. Zusammenfassung 3. Aufbau von Julius - dem Roboter für den Einsatz im Altbergbau 3.1. Umgebungsbedingungen im untertägigen Altbergbau 3.2. Physischer Aufbau des Roboters 3.3. Softwaretechnische Grundlagen für ein autonomes Handeln 3.4. Zusammenfassung 4. Entwurf der autonomen Absetzroutine für Julius 4.1. Planen von Armbewegungen 4.2. Umgebungsmodell detaillieren 4.3. Bodenfläche identifizieren 4.4. Absetzposition berechnen 4.5. SSB greifen 4.6. Absetzrotation festlegen 4.7. SSB absetzen 4.8. Absetzpose überprüfen 4.9. Zusammenfassung 5. Experimentelle Validierung von Julius und der Absetzroutine 5.1. Beschreibung des Experiments und der generellen Rahmenbedingungen 5.2. Referenzexperimente im Innenbereich 5.3. Experimente im Außenbereich 5.4. Experimente im Forschungs- und Lehrbergwerk 5.5. Diskussion 5.6. Zusammenfassung 6. Zusammenfassung 6.1. Erkenntnisse dieser Arbeit 6.2. Fazit 6.3. Ausblick Literatur Anhang A. Berechnung der Absetzrotation B. Übersicht technischer Daten C. Weiterführende Abbildungen D. Messdate

Beitrag zur sensorgestützten Positionsbestimmung und Navigation autonomer Roboter

Bauwerke unterliegen aufgrund ständiger Beanspruchungen einer Degradation. Daraus resultierende Schäden können durch regelmäßige Prüfungen reduziert werden, die aber sehr zeit- und kostenintensiv sind. Durch den Einsatz automatisiert agierender Flugobjekte (UAV) wird eine effiziente visuelle Inspektion ermöglicht. Die Arbeit entwickelt die Grundlagen eines UAV-basierten Inspektionssystems zur Prüfung industrieller Hallen. Der Fokus liegt auf der Entwicklung einer automatisierten Routenplanung mittels Umgebungsdaten sowie der sensorbasierten Navigation im Innenbereich für kompakte UAV-Systeme

Ein neues Verfahren zur automatischen Kalibrierung zwischen Manipulator und 2D Laserscanner ohne Kalibriertarget unter Berücksichtigung von Messfehlern

Damit mobile oder feststehende Manipulatoren die Messdaten von Laserscannern nutzen können, um die Bewegung des Manipulators zu planen, müssen die Systeme mit einer extrinsischen Kalibrierung in einen geometrischen Kontext zueinander gesetzt werden. Da die Systeme im industriellen Umfeld oder im Einsatz vor Ort Einflüssen wie Vibrationen oder Stößen ausgesetzt sind, können die beiden Teilsysteme zueinander verschoben und rotiert werden. Dies verändert die kinematische Struktur des Gesamtsystems und kann zu einer eingeschränkten Funktion oder Kollisionen führen. Um die Einsatzfähigkeit wiederherzustellen, muss die kinematische Struktur mit einer extrinsischen Kalibrierung neu parametriert werden. Aus Gründen der Wirtschaftlichkeit und Benutzerfreundlichkeit sollten die Systeme ihre Aufgaben weitestgehend autonom oder teilautonom verrichten. Die Fähigkeit einer automatischen Kalibrierung ohne zusätzlich anzubringende Sensorik oder mitzuführende Kalibriertargets ist erforderlich, um dauerhaft zuverlässig und robust mit der Umgebung interagieren und die geforderte Funktion ausführen zu können. Bisherige Verfahren zur extrinsischen Kalibrierung zwischen 2D Laserscanner und Manipulator verwenden komplexe und große Kalibriertargets oder eine mitzuführende Kamera. Die automatische Kalibrierung anhand des Manipulators selbst ist bisher nicht möglich. Dieses Problem wird in dieser Arbeit für Manipulatoren mit zylinderförmigen Gliedern oder Werkzeugen erstmals gelöst und untersucht. Der in dieser Arbeit vorgestellte Ansatz basiert darauf die kinematische Kette des Manipulators entlang einer Achse zu verlängern und den Schnittpunkt mit der Messebene des Laserscanners zu bestimmen. Mehrere Messposen führen schließlich dazu, dass die Transformationskette zwischen Manipulator und Laserscanner mit einer Kleinste-Quadrate Optimierung geschlossen werden kann und sich die gesuchte Transformation zwischen Manipulator-Basis und Laserscanner ergibt. Dieses Vorgehen ermöglicht es kleine, mitführbare, zylinderförmige Kalibriertargets, zylinderförmige Werkzeuge oder den Manipulator selbst zur Kalibrierung zu verwenden. Der Ansatz wird außerdem dahingehend erweitert, dass die Messfehler berücksichtigt werden können. So wird die Genauigkeit der Kalibrierung verbessert. Zur Bewertung des Ansatzes wird dieser in simulierten und realen Experimenten untersucht. Die gewonnenen Kalibrierparameter werden mit einem externen, hoch präzisen optischen Referenzsystem evaluiert. Im Vergleich mit einem aktuellen Verfahren konnten der translatorische und rotatorische Fehler der Kalibrierparameter zwischen 44% und 92% verringert werden

A contribution to robust person perception on real-world assistance robots in domestic scenarios

Die höhere Lebenserwartung der Bevölkerung und eine rückläufige Geburtenrate führen zu einem steigenden Anteil älterer Menschen in der Gesellschaft. Mobile Assistenzroboter sollen ältere Personen zukünftig in ihren Wohnungen unterstützen. Um sinnvolle Funktionen und Dienste anbieten zu können, muss der Roboter Personen in seiner Umgebung wahrnehmen können. Das häusliche Szenario stellt dabei aufgrund seiner Komplexität eine Herausforderung für die Erkennungsalgorithmen dar. Komplexität entsteht beispielsweise durch unterschiedliche Einrichtungsmöglichkeiten, schwierige Beleuchtungsbedingungen und variable Nutzerposen. Die Dissertation stellt eine Architektur zur Personenwahrnehmung für mobile Roboter vor. Die modulare Architektur beschreibt die verwendeten Komponenten und deren Kommunikation untereinander. Aufgrund der Modularität können einzelne Komponenten schnell integriert oder ausgetauscht werden. Die Arbeit evaluiert eine Vielzahl von multi-modalen Detektionsverfahren auf Basis von Laser-, Kamera- und 3D-Tiefendaten. Ausgewählte Algorithmen werden für Anwendungsszenario angepasst und weiterentwickelt. Die Hypothesen der Detektoren werden durch einen Personentracker raumzeitlich gefiltert und fusioniert. Besonderheiten des Personentrackers umfassen die Unterstützung mehrerer Filter und Systemmodelle, die Integration von nicht unabhängigen und verspäteten Beobachtungen, die Schätzung der Existenzwahrscheinlichkeit sowie die Integration von Umgebungswissen. Um Nutzer, welche sich nicht im Sichtbereich des Roboters befinden, in der Wohnung zu finden, werden verschiedene Suchverfahren vorgestellt. Das fortschrittlichste Verfahren verwendet eine explorative Suche, um die gesamte Wohnung effektiv zu durchsuchen. Dabei werden falsch-positiv Detektionen ausgeschlossen und mit dynamischen Hindernissen und nicht erreichbaren Räumen umgegangen. Die Arbeit stellt ein Verfahren für die Erkennung von gestürzten, am Boden liegenden Personen vor. Die auf Tiefendaten basierende Erkennung erlaubt es dem Roboter, Personen von anderen Objekten oder Tieren in der Wohnung zu unterscheiden. Die entwickelten Algorithmen wurden im realen Anwendungsszenario evaluiert, indem der Roboter für bis zu 3 Tage in den Wohnungen von Senioren zur freien Nutzung verblieb. Die Experimente zeigten, dass die vorgestellte Architektur zur Personenwahrnehmung robust genug arbeitet, damit der Roboter mithilfe seiner Dienste einen Mehrwert für die Senioren liefern kann.The increased life expectancy of the population and declining birth rates lead to an increasing proportion of elderly people in the modern society and hence an increasing need for age care. Mobile robots can assist users in theirs homes by means of services and companionship. To provide useful functionalities, the robot must be able to observe the user in the environment. The domestic scenario poses a challenge for people detection and tracking algorithms through its complexity caused, among others, by variable furnishing options, difficult lighting conditions and various user poses. This thesis presents an architecture for people detection and tracking for mobile robots in domestic environments. The modular architecture describes the used components and their communication with each other. Due to the modularity of design, the individual components can be easily integrated or exchanged. This work evaluates a variety of multi-modal detection methods based on laser data, camera data and 3D depth data. Suitable algorithms are being applied, adapted and enhanced. The detections are processed by a person tracker to allow for spatial-temporal filtering. Important features of the person tracker include the support of multiple filters and system models, the integration of coupled observations and out-of-sequence measurements, the estimation of the existence probability and the integration of environmental knowledge. The thesis proposes various methods to search and locate users in the apartment, which have left the robots limited field-of-view. The most advanced method uses an exploratory search method to examine the environment effectively. It handles false positive detections, dynamic obstacles and inaccessible rooms in a reasonable manner. Furthermore, this work presents a method to detect people that have fallen to the ground given occlusion. The method uses the depth data of a Kinect sensor mounted on the mobile robot. Point clouds are segmented, layered and classified to distinguish fallen people from furniture, household objects and animals. The developed algorithms were evaluated in a real-world scenario, by allowing the robot to stay in retirement homes for up to three days. The experiments showed that the presented architecture for people detection and tracking is robust enough, so that the robot's services proved to provide an added value to the seniors citizens

Semantische dreidimensionale Karten für autonome mobile Roboter

Intelligentes autonomes Roboterhandeln in Alltagsumgebungen erfordert den Einsatz von 3D-Karten, in denen Objekte klassifiziert sind. 3D-Karten sind u.a. zur Steuerung notwendig, damit der Roboter komplexen Hindernissen ausweichen und sich mit 6 Freiheitsgraden (x-, y-, z-Position, Nick-, Gier-, und Rollwinkel) lokalisieren kann. Soll der Roboter mit seiner Umgebung interagieren, wird Interpretation unumgänglich. Über erkannte Objekte kann der Roboter Schlussfolgerungen ziehen, sein Wissen wird inspizier- und kommunizierbar. Aus diesen Gründen ist die automatische und schnelle semantische 3D-Modellierung der Umgebung eine wichtige Fragestellung in der Robotik. 3D-Laserscanner sind eine junge Technologie, die die Erfassung räumlicher Daten revolutioniert und Robotern das dreidimensionale Abtasten von Objekten möglich macht. Die vorliegende Arbeit untersucht und evaluiert mit Hilfe eines 3D-Laserscanners und des mobilen Roboters Kurt3D die zur automatischen semantischen 3D-Kartenerstellung notwendigen Algorithmen. Der erste Teil der Arbeit beschäftigt sich mit der Aufgabe, 3D-Scans in einem globalen Koordinatensystem zu registrieren. Korrekte, global konsistente Modelle entstehen durch einen 6D-SLAM Algorithmus. Hierbei werden 6 Freiheitsgrade in der Roboterpose berücksichtigt, geschlossene Kreise erkannt und der globale Fehler minimiert. Die Basis des 6D-SLAM ist ein sehr schneller ICP-Algorithmus. Im zweiten Teil geht es darum, die Punktmodelle mit Semantik zu versehen. Dazu werden 3D-Flächen in einer digitalisierten 3D-Szene detektiert und interpretiert. Anschließend sucht ein effizienter Algorithmus nach Objekten und bestimmt deren Pose, ebenfalls mit 6 Freiheitsgraden. Schließlich wird der in den zahlreichen Experimenten verwendete, mobile Roboter Kurt3D vorgestellt.Semantic three dimensional maps for autonomous mobile robots Intelligent autonomous acting in unstructured environments requires 3D maps with labelled 3D objects. 3D maps are necessary to avoid collisions with complex obstacles and to self localize in six degrees of freedom (x-, y-, z-position, roll, yaw and pitch angle). Meaning becomes inevitable, if the robot has to interact with its environment. The robot is then able to reason about the objects; its knowledge becomes inspectable and communicable. These arguments lead to requiring automatic and fast semantic environment modelling in robotics. A revolutionary method for gaging environments are 3D scanners, which enable robots to scan objects in a non-contact way in three dimensions. The presented work examines and evaluates the algorithms needed for automatic semantic 3D map building using a 3D laser range finder and the mobile robot Kurt3D. The first part deals with the task to register 3D scans in a common coordinate system. Correct, globally consistent models result from a 6D SLAM algorithm. Hereby 6 degrees of freedom of the robot pose are considered, closed-loops are detected and the global error is minimized. 6D SLAM is based on a very fast ICP algorithm. In the second part semantic descriptions are derived from the point model. For that purpose 3D planes are detected and interpreted in the digitalized 3D scene. After that an efficient algorithm detects objects and estimates their pose with 6 degrees of freedom, too. Finally, the mobile robot Kurt3D, that was used in numerous experiments is presented

Intelligentes Führungskonzept für ein Autonomes Unterwasserfahrzeug in Sondersituationen

AbstractThis thesis introduces a complete and new concept for the control of an AUV in special situations. Such a special situation occurs when an Object detected during the mission is tangential to the proposed route; in such a situation the possible actions are identification or evasion of the object. The design of the concept had to take into account a number of practical requirements (Safety, Robustness, Computation time and Optimality of the solution), for the processes and algorithms; these requirements had to be met within the hardware and software specifications and operational constraints of the AUV system. Such specifications include non-holonome, delayed motion behaviour of the AUV, the available environmental sensors, the vehicle’s software architecture, development and communication software. The operational constraints of a AUV may be characterised by manoeuvres in three dimensional space in adverse conditions with strong water currents, bad (sonar) visibility and high water pressure; taking into account safety distances to the seafloor and geographical obstacles, manmade constructions and debris.The concept developed is of modular construction and includes components for collision detection, goal generation, collision avoidance, vehicle guidance for identification tasks and general vehicle control. A two phase concept was used for the collision detection; this allows a rapid collision verification through the use of simple collision tests which leads to a pre-selection of possible collision candidates. The collision avoidance system, developed during the course of the research, has a hybrid structure, whereby reactive (Reactive Control) and planning (Route planning) components work in parallel. The reactive control takes over the vehicle guidance to avoid the collision, concurrently the route planning generates a route which will avoid the obstacle and return the vehicle back on to its original path. Once a route has been calculated the planning function takes over from the reactive control to execute the planned route.The new reactive control component contains a newly developed and original process for construction of gradient lines that combines the advantages of Harmonic Dipole Potentials process with the requirements of a path-optimal control which takes into account the non-holonome, delayed motion behaviour of the vehicle. Due to the demands of the online generation of a route whilst guaranteeing the real-time behaviour of the control system as a whole, graph based techniques for route planning were investigated in the course of the research. These techniques allow an optimal path according to defined input to be calculated within a predictable time. Two newly developed techniques for geometrical graph generation from a configuration space with elliptic-cylindrical objects and an algorithm for calculating the energy requirements (inclusive of water-current data) are described in detail. Even though the guidance concept presented in this thesis was developed for an autonomous underwater vehicle (AUV), the concept or parts of the concept are equally applicable to land based or aerial mobile autonomous systems.ZusammenfassungDie vorliegende Arbeit stellt ein vollständiges und neues Konzept zur Fahrzeugführung in Sondersituationen für ein Autonomes Unterwasserfahrzeug vor. Eine Sondersituation ist dann gegeben, wenn während einer Mission Objekte den abzufahrenden Routenplan tangieren. Die möglichen Handlungen bestehen im Ausweichen oder in der Identifikation dieser Objekte. Bei der Erstellung des Konzeptes gab es eine Reihe praxisrelevanter Anforderungen (Sicherheit, Robustheit, Rechenzeit, Optimalität) an die zu entwickelnden Verfahren und Algorithmen, die unter den hard- und softwaretechnischen Vorgaben und Arbeitsbedingungen einzuhalten waren. Solche Vorgaben umfassen das nichtholonome, verzögerte Bewegungsverhalten des Unterwasserfahrzeuges, die Sensorik zur Bestimmung der Umwelt, die im Fahrzeug eingesetzte Rechentechnik sowie die zu verwendende Entwicklungs- und Kommunikationssoftware. Die Arbeitsbedingungen eines Unterwasserfahrzeuges sind durch ein Manövrieren im dreidimensionalen Raum bei einer möglichen Seeströmung, schlechter Sicht und hohem Wasserdruck unter Einhaltung eines Sicherheitsabstandes zum Meeresbodens und zu den geographischen Hindernissen, technischen Bauten und Altlasten charakterisiert.Das entwickelte Konzept ist modular aufgebaut und umfasst Komponenten zur Kollisionsüberwachung, Zielpunktgenerierung, Kollisionsvermeidung, Fahrzeugführung bei Identifikationsaufgaben sowie zur Fahrzeugsteuerung. Für die Kollisionsüberwachung wird ein Zwei-Phasen-Konzept eingesetzt. Dieses Konzept ermöglicht eine schnelle Kollisionsüberprüfung durch die Verwendung einfacher Kollisionstests zur Vorselektion möglicher Kollisionskandidaten. Das in dieser Arbeit entwickelte Kollisionsvermeidungssystem besitzt eine hybride Struktur, bei der ein reaktiver (Reaktive Steuerung) und ein planender Ansatz (Wegeplanung) parallel arbeiten. Die Reaktive Steuerung übernimmt die Führung des Fahrzeuges, während die Wegeplanung einen Routenplan generiert. Steht ein Routenplan zur Verfügung, arbeitet die Wegeplanung diesen ab. Für die Reaktive Steuerung wurde ein neues Verfahren zur geometrischen Konstruktion von Gradientenlinien entwickelt. Es verbindet die Vorteile des von Guldner entwickelten Verfahrens der Harmonischen Dipolpotentiale mit der Forderung einer wegoptimalen Fahrweise unter Berücksichtigung des nichtholonomen, verzögerten Bewegungsverhaltens des Fahrzeuges. Durch die Forderung der online-Erzeugung eines Routenplanes unter Gewährleistung des Echtzeitverhaltens des Systems wurden graphenbasierte Verfahren für die Wegeplanung untersucht. Diese Verfahren ermöglichen es, einen optimalen Weg nach definierten Vorgaben in einer kalkulierbaren Zeit zu ermitteln. Zwei neu entwickelte Verfahren zur Generierung eines geometrischen Graphen aus einem Konfigurationsraum mit elliptischen Objektzylindern sowie ein Algorithmus zur Bestimmung der Fahrtkosten unter Einbeziehung der Strömungsinformation werden detailliert beschrieben. Obgleich das in dieser Arbeit vorgestellte Führungskonzept für ein Autonomes Unterwasserfahrzeug entwickelt wurde, können Teile dieser Arbeit auch für boden- und luftgeführte Autonome Mobile Systeme angewandt werden.Auch im Buchhandel erhältlich: Intelligentes Führungskonzept für ein autonomes Unterwasserfahrzeug in Sondersituationen / von Mike Joachim Eichhorn . - Düsseldorf : VDI-Verl., 2007. XIII, 172 S.. : Ill., graph. Darst. ISBN 978-3-18-512708-3 Preis: 51,30