Combining Model-Based with Learning-Based Approaches for Autonomous Manipulation

Kollaboration zwischen Menschen und Robotern gewinnt zunehmend an Bedeutung in der Industrie und Forschung. Manipulation ist eine Grundvoraussetzung für eine erfolgreiche Kollaboration und deshalb eine grundlegende Forschungsfrage in der Robotik. Bei der Manipulation von Objekten, zum Beispiel beim Greifen eines Bohrers, müssen Roboter mit einer dynamischen Umgebungen, partieller Wahrnehmung, Model- und Ausführungsunsicherheit zurechtkommen. In dieser Arbeit identifizieren wir Einschränkungen von modellbasierten Ansätzen des gegenwärtigen Standes der Technik für Manipulationsaufgaben und untersuchen wie man diese mit Lernverfahren kombinieren und verbessern kann, um autonome Manipulation zu ermöglichen. Maschinelle Lernverfahren wie $\textit{neuronale Netze}$, die mithilfe von großen Datenmengen ein gutes Modell lernen, sind sehr geeignet für die Robotik, da Roboter ihre Umgebung mithilfe von einer Vielzahl an Sensoren wahrnehmen und dadurch eine Fülle von Daten erzeugen. Im Gegensatz zu anderen Forschungsgebieten, wie zum Beispiel Sprach- und Bildverarbeitung, interagieren Roboter mit ihrer Umgebung, sodass Vorhersagen einen physikalischen Einfluss auf die Umgebung haben. Aufgrund der Interaktion mit der Umgebung und der kontinuierlichen Wahrnehmung ergibt sich eine Rückkopplungsschleife die neue Herangehensweisen erfordert um Sicherheitsbedenken und Geschwindigkeitsanforderungen zu erfüllen. Das Ziel dieser Dissertation ist es zu untersuchen, wie man bestehende $\textit{modellbasierte}$ Robotersysteme mithilfe von $\textit{Lernverfahren}$ verbessern kann. Dabei ist es wichtig das vorhandene domänenspezifische Wissen nicht zu vernachlässigen, sondern in die $\textit{Lernverfahren}$ zu integrieren. Die Ergebnisse dieser Arbeit zeigen, dass $\textit{lernbasierte}$ Ansätze $\textit{modellbasierte}$ Methoden sehr gut ergänzen und es ermöglichen Probleme, die ansonsten unlösbar wären, zu lösen. Wir zeigen, wie man bestehende Modelle zum Trainieren von Lernverfahren verwenden kann. Dadurch wird problemspezifisches Expertenwissen in den Datengenerierungsprozess integriert und somit an das gelernte Modell weitergegeben. Wir entwickeln außerdem ein neues Optimierungsverfahren, das während der Optimierung etwas über den Vorgang an sich lernt. Ein solches Verfahren ist sehr relevant für eine Vielzahl von Problemen in der Robotik, da $\textit{autonome}$ Manipulationssysteme kontinuierlich neue Aufgaben lösen müssen. Im Folgenden stellen wir die Hauptbeiträge dieser Dissertation vor, eingebettet in den Kontext von Manipulationsaufgaben. $\textbf{Visuelle Wahrnehmung in Echtzeit trifft auf reaktive Bewegungsplanung}$ Der Hauptbeitrag dieser Arbeit ist ein voll integriertes Manipulationssystem das erste einheitliche Experimente und dadurch empirische Ergebnisse ermöglicht. Diese zeigen eindeutig, dass kontinuierliche, zeitnahe Wahrnehmung und die Integration mit schnellen Verfahren zur Erzeugung von reaktiven Bewegungen essenziell für erfolgreiche Manipulation in dynamischen Szenarien ist. Wir vergleichen drei verschiedene Systeme, welche die gängigsten Architekturen im Bereich Robotik für Manipulation repräsentieren: (i) Ein traditioneller $\textit{Sense-Plan-Act}$ Ansatz (aktuell am weitesten verbreitet), (ii) einen myopischen Regelungsansatz, der nur auf lokale Veränderungen reagiert und (iii) ein reaktives Planungsverfahren, das auf Änderungen der Umgebung reagiert diese in die Bewegungsplanung einbezieht und den aktuellen Plan transparent an einen schnelleres lokales Regelungsverfahren übergibt. Unser Gesamtsystem ist rein $\textit{modellbasiert}$ und umfangreich auf einer realen Roboterplattform in vier Szenarien empirisch evaluiert worden. Unsere experimentellen Szenarien beinhalten anspruchsvolle Geometrien im Arbeitsraum des Roboters, dynamische Umgebungen und Objekte mit denen der Roboter interagieren muss. Diese Arbeit zeigt den aktuellen Stand der Forschung, der mit einem \textit{modellbasierten} Manipulationssystem im Bereich der Robotik unter Verwendung von schnellen Rückkopplungen und langsamerer reaktiver Planung möglich ist. Angesichts des Interesses in der Robotikforschung $\textit{modellbasierte}$ Systeme mit $\textit{Ende-zu-Ende Lernansätzen}$ ganzheitlich zu ersetzen, ist es wichtig ein performantes $\textit{modellbasiertes}$ Referenzsystem zu haben um neue Methoden qualitativ in Hinblick auf ihre Fähigkeiten und ihre Generalisierbarkeit zu vergleichen. Weiterhin erlaubt ein solches System Probleme mit $\textit{modellbasierten}$ Ansätzen zu identifizieren und diese mithilfe von $\textit{learnbasierten}$ Methoden zu verbessern. $\textbf{Online Entscheidungsfindung für Manipulation}$ Die meisten Robotermanipulationssysteme verfügen über viele Sensoren mit unterschiedlichen Modalitäten und Rauschverhalten. Die Entwicklung von $\textit{Modellen}$ für alle Sensoren ist nicht trivial und die resultierende Modelle zu komplex für Echtzeitverarbeitung in $\textit{modellbasierten}$ Manipulationssystem. Planen mit vielen Sensormodalitäten ist besonders komplex aufgrund der vielen Modellunsicherheiten. Dies ist besonders ausgeprägt für Manipulationsaufgaben bei denen Kontakte zwischen Roboter und Objekten von Bedeutung sind. Eine der Hauptherausforderung für autonome Manipulation ist daher die Erzeugung geeigneter multimodaler Referenztrajektorien, die es ermöglichen Steuerbefehle für Regelungssysteme zu berechnen die nicht modellierte Störungen kompensieren und damit die Erfüllung der gestellten Manipulationsaufgabe ermöglichen. In dieser Arbeit stellen wir einen $\textit{lernbasierten}$ Ansatz zur inkrementellen Erfassung von Referenzsignalen vor, der in Echtzeit entscheidet $\textit{wann}$ ein Verhalten abgebrochen und zu $\textit{welchem}$ Verhalten gewechselt werden sollte, um eine erfolgreiche Ausführung zu gewährleisten. Wir formulieren dieses Online-Entscheidungsproblem als zwei miteinander verbundene Klassifikationsprobleme. Beide verarbeiten die aktuellen Sensormesswerte, zusammengesetzt aus mehreren Sensormodalitäten, in Echtzeit (in 30 Hz). Dieser Ansatz basiert auf unserem domänenspezifischen Problemverständnis, dass stereotypische Bewegungsgenerierung ähnliche Sensordaten erzeugt. Unsere Experimente zeigen, dass dieser Ansatz es ermöglicht schwierige kontextbasierte Aufgaben zu erlernen, die präzise Manipulation von relativ kleinen Objekten voraussetzen. Um eine solche Aufgabe zu erlernen, benötigt ein Benutzer unseres Systems kein Expertenwissen. Das System benötigt nur kinästhetische Demonstrationen und Unterbrechungen in Fehlersituationen. Die gelernte Aufgabenausführung ist robust gegen Störeinflüsse und Sensorrauschen, da unsere Methode online entscheidet, ob sie aufgrund von unerwarteter sensorischer Signale zu einer anderen Ausführung wechseln sollte oder nicht. $\textbf{Big-Data Greifen}$ Greifen ist ein wichtiges Forschungsproblem in der Robotik, da es eine Grundvoraussetzung für Manipulation darstellt. In dieser Arbeit konzentrieren wir uns auf das Problem der Vorhersage von Position und Orientierung bevor ein Kontakt zwischen Objekt und Endeffektor eintritt. Für diesen grundlegenden Schritt um “erfolgreich zu greifen” stehen nur visuelle Sensordaten wie 2D-Bilder und/oder 3D-Punktwolken zur Verfügung. Die Verwendung von $\textit{modellbasierten}$ Greifplanern ist in solchen Situationen nicht optimal, da präzise Simulationen zu rechenintensiv sind und alle Objekte bekannt, erkannt und visuell verfolgt werden müssen. $\textit{Lernbasierte}$ Verfahren die direkt von visuellen Sensordaten stabile Griffe vorhersagen sind sehr effizient in der Auswertung jedoch benötigen die aktuell vielversprechendsten Verfahren, neuronale Netze, eine Vielzahl von annotierten Beispielen um diese Abbildung zu lernen. Im Rahmen dieser Arbeit stellen wir eine umfangreichen Datenbank mit einer Vielzahl von Objekten aus sehr unterschiedlichen Kategorien vor. Auf Basis dieser Datenbank analysieren wir drei Aspekte: (i) Eine Crowdsourcing Studie zeigt, dass unsere neu vorgestellte Metrik auf Basis einer physikalischen Simulation ein besserer Indikator für Greiferfolg im Vergleich zu der bestehenden Standard ϵ-Metrik ist. Darüber hinaus deutet unsere Studie darauf hin, dass unsere Datengenerierung keine manuelle Datenannotation benötigt. (ii) Die daraus resultierende Datenbank ermöglicht die Optimierung von parametrischen Lernverfahren wie neuronale Netze. Dadurch, dass wir eine Abbildung von Sensordaten zu möglichen Griffen lernen, muss das Objekt, seine Position und Orientierung nicht bekannt sein. Darüber hinaus zeigen wir, dass einfachere Methoden wie logistische Regression nicht die Kapazität haben um die Komplexität unserer Daten zu erfassen. (iii) Roboter nehmen ein Szenario typischerweise aus einem Blickwinkel wahr und versuchen ein Objekt mit dem ersten Versuch zu greifen. Klassifikationsverfahren sind nicht speziell für diese Verwendung optimiert, weshalb wir eine neue Formulierung erarbeiten, welche die beste, $\textit{top-1}$ Hypothese aus den jeweiligen Teilmengen auswählt. Diese neuartige Optimierungszielsetzung ermöglicht dies selbst auf unserem binären Datensatz, da das Lernverfahren selbst die Daten ordnet und somit einfach zu erkennende Griffe selbst auswählen kann. $\textbf{Lernen von inversen Dynamikmodellen für Manipulationsaufgaben}$ Sichere Bewegungsausführung auf Basis von Regelungskreisen sind entscheidend für Roboter die mit Menschen kollaborativ Manipulationsaufgaben lösen. Daher werden neue Methoden benötigt, die es ermöglichen inversen Dynamikmodelle zu lernen und bestehende Modelle zu verbessern, um Verstärkungsgrößen in Regelungskreisen zu minimieren. Dies ist besonders wichtig, wenn Objekte manipuliert werden, da sich das bekannte inverse Dynamikmodell dadurch verändert. Aktuelle Verfahren, welche Fehlermodelle zu bestehenden $\textit{modellbasierten}$ Regler für die inverse Dynamik zu lernen, werden auf Basis der erzielten Beschleunigungen und Drehmomenten optimiert. Da die tatsächlich realisierten Beschleunigungen, eine indirekte Datenquelle, jedoch nicht die gewünschten Beschleunigungen darstellen, werden hohe Verstärkungen im Regelkreis benötigt, um relevantere Daten zu erhalten die es erlauben ein gutes Modell zu lernen. Hohe Verstärkung im Regelkreis ist wiederum schlecht für die Sicherheit. In dieser Arbeit leiten wir ein zusätzliches Trainingssignal her, das auf der gewünschten Beschleunigungen basiert und von dem Rückkopplungssignal abgeleitet werden kann. Wir analysieren die Nutzung beider Datenquellen in Simulation und demonstrieren ihre Wirksamkeit auf einer realen Roboterplattform. Wir zeigen, dass das System das gelernte inverse Dynamikmodell inkrementell verbessert. Durch die Kombination beider Datenquellen kann ein neues Modell konsistenter und schneller gelernt werden und zusätzlich werden keine hohen Verstärkungen im Regelungskreis benötigt. $\textbf{Lernen wie man lernt, während man lernt}$ Menschen sind bemerkenswert gut darin, neue oder angepasste Fähigkeiten schnell zu erlernen. Dies ist darauf zurückzuführen, dass wir nicht jede neue Fähigkeit von Grund auf neu erlernen, sondern stattdessen auf den bereits gewonnenen Fertigkeiten aufbauen. Die meisten robotergestützten Lernaufgaben würden davon profitieren, wenn sie ein solches abstraktes Meta-Lernverfahren zur Verfügung hätten. Ein solcher Ansatz ist von großer Bedeutung für die Robotik, da autonomes Lernen ein inhärent inkrementelles Problem ist. In dieser Arbeit stellen wir einen neuen $\textit{Meta-Lernansatz}$ vor, der es erstmals ermöglicht die Roboterdynamik online zu erlernen und auf neue Probleme zu übertragen. Während der Optimierung lernt unser Verfahren die Struktur der Optimierungsprobleme, welche für neue Aufgaben verwendet werden kann, was zu einer schnelleren Konvergenz führt. Das vorgeschlagene $\textit{Meta-Lernverfahren}$ kann zudem mit jedem beliebigen gradientenbasierten Optimierungsansatz verwendet werden. Wir zeigen, dass unser Ansatz die Dateneffizienz für inkrementelles Lernen erhöht. Weiterhin ist unser Verfahren für das $\textit{online Lernen}$ mit korrelierten Daten geeignet, zum Beispiel für inverse Dynamikmodelle. Der vorgestellte Ansatz eröffnet zusätzlich völlig neue Wege um in Simulation gewonnene Erfahrungen in die reale Welt zu transferieren. Dadurch kann möglicherweise bestehendes Domänenwissen in Form von $\textit{modellbasierter}$ Simulation auf völlig neue Weise verwendet werden

Nuclear Power

At the onset of the 21st century, we are searching for reliable and sustainable energy sources that have a potential to support growing economies developing at accelerated growth rates, technology advances improving quality of life and becoming available to larger and larger populations. The quest for robust sustainable energy supplies meeting the above constraints leads us to the nuclear power technology. Today's nuclear reactors are safe and highly efficient energy systems that offer electricity and a multitude of co-generation energy products ranging from potable water to heat for industrial applications. Catastrophic earthquake and tsunami events in Japan resulted in the nuclear accident that forced us to rethink our approach to nuclear safety, requirements and facilitated growing interests in designs, which can withstand natural disasters and avoid catastrophic consequences. This book is one in a series of books on nuclear power published by InTech. It consists of ten chapters on system simulations and operational aspects. Our book does not aim at a complete coverage or a broad range. Instead, the included chapters shine light at existing challenges, solutions and approaches. Authors hope to share ideas and findings so that new ideas and directions can potentially be developed focusing on operational characteristics of nuclear power plants. The consistent thread throughout all chapters is the "system-thinking" approach synthesizing provided information and ideas. The book targets everyone with interests in system simulations and nuclear power operational aspects as its potential readership groups - students, researchers and practitioners

Nuclear Power - System Simulations and Operation

At the onset of the 21st century, we are searching for reliable and sustainable energy sources that have a potential to support growing economies developing at accelerated growth rates, technology advances improving quality of life and becoming available to larger and larger populations. The quest for robust sustainable energy supplies meeting the above constraints leads us to the nuclear power technology. Today's nuclear reactors are safe and highly efficient energy systems that offer electricity and a multitude of co-generation energy products ranging from potable water to heat for industrial applications. Catastrophic earthquake and tsunami events in Japan resulted in the nuclear accident that forced us to rethink our approach to nuclear safety, requirements and facilitated growing interests in designs, which can withstand natural disasters and avoid catastrophic consequences. This book is one in a series of books on nuclear power published by InTech. It consists of ten chapters on system simulations and operational aspects. Our book does not aim at a complete coverage or a broad range. Instead, the included chapters shine light at existing challenges, solutions and approaches. Authors hope to share ideas and findings so that new ideas and directions can potentially be developed focusing on operational characteristics of nuclear power plants. The consistent thread throughout all chapters is the system-thinking approach synthesizing provided information and ideas. The book targets everyone with interests in system simulations and nuclear power operational aspects as its potential readership groups - students, researchers and practitioners

Efficient Decision Support Systems

This series is directed to diverse managerial professionals who are leading the transformation of individual domains by using expert information and domain knowledge to drive decision support systems (DSSs). The series offers a broad range of subjects addressed in specific areas such as health care, business management, banking, agriculture, environmental improvement, natural resource and spatial management, aviation administration, and hybrid applications of information technology aimed to interdisciplinary issues. This book series is composed of three volumes: Volume 1 consists of general concepts and methodology of DSSs; Volume 2 consists of applications of DSSs in the biomedical domain; Volume 3 consists of hybrid applications of DSSs in multidisciplinary domains. The book is shaped upon decision support strategies in the new infrastructure that assists the readers in full use of the creative technology to manipulate input data and to transform information into useful decisions for decision makers

Nuclear Power - System Simulations and Operation

At the onset of the 21st century, we are searching for reliable and sustainable energy sources that have a potential to support growing economies developing at accelerated growth rates, technology advances improving quality of life and becoming available to larger and larger populations. The quest for robust sustainable energy supplies meeting the above constraints leads us to the nuclear power technology. Today's nuclear reactors are safe and highly efficient energy systems that offer electricity and a multitude of co-generation energy products ranging from potable water to heat for industrial applications. Catastrophic earthquake and tsunami events in Japan resulted in the nuclear accident that forced us to rethink our approach to nuclear safety, requirements and facilitated growing interests in designs, which can withstand natural disasters and avoid catastrophic consequences. This book is one in a series of books on nuclear power published by InTech. It consists of ten chapters on system simulations and operational aspects. Our book does not aim at a complete coverage or a broad range. Instead, the included chapters shine light at existing challenges, solutions and approaches. Authors hope to share ideas and findings so that new ideas and directions can potentially be developed focusing on operational characteristics of nuclear power plants. The consistent thread throughout all chapters is the system-thinking approach synthesizing provided information and ideas. The book targets everyone with interests in system simulations and nuclear power operational aspects as its potential readership groups - students, researchers and practitioners

Nuclear Power - System Simulations and Operation

At the onset of the 21st century, we are searching for reliable and sustainable energy sources that have a potential to support growing economies developing at accelerated growth rates, technology advances improving quality of life and becoming available to larger and larger populations. The quest for robust sustainable energy supplies meeting the above constraints leads us to the nuclear power technology. Today's nuclear reactors are safe and highly efficient energy systems that offer electricity and a multitude of co-generation energy products ranging from potable water to heat for industrial applications. Catastrophic earthquake and tsunami events in Japan resulted in the nuclear accident that forced us to rethink our approach to nuclear safety, requirements and facilitated growing interests in designs, which can withstand natural disasters and avoid catastrophic consequences. This book is one in a series of books on nuclear power published by InTech. It consists of ten chapters on system simulations and operational aspects. Our book does not aim at a complete coverage or a broad range. Instead, the included chapters shine light at existing challenges, solutions and approaches. Authors hope to share ideas and findings so that new ideas and directions can potentially be developed focusing on operational characteristics of nuclear power plants. The consistent thread throughout all chapters is the system-thinking approach synthesizing provided information and ideas. The book targets everyone with interests in system simulations and nuclear power operational aspects as its potential readership groups - students, researchers and practitioners

Conference on Intelligent Robotics in Field, Factory, Service, and Space (CIRFFSS 1994), volume 1

The AIAA/NASA Conference on Intelligent Robotics in Field, Factory, Service, and Space (CIRFFSS '94) was originally proposed because of the strong belief that America's problems of global economic competitiveness and job creation and preservation can partly be solved by the use of intelligent robotics, which are also required for human space exploration missions. Individual sessions addressed nuclear industry, agile manufacturing, security/building monitoring, on-orbit applications, vision and sensing technologies, situated control and low-level control, robotic systems architecture, environmental restoration and waste management, robotic remanufacturing, and healthcare applications

Software for Exascale Computing - SPPEXA 2016-2019

This open access book summarizes the research done and results obtained in the second funding phase of the Priority Program 1648 "Software for Exascale Computing" (SPPEXA) of the German Research Foundation (DFG) presented at the SPPEXA Symposium in Dresden during October 21-23, 2019. In that respect, it both represents a continuation of Vol. 113 in Springer’s series Lecture Notes in Computational Science and Engineering, the corresponding report of SPPEXA’s first funding phase, and provides an overview of SPPEXA’s contributions towards exascale computing in today's sumpercomputer technology. The individual chapters address one or more of the research directions (1) computational algorithms, (2) system software, (3) application software, (4) data management and exploration, (5) programming, and (6) software tools. The book has an interdisciplinary appeal: scholars from computational sub-fields in computer science, mathematics, physics, or engineering will find it of particular interest