Lernen komplexer Aufgaben aus Demonstration und eigener Erfahrung

Heutige Industrieproduktionen wären nicht möglich ohne die Erfindung von Robotern, die effizient und präzise sich ständig wiederholende Aufgaben ausführen. Gleichzeitig stellt die industrielle Fertigung das bisher einzige Gebiet dar, in dem Roboter in großem Maßstab eingesetzt werden. Dabei gibt es auch in anderen Bereichen des Alltags Aufgaben, bei denen Roboter Menschen sinnvoll unterstützen können. Für die Entwicklung von Servicerobotern für diese neuen Einsatzgebiete ergeben sich eine Reihe von Herausforderungen. So ist etwa eine Programmierung, die ab Werk alle Ausprägungen der Aufgabe und Rahmenbedingungen berücksichtigt, nicht mehr praktikabel. In diesem Vortrag werden daher Verfahren vorgestellt, mit deren Hilfe Roboter die benötigten Fähigkeiten auf eine intuitive Art und Weise erlernen und sie bei Bedarf an neue Situationen anpassen und ergänzen können. Als Voraussetzung zum Erlernen von Aktionen wird zunächst ein Verfahren zur Segmentierung und Klassifizierung von Bewegungstrajektorien einerseits und zur Erzeugung generalisierter Bewegungen zwischen beliebigen Endpunkten andererseits vorgestellt. Durch den Einsatz einesiterativen Segmentierungs- und Klassifizierungsalgorithmus sowie eines gemeinsamen probabilistischen Aktionsmodells werden dabei systematische Segmentierungsfehler vermieden. Darauf aufbauend werden Lernverfahren vorgestellt, die Bestärkendes Lernen und Lernen aus Demonstrationen kombinieren, um Robotern das Lösen komplexer Aufgaben durch eine gezielte Kombination einfacher Fähigkeiten beizubringen. Dabei werden zunächst sequentielle Aufgaben betrachtet, bei denen die heterogene Zusammensetzung des Zustands- und Aktionsraumes sowie die variable Länge der zu lernenden Aktionssequenzen besondere Herausforderungen darstellen. Diesen begegnet der daraufhin vorgestellte Ansatz durch eine probabilistische Approximation der Nutzenfunktion über Zustands- und Aktionspaare mit einem speziell entwickelten, kombinierten Kernel. Diese Approximation liefert die Grundlage für eine Bayessche Explorationsstrategie, die auf der Optimierung der Erwarteten Veränderung basiert und ein effizientes Bestärkendes Lernen ermöglicht. Um eine bestmögliche Integration des Bestärkenden Lernens mit Expertenwissen aus Demonstrationen zu erreichen, wird ein mehrstufiges Entscheidungssystem genutzt, das in jeder Situation bestimmt, welches der beiden Lernmodule das geeignetere ist und so ein sicheres, aber gleichzeitig auch effizientes Lernen von Bewegungssequenzen ermöglicht. Um auch komplexe Aufgaben effizient lösen zu können, wird zu guter Letzt ein hierarchisches Lernverfahren vorgestellt, das durch Nutzung von Abstraktionsmöglichkeiten eine verbesserte Skalierbarkeit bietet. Dabei wird die MAXQ-Methode für hierarchisches Bestärkendes Lernen für die Nutzung in kontinuierlichen Zustandsräumen erweitert. Mittels einer Gauß-Prozess-Approximation der MAXQ-Zerlegung für jede Teilaufgabe werden dabei rekursiv probabilistische Schätzungen der Q-Werte entlang der Aufgabenhierarchie berechnet. Auf diese Weise kann das bereits erfolgreich zum Lernen von Aktionssequenzen eingesetzte Bayessche Explorationskriterium auch zum effizienten Lernen von MAXQ-Hierarchien angewandt werden.Darüber hinaus nutzt das Verfahren die hierarchische Aufgabenstruktur, um gezielt Demonstrationen nur für Aufgabenteile anfordern werden, in denen diese tatsächlich benötigt werden und somit unnötige redundante Demonstrationen zu vermeiden. Die vorgestellten Verfahrenwurden durch Experimente in einer simulierten Umgebung und auf einem humanoiden Roboter evaluiert

Incremental Action Recognition and Generalizing Motion Generation based on Goal-Directed Features

Abstract — The ability to recognize human actions is a fundamental problem in many areas of robotics research concerned with human-robot interaction or learning from human demonstration. In this paper, we present a new integrated approach to identifying and recognizing actions in human movement sequences and their reproduction in unknown situations. We propose a set of task-space features to construct probabilistic models of action classes. Based on this representation, we suggest a combined segmentation and classification algorithm which processes data non-greedily using an incremental lookahead to reliably locate transitions between actions. In a programming by demonstration scenario, our action models afford the generalization and reproduction of learned movements to previously unseen situations. To evaluate the performance of our approach, we consider typical manipulation tasks in a table top setting. In a sequence of human demonstrations, our approach successfully extracts and recognizes actions from different classes and subsequently generalizes them to unknown situations. I

Towards Robust Mobility, Flexible Object Manipulation, and Intuitive Multimodal Interaction for Domestic Service Robots

{ stueckler droeschel graeve holz schreiber behnke} @ ais.uni-bonn.de { klaehs steffens} @ cs.uni-bonn.d