Adaptive Verhaltensentscheidung und Bahnplanung für kognitive Automobile

In der vorliegenden Arbeit wird eine biologisch motivierte Verhaltenssteuerung für ein kognitives Automobil vorgestellt, die ein hohes Maß an Rückmeldung liefert und damit die Grundlage für zukünftige Lernverfahren bildet. Weiterhin wird eine universell einsetzbare Bahnplanungskomponente entwickelt. Wesentliches Element des vorgestellten Ansatzes ist die Repräsentation von Fahrintention und Fahrzeugumfeld mit Hilfe von dynamischen Gefahrenkarten

Szenenabhängige Online-Adaption von Manipulationssequenzen für einen Serviceroboter

Um in alltäglichen Umgebungen agieren zu können, muss ein Serviceroboter in der Lage sein, seine Handlung zielgerichtet an neue Szenen anzupassen. In dieser Arbeit werden dazu Handlungspläne zur Manipulation durch symbolische Planung erzeugt. Damit diese konsistent mit der realen Umgebung sind, wird aufgrund von sensorischer Wahrnehmung ein symbolisches Modell der Umgebung erzeugt. Dieses erlaubt es dem Roboter, die Effekte einer Aktion, bzw. Aktionsfolge auf seine Umwelt vorherzusagen

Lernen komplexer Aufgaben aus Demonstration und eigener Erfahrung

Heutige Industrieproduktionen wären nicht möglich ohne die Erfindung von Robotern, die effizient und präzise sich ständig wiederholende Aufgaben ausführen. Gleichzeitig stellt die industrielle Fertigung das bisher einzige Gebiet dar, in dem Roboter in großem Maßstab eingesetzt werden. Dabei gibt es auch in anderen Bereichen des Alltags Aufgaben, bei denen Roboter Menschen sinnvoll unterstützen können. Für die Entwicklung von Servicerobotern für diese neuen Einsatzgebiete ergeben sich eine Reihe von Herausforderungen. So ist etwa eine Programmierung, die ab Werk alle Ausprägungen der Aufgabe und Rahmenbedingungen berücksichtigt, nicht mehr praktikabel. In diesem Vortrag werden daher Verfahren vorgestellt, mit deren Hilfe Roboter die benötigten Fähigkeiten auf eine intuitive Art und Weise erlernen und sie bei Bedarf an neue Situationen anpassen und ergänzen können. Als Voraussetzung zum Erlernen von Aktionen wird zunächst ein Verfahren zur Segmentierung und Klassifizierung von Bewegungstrajektorien einerseits und zur Erzeugung generalisierter Bewegungen zwischen beliebigen Endpunkten andererseits vorgestellt. Durch den Einsatz einesiterativen Segmentierungs- und Klassifizierungsalgorithmus sowie eines gemeinsamen probabilistischen Aktionsmodells werden dabei systematische Segmentierungsfehler vermieden. Darauf aufbauend werden Lernverfahren vorgestellt, die Bestärkendes Lernen und Lernen aus Demonstrationen kombinieren, um Robotern das Lösen komplexer Aufgaben durch eine gezielte Kombination einfacher Fähigkeiten beizubringen. Dabei werden zunächst sequentielle Aufgaben betrachtet, bei denen die heterogene Zusammensetzung des Zustands- und Aktionsraumes sowie die variable Länge der zu lernenden Aktionssequenzen besondere Herausforderungen darstellen. Diesen begegnet der daraufhin vorgestellte Ansatz durch eine probabilistische Approximation der Nutzenfunktion über Zustands- und Aktionspaare mit einem speziell entwickelten, kombinierten Kernel. Diese Approximation liefert die Grundlage für eine Bayessche Explorationsstrategie, die auf der Optimierung der Erwarteten Veränderung basiert und ein effizientes Bestärkendes Lernen ermöglicht. Um eine bestmögliche Integration des Bestärkenden Lernens mit Expertenwissen aus Demonstrationen zu erreichen, wird ein mehrstufiges Entscheidungssystem genutzt, das in jeder Situation bestimmt, welches der beiden Lernmodule das geeignetere ist und so ein sicheres, aber gleichzeitig auch effizientes Lernen von Bewegungssequenzen ermöglicht. Um auch komplexe Aufgaben effizient lösen zu können, wird zu guter Letzt ein hierarchisches Lernverfahren vorgestellt, das durch Nutzung von Abstraktionsmöglichkeiten eine verbesserte Skalierbarkeit bietet. Dabei wird die MAXQ-Methode für hierarchisches Bestärkendes Lernen für die Nutzung in kontinuierlichen Zustandsräumen erweitert. Mittels einer Gauß-Prozess-Approximation der MAXQ-Zerlegung für jede Teilaufgabe werden dabei rekursiv probabilistische Schätzungen der Q-Werte entlang der Aufgabenhierarchie berechnet. Auf diese Weise kann das bereits erfolgreich zum Lernen von Aktionssequenzen eingesetzte Bayessche Explorationskriterium auch zum effizienten Lernen von MAXQ-Hierarchien angewandt werden.Darüber hinaus nutzt das Verfahren die hierarchische Aufgabenstruktur, um gezielt Demonstrationen nur für Aufgabenteile anfordern werden, in denen diese tatsächlich benötigt werden und somit unnötige redundante Demonstrationen zu vermeiden. Die vorgestellten Verfahrenwurden durch Experimente in einer simulierten Umgebung und auf einem humanoiden Roboter evaluiert