Event-Driven Technologies for Reactive Motion Planning: Neuromorphic Stereo Vision and Robot Path Planning and Their Application on Parallel Hardware

Die Robotik wird immer mehr zu einem Schlüsselfaktor des technischen Aufschwungs. Trotz beeindruckender Fortschritte in den letzten Jahrzehnten, übertreffen Gehirne von Säugetieren in den Bereichen Sehen und Bewegungsplanung noch immer selbst die leistungsfähigsten Maschinen. Industrieroboter sind sehr schnell und präzise, aber ihre Planungsalgorithmen sind in hochdynamischen Umgebungen, wie sie für die Mensch-Roboter-Kollaboration (MRK) erforderlich sind, nicht leistungsfähig genug. Ohne schnelle und adaptive Bewegungsplanung kann sichere MRK nicht garantiert werden. Neuromorphe Technologien, einschließlich visueller Sensoren und Hardware-Chips, arbeiten asynchron und verarbeiten so raum-zeitliche Informationen sehr effizient. Insbesondere ereignisbasierte visuelle Sensoren sind konventionellen, synchronen Kameras bei vielen Anwendungen bereits überlegen. Daher haben ereignisbasierte Methoden ein großes Potenzial, schnellere und energieeffizientere Algorithmen zur Bewegungssteuerung in der MRK zu ermöglichen. In dieser Arbeit wird ein Ansatz zur flexiblen reaktiven Bewegungssteuerung eines Roboterarms vorgestellt. Dabei wird die Exterozeption durch ereignisbasiertes Stereosehen erreicht und die Pfadplanung ist in einer neuronalen Repräsentation des Konfigurationsraums implementiert. Die Multiview-3D-Rekonstruktion wird durch eine qualitative Analyse in Simulation evaluiert und auf ein Stereo-System ereignisbasierter Kameras übertragen. Zur Evaluierung der reaktiven kollisionsfreien Online-Planung wird ein Demonstrator mit einem industriellen Roboter genutzt. Dieser wird auch für eine vergleichende Studie zu sample-basierten Planern verwendet. Ergänzt wird dies durch einen Benchmark von parallelen Hardwarelösungen wozu als Testszenario Bahnplanung in der Robotik gewählt wurde. Die Ergebnisse zeigen, dass die vorgeschlagenen neuronalen Lösungen einen effektiven Weg zur Realisierung einer Robotersteuerung für dynamische Szenarien darstellen. Diese Arbeit schafft eine Grundlage für neuronale Lösungen bei adaptiven Fertigungsprozesse, auch in Zusammenarbeit mit dem Menschen, ohne Einbußen bei Geschwindigkeit und Sicherheit. Damit ebnet sie den Weg für die Integration von dem Gehirn nachempfundener Hardware und Algorithmen in die Industrierobotik und MRK

A neural network-based trajectory planner for redundant systems using direct inverse modeling

Redundant (i.e., under-determined) systems can not be trained effectively using direct inverse modeling with supervised learning, for reasons well out-lined by Michael Jordan at MIT. There is a loop-hole , however, in Jordan\u27s preconditions, which seems to allow just such an architecture. A robot path planner implementing a cerebellar inspired habituation paradigm with such an architecture will be introduced. The system, called ARTFORMS, for Adaptive Redundant Trajectory Formation System uses on-line training of multiple CMACS. CMACs are locally generalizing networks, and have an a priori deterministic geometric input space mapping. These properties together with on-line learning and rapid convergence satisfy the loop-hole conditions. Issues of stability/plasticity, presentation order and generalization, computational complexity, and subsumptive fusion of multiple networks are discussed. Two implementations are described. The first is shown not to be goal directed enough for ultimate success. The second, which is highly successful, is made more goal directed by the addition of secondary training, which reduces the dimensionality of the problem by using a set of constraint equations. Running open loop with respect to posture (the system metric which reduces dimensionality) is seen to be the root cause of the first system\u27s failure, not the use of the direct inverse method. In fact, several nice properties of direct inverse modeling contribute to the system\u27s convergence speed, robustness and compliance. The central problem used to demonstrate this method is the control of trajectory formation for a planar kinematic chain with a variable number of joints. Finally, this method is extended to implement adaptive obstacle avoidance

Intelligent strategies for mobile robotics in laboratory automation

In this thesis a new intelligent framework is presented for the mobile robots in laboratory automation, which includes: a new multi-floor indoor navigation method is presented and an intelligent multi-floor path planning is proposed; a new signal filtering method is presented for the robots to forecast their indoor coordinates; a new human feature based strategy is proposed for the robot-human smart collision avoidance; a new robot power forecasting method is proposed to decide a distributed transportation task; a new blind approach is presented for the arm manipulations for the robots

Enhanced robotic hand-eye coordination inspired from human-like behavioral patterns

Robotic hand-eye coordination is recognized as an important skill to deal with complex real environments. Conventional robotic hand-eye coordination methods merely transfer stimulus signals from robotic visual space to hand actuator space. This paper introduces a reverse method: Build another channel that transfers stimulus signals from robotic hand space to visual space. Based on the reverse channel, a human-like behavior pattern: “Stop-to-Fixate”, is imparted to the robot, thereby giving the robot an enhanced reaching ability. A visual processing system inspired by the human retina structure is used to compress visual information so as to reduce the robot’s learning complexity. In addition, two constructive neural networks establish the two sensory delivery channels. The experimental results demonstrate that the robotic system gradually obtains a reaching ability. In particular, when the robotic hand touches an unseen object, the reverse channel successfully drives the visual system to notice the unseen object

Decision tree learning for intelligent mobile robot navigation

The replication of human intelligence, learning and reasoning by means of computer algorithms is termed Artificial Intelligence (Al) and the interaction of such algorithms with the physical world can be achieved using robotics. The work described in this thesis investigates the applications of concept learning (an approach which takes its inspiration from biological motivations and from survival instincts in particular) to robot control and path planning. The methodology of concept learning has been applied using learning decision trees (DTs) which induce domain knowledge from a finite set of training vectors which in turn describe systematically a physical entity and are used to train a robot to learn new concepts and to adapt its behaviour. To achieve behaviour learning, this work introduces the novel approach of hierarchical learning and knowledge decomposition to the frame of the reactive robot architecture. Following the analogy with survival instincts, the robot is first taught how to survive in very simple and homogeneous environments, namely a world without any disturbances or any kind of "hostility". Once this simple behaviour, named a primitive, has been established, the robot is trained to adapt new knowledge to cope with increasingly complex environments by adding further worlds to its existing knowledge. The repertoire of the robot behaviours in the form of symbolic knowledge is retained in a hierarchy of clustered decision trees (DTs) accommodating a number of primitives. To classify robot perceptions, control rules are synthesised using symbolic knowledge derived from searching the hierarchy of DTs. A second novel concept is introduced, namely that of multi-dimensional fuzzy associative memories (MDFAMs). These are clustered fuzzy decision trees (FDTs) which are trained locally and accommodate specific perceptual knowledge. Fuzzy logic is incorporated to deal with inherent noise in sensory data and to merge conflicting behaviours of the DTs. In this thesis, the feasibility of the developed techniques is illustrated in the robot applications, their benefits and drawbacks are discussed

Safety of Autonomous Cognitive-oriented Robots

Service robots shall very soon autonomously provide services in all spheres of life by executing demanding and complex tasks in dynamic, complex environments and by collaborating with human users. In order to push forward the understanding of the safety problem a novel classification of robot hazards is provided. The so-called object interaction hazards are derived which arise when environment objects interact with objects that are manipulated by a robot. Taking into account the current state-of-the-art, it can be stated that this denotes a novel problem area. However, it is already proposed the so-called dynamic risk assessment approach, which shall enable the robot to perceive the risk of current and upcoming situations. In order to realize such a risk-aware planning system for the first time, dynamic risk assessment is integrated within a cognitive architecture serving cognitive functions like anticipation, planning and learning. In this connection, action spaces (sets of possible upcoming situations) are dynamically anticipated assessed with regard to comprised risks. Though, (initial) knowledge about hazards is required in order to realize this. Therefore, a novel procedural model is developed for systematically generating a safety knowledge base. However, it can be assumed that the safety knowledge potentially lacks completeness. The application of AI-based approaches constitutes a noteworthy opportunity. For this reason, light is shed on strategically influential learning methods in safety-critical contexts. Finally, this work describes the generation, integration, utilization, and maintenance of a system-internal safety knowledge base for dynamic risk assessment. It denotes an overall concept toward solving the advanced safety problem and confirms in principle the realization of a safe behavior of autonomous and intelligent systems.Sicherheit autonomer kognitivorientierter Roboter Autonome mobile Serviceroboter sollen zukünftig selbstständig Dienstleistungen in allen Lebensbereichen erbringen, auch in direkter Nähe zum Menschen. Um das Verständnis für Sicherheit in der Robotik zu erwei-tern, wird zunächst eine neue Klassifizierung der möglichen Gefahren vorgenommen. Hiervon wird die Klasse der Objektinteraktionsgefahren abgeleitet. Diese Gefahren entstehen, wenn Objekte der Umgebung mit denen interagieren, die der Roboter greift und transportiert. In Anbetracht des aktuellen Standes der Sicherheits-technik in der Robotik wird klar, dass sich hier ein neues Problemfeld auftut. Grundsätzlich wurde bereits ein dynamischer Risikountersuchungsansatz vorgeschlagen, welcher den Roboter selbst befähigen soll, Situatio-nen hinsichtlich möglicher Gefahren zu untersuchen. Um dadurch eine risikobewusste Handlungsplanung erstmals zu realisieren, wird dieser in eine kognitive Architektur integriert, um kognitive Funktionen, wie Anti-zipation, Planen und Lernen zu nutzen. Hierbei werden mögliche Handlungsräume dynamisch antizipiert und mittels dynamischer Risikoanalyse auf mögliche Gefahren untersucht. Um (Objektinteraktions-) Gefahren mit Hilfe der dynamischer Risikountersuchung bestimmen zu können, bedarf es eines (initialen) Wissens über mögliche Gefahren. Aus diesem Grund wird ein Vorgehensmodell zur systematischen Erzeugung einer solchen Sicherheitswissensbasis entwickelt. Dieses Sicherheitswissen ist jedoch potentiell unvollständig. Daher stellt die Erweiterung und Verfeinerung desselben eine Notwendigkeit dar. Hierbei können die Ansätze aus dem Bereich der künstlichen Intelligenz als nützliche Möglichkeit wahrgenommen werden. Daher werden strate-gisch wichtige Lernmethoden hinsichtlich der Anwendung in einem sicherheitskritischen Kontext untersucht. Die vorliegende Arbeit beschreibt die Erzeugung, die Integration, die Verwendung und die Aufrechterhaltung einer systeminternen Sicherheitswissensbasis zum Zwecke der dynamischen Risikountersuchung. Sie stellt hierbei ein Gesamtkonzept dar, dass zur Lösung des erweiterten Sicherheitsproblems beiträgt und somit die prinzipielle Realisierung des sicheren Betriebs von autonomen und intelligenten bestätigt