Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping and Cross-Domain Image Matching

This paper presents a robotic pick-and-place system that is capable of grasping and recognizing both known and novel objects in cluttered environments. The key new feature of the system is that it handles a wide range of object categories without needing any task-specific training data for novel objects. To achieve this, it first uses a category-agnostic affordance prediction algorithm to select and execute among four different grasping primitive behaviors. It then recognizes picked objects with a cross-domain image classification framework that matches observed images to product images. Since product images are readily available for a wide range of objects (e.g., from the web), the system works out-of-the-box for novel objects without requiring any additional training data. Exhaustive experimental results demonstrate that our multi-affordance grasping achieves high success rates for a wide variety of objects in clutter, and our recognition algorithm achieves high accuracy for both known and novel grasped objects. The approach was part of the MIT-Princeton Team system that took 1st place in the stowing task at the 2017 Amazon Robotics Challenge. All code, datasets, and pre-trained models are available online at http://arc.cs.princeton.eduComment: Project webpage: http://arc.cs.princeton.edu Summary video: https://youtu.be/6fG7zwGfIk

Fast Object Learning and Dual-arm Coordination for Cluttered Stowing, Picking, and Packing

Robotic picking from cluttered bins is a demanding task, for which Amazon Robotics holds challenges. The 2017 Amazon Robotics Challenge (ARC) required stowing items into a storage system, picking specific items, and packing them into boxes. In this paper, we describe the entry of team NimbRo Picking. Our deep object perception pipeline can be quickly and efficiently adapted to new items using a custom turntable capture system and transfer learning. It produces high-quality item segments, on which grasp poses are found. A planning component coordinates manipulation actions between two robot arms, minimizing execution time. The system has been demonstrated successfully at ARC, where our team reached second places in both the picking task and the final stow-and-pick task. We also evaluate individual components.Comment: In: Proceedings of the International Conference on Robotics and Automation (ICRA) 201

Learning to Dexterously Pick or Separate Tangled-Prone Objects for Industrial Bin Picking

Industrial bin picking for tangled-prone objects requires the robot to either pick up untangled objects or perform separation manipulation when the bin contains no isolated objects. The robot must be able to flexibly perform appropriate actions based on the current observation. It is challenging due to high occlusion in the clutter, elusive entanglement phenomena, and the need for skilled manipulation planning. In this paper, we propose an autonomous, effective and general approach for picking up tangled-prone objects for industrial bin picking. First, we learn PickNet - a network that maps the visual observation to pixel-wise possibilities of picking isolated objects or separating tangled objects and infers the corresponding grasp. Then, we propose two effective separation strategies: Dropping the entangled objects into a buffer bin to reduce the degree of entanglement; Pulling to separate the entangled objects in the buffer bin planned by PullNet - a network that predicts position and direction for pulling from visual input. To efficiently collect data for training PickNet and PullNet, we embrace the self-supervised learning paradigm using an algorithmic supervisor in a physics simulator. Real-world experiments show that our policy can dexterously pick up tangled-prone objects with success rates of 90%. We further demonstrate the generalization of our policy by picking a set of unseen objects. Supplementary material, code, and videos can be found at https://xinyiz0931.github.io/tangle.Comment: 8 page

Planning and Navigation in Dynamic Environments for Mobile Robots and Micro Aerial Vehicles

Reliable and robust navigation planning and obstacle avoidance is key for the autonomous operation of mobile robots. In contrast to stationary industrial robots that often operate in controlled spaces, planning for mobile robots has to take changing environments and uncertainties into account during plan execution. In this thesis, planning and obstacle avoidance techniques are proposed for a variety of ground and aerial robots. Common to most of the presented approaches is the exploitation of the nature of the underlying problem to achieve short planning times by using multiresolution or hierarchical approaches. Short planning times allow for continuous and fast replanning to take the uncertainty in the environment and robot motion execution into account. The proposed approaches are evaluated in simulation and real-world experiments. The first part of this thesis addresses planning for mobile ground robots. One contribution is an approach to grasp and object removal planning to pick objects from a transport box with a mobile manipulation robot. In a multistage process, infeasible grasps are pruned in offline and online processing steps. Collision-free endeffector trajectories are planned to the remaining grasps until a valid removal trajectory can be found. An object-centric local multiresolution representation accelerates trajectory planning. The mobile manipulation components are evaluated in an integrated mobile bin-picking system. Local multiresolution planning is employed for path planning for humanoid soccer robots as well. The used Nao robot is equipped with only relatively low computing power. A resource-efficient path planner including the anticipated movements of opponents on the field is developed as part of this thesis. In soccer games an important subproblem is to reach a position behind the ball to dribble or kick it towards the goal. By the assumption that the opponents have the same intention, an explicit representation of their movements is possible. This leads to paths that facilitate the robot to reach its target position with a higher probability without being disturbed by the other robot. The evaluation for the planner is performed in a physics-based soccer simulation. The second part of this thesis covers planning and obstacle avoidance for micro aerial vehicles (MAVs), in particular multirotors. To reduce the planning complexity, the planning problem is split into a hierarchy of planners running on different levels of abstraction, i.e., from abstract to detailed environment descriptions and from coarse to fine plans. A complete planning hierarchy for MAVs is presented, from mission planners for multiple application domains to low-level obstacle avoidance. Missions planned on the top layer are executed by means of coupled allocentric and egocentric path planning. Planning is accelerated by global and local multiresolution representations. The planners can take multiple objectives into account in addition to obstacle costs and path length, e.g., sensor constraints. The path planners are supplemented by trajectory optimization to achieve dynamically feasible trajectories that can be executed by the underlying controller at higher velocities. With the initialization techniques presented in this thesis, the convergence of the optimization problem is expedited. Furthermore, frequent reoptimization of the initial trajectory allows for the reaction to changes in the environment without planning and optimizing a complete new trajectory. Fast, reactive obstacle avoidance based on artificial potential fields acts as a safety layer in the presented hierarchy. The obstacle avoidance layer employs egocentric sensor data and can operate at the data acquisition frequency of up to 40 Hz. It can slow-down and stop the MAVs in front of obstacles as well as avoid approaching dynamic obstacles. We evaluate our planning and navigation hierarchy in simulation and with a variety of MAVs in real-world applications, especially outdoor mapping missions, chimney and building inspection, and automated stocktaking.Planung und Navigation in dynamischen Umgebungen für mobile Roboter und Multikopter Zuverlässige und sichere Navigationsplanung und Hindernisvermeidung ist ein wichtiger Baustein für den autonomen Einsatz mobiler Roboter. Im Gegensatz zu klassischen Industrierobotern, die in der Regel in abgetrennten, kontrollierten Bereichen betrieben werden, ist es in der mobilen Robotik unerlässlich, Änderungen in der Umgebung und die Unsicherheit bei der Aktionsausführung zu berücksichtigen. Im Rahmen dieser Dissertation werden Verfahren zur Planung und Hindernisvermeidung für eine Reihe unterschiedlicher Boden- und Flugroboter entwickelt und vorgestellt. Den meisten beschriebenen Ansätzen ist gemein, dass die Struktur der zu lösenden Probleme ausgenutzt wird, um Planungsprozesse zu beschleunigen. Häufig ist es möglich, mit abnehmender Genauigkeit zu planen desto weiter eine Aktion in der Zeit oder im Ort entfernt ist. Dieser Ansatz wird lokale Multiresolution genannt. In anderen Fällen ist eine Zerlegung des Problems in Schichten unterschiedlicher Genauigkeit möglich. Die damit zu erreichende Beschleunigung der Planung ermöglicht ein häufiges Neuplanen und somit die Reaktion auf Änderungen in der Umgebung und Abweichungen bei den ausgeführten Aktionen. Zur Evaluation der vorgestellten Ansätze werden Experimente sowohl in der Simulation als auch mit Robotern durchgeführt. Der erste Teil dieser Dissertation behandelt Planungsmethoden für mobile Bodenroboter. Um Objekte mit einem mobilen Roboter aus einer Transportkiste zu greifen und zur Weiterverarbeitung zu einem Arbeitsplatz zu liefern, wurde ein System zur Planung möglicher Greifposen und hindernisfreier Endeffektorbahnen entwickelt. In einem mehrstufigen Prozess werden mögliche Griffe an bekannten Objekten erst in mehreren Vorverarbeitungsschritten (offline) und anschließend, passend zu den erfassten Objekten, online identifiziert. Zu den verbleibenden möglichen Griffen werden Endeffektorbahnen geplant und, bei Erfolg, ausgeführt. Die Greif- und Bahnplanung wird durch eine objektzentrische lokale Multiresolutionskarte beschleunigt. Die Einzelkomponenten werden in einem prototypischen Gesamtsystem evaluiert. Eine weitere Anwendung für die lokale Multiresolutionsplanung ist die Pfadplanung für humanoide Fußballroboter. Zum Einsatz kommen Nao-Roboter, die nur über eine sehr eingeschränkte Rechenleistung verfügen. Durch die Reduktion der Planungskomplexität mit Hilfe der lokalen Multiresolution, wurde die Entwicklung eines Planers ermöglicht, der zusätzlich zur aktuellen Hindernisfreiheit die Bewegung der Gegenspieler auf dem Feld berücksichtigt. Hierbei liegt der Fokus auf einem wichtigen Teilproblem, dem Erreichen einer guten Schussposition hinter dem Ball. Die Tatsache, dass die Gegenspieler vergleichbare Ziele verfolgen, ermöglicht es, Annahmen über mögliche Laufwege zu treffen. Dadurch ist die Planung von Pfaden möglich, die das Risiko, durch einen Gegenspieler passiv geblockt zu werden, reduzieren, so dass die Schussposition schneller erreicht wird. Dieser Teil der Arbeit wird in einer physikalischen Fußballsimulation evaluiert. Im zweiten Teil dieser Dissertation werden Methoden zur Planung und Hindernisvermeidung von Multikoptern behandelt. Um die Planungskomplexität zu reduzieren, wird das zu lösenden Planungsproblem hierarchisch zerlegt und durch verschiedene Planungsebenen verarbeitet. Dabei haben höhere Planungsebenen eine abstraktere Weltsicht und werden mit niedriger Frequenz ausgeführt, zum Beispiel die Missionsplanung. Niedrigere Ebenen haben eine Weltsicht, die mehr den Sensordaten entspricht und werden mit höherer Frequenz ausgeführt. Die Granularität der resultierenden Pläne verfeinert sich hierbei auf niedrigeren Ebenen. Im Rahmen dieser Dissertation wurde eine komplette Planungshierarchie für Multikopter entwickelt, von Missionsplanern für verschiedene Anwendungsgebiete bis zu schneller Hindernisvermeidung. Pfade zur Ausführung geplanter Missionen werden durch zwei gekoppelte Planungsebenen erstellt, erst allozentrisch, und dann egozentrisch verfeinert. Hierbei werden ebenfalls globale und lokale Multiresolutionsrepräsentationen zur Beschleunigung der Planung eingesetzt. Zusätzlich zur Hindernisfreiheit und Länge der Pfade können auf diesen Planungsebenen weitere Zielfunktionen berücksichtigt werden, wie zum Beispiel die Berücksichtigung von Sensorcharakteristika. Ergänzt werden die Planungsebenen durch die Optimierung von Flugbahnen. Diese Flugbahnen berücksichtigen eine angenäherte Flugdynamik und erlauben damit ein schnelleres Verfolgen der optimierten Pfade. Um eine schnelle Konvergenz des Optimierungsproblems zu erreichen, wurde in dieser Arbeit ein Verfahren zur Initialisierung entwickelt. Des Weiteren kommen Methoden zur schnellen Verfeinerung des Optimierungsergebnisses bei Änderungen im Weltzustand zum Einsatz, diese ermöglichen die Reaktion auf neue Hindernisse oder Abweichungen von der Flugbahn, ohne eine komplette Flugbahn neu zu planen und zu optimieren. Die Sicherheit des durch die Planungs- und Optimierungsebenen erstellten Pfades wird durch eine schnelle, reaktive Hindernisvermeidung gewährleistet. Das Hindernisvermeidungsmodul basiert auf der Methode der künstlichen Potentialfelder. Durch die Verwendung dieser schnellen Methode kombiniert mit der Verwendung von nicht oder nur über kurze Zeiträume aggregierte Sensordaten, ermöglicht die Reaktion auf unbekannte Hindernisse, kurz nachdem diese von den Sensoren wahrgenommen wurden. Dabei kann der Multikopter abgebremst oder gestoppt werden, und sich von nähernden Hindernissen entfernen. Die Komponenten der Planungs- und Hindernisvermeidungshierarchie werden sowohl in der Simulation evaluiert, als auch in integrierten Gesamtsystemen mit verschiedenen Multikoptern in realen Anwendungen. Dies sind insbesondere die Kartierung von Innen- und Außenbereichen, die Inspektion von Gebäuden und Schornsteinen sowie die automatisierte Inventur von Lägern