Learning Motor Skills of Reactive Reaching and Grasping of Objects

Reactive grasping of objects is an essential capability of autonomous robot manipulation, which is yet challenging to learn such sensorimotor control to coordinate coherent hand-finger motions and be robust against disturbances and failures. This work proposed a deep reinforcement learning based scheme to train feedback control policies which can coordinate reaching and grasping actions in presence of uncertainties. We formulated geometric metrics and task-orientated quantities to design the reward, which enabled efficient exploration of grasping policies. Further, to improve the success rate, we deployed key initial states of difficult hand-finger poses to train policies to overcome potential failures due to challenging configurations. The extensive simulation validations and benchmarks demonstrated that the learned policy was robust to grasp both static and moving objects. Moreover, the policy generated successful failure recoveries within a short time in difficult configurations and was robust with synthetic noises in the state feedback which were unseen during training

Learning Motor Skills of Reactive Reaching and Grasping of Objects

Reactive grasping of objects is an essential capability of autonomous robot manipulation, which is yet challenging to learn such sensorimotor control to coordinate coherent hand-finger motions and be robust against disturbances and failures. This work proposed a deep reinforcement learning based scheme to train feedback control policies which can coordinate reaching and grasping actions in presence of uncertainties. We formulated geometric metrics and task-orientated quantities to design the reward, which enabled efficient exploration of grasping policies. Further, to improve the success rate, we deployed key initial states of difficult hand-finger poses to train policies to overcome potential failures due to challenging configurations. The extensive simulation validations and benchmarks demonstrated that the learned policy was robust to grasp both static and moving objects. Moreover, the policy generated successful failure recoveries within a short time in difficult configurations and was robust with synthetic noises in the state feedback which were unseen during training

Vision-based Object’s Shape Determination for Robot Alignment

This study provides vision-based system solutions for a peg-in-hole problem faced by a fork lift like robot used to transport copper wire spools from a rack, in which the spools are arranged side by side to a specified place. The copper wire spool (a cylindrical object on which the copper wire is wound and have a rim at each end) is held by 3 cylindrical shafts; one of the shafts is inserted through the center hole of the spool and another two shafts is held at the bottom of the spool. The aim of the development of vision-based system is to enable the robot to pick up the spool autonomously. To enable the center cylindrical shaft to be inserted nicely through the center hole of the spool, the center point of the spool must be on the center line of the camera Field of View (FOV). The problem to be solved in this study is how to determine that the center point is overlapped with the center line of the camera FOV. Firstly, a circle with the same radius of the spool’s rim was created at the center of the camera frame on screen, and then the spool’s front rim was tracked until it is overlapped with the circle on the screen image to ensure it is on the line of the camera FOV. However, the scope of this paper is limited to copper wire spool detection, and the confirmation of the front rim overlapping conditions is based on real time video processing. The proposed system uses Circular Hough Transform (CHT), binarization, morphology and edge detection of the sampled images from real-time video recording. A Logitech Webcam C270, which has an autofocus camera and HD view with lower price is used. By integrating the Logitech webcam for windows with MATLAB R2016a, all computations, programming and processing of this project are done using the MATLAB. Several experiments had been carried out and from the result obtained, the system is able to track the spool and determine the correct position of the robot to pick up the spool

Camera geometry determination based on circular's shape for peg-in-hole task

A simple, inexpensive system and effective in performing required tasks is the most preferable in industry. The peg-in-hole task is widely used in manufacturing process by using vision system and sensors. However, it requires complex algorithm and high Degree of Freedom (DOF) mechanism with fine movement. Hence, it will increase the cost. Currently, a forklift-like robot controlled by an operator using wired controllers is used to pick up one by one of the copper wire spools arranged side by side on the shelf to be taken to the inspection area. The holder and puller attached to the robot is used to pick up the spool. It is difficult for the operator to ensure the stem is properly inserted into the hole (peg-in-hole problem) because of the structure of the robot. However, the holder design is not universal and not applicable to other companies. The spool can only be grasped and pulled out from the front side and cannot be grasped using robot arm and gripper. In this study, a vision system is developed to solve the peg-in-hole problem by enabling the robot to autonomously perform the insertion and pick up the spool without using any sensors except a low-cost camera. A low-cost camera is used to capture images of copper wire spool in real-time video. Inspired by how human perceive an object orientation based on its shape, a system is developed to determine camera orientation based on the spool image condition and yaw angle from the center of the camera (CFOV) to CHS. The performance of the proposed system is analyzed based on detection rate analysis. This project is developed by using MATLAB software. The analysis is done in controlled environment with 50-110 cm distance range of camera to the spool. In addition, the camera orientation is analyzed between -20º to 20º yaw angle range. In order to ensure the puller will not scratch the spool, a mathematical equation is derived to calculate the puller tolerance. By using this, the system can estimate the spool position based on the camera orientation and distance calculation. Application of this system is simple and costeffective. A Modified Circular Hough Transform (MCHT) method is proposed and tested with existing method which is Circular Hough Transform (CHT) method to eliminate false circles and outliers. The results of the analysis showed detection success rate of 96% compared to the CHT method. It shows the MCHT method is better than CHT method. The proposed system is able to calculate the distance and camera orientation based on spool image condition with low error rate. Hence, it solves the peg-in-hole problem without using Force/Torque sensor. In conclusion, a total of 7 analysis consist of image pre-processing, image segmentation, object classification, comparison between CHT and MCHT, illumination measurement, distance calculation and yaw angle analysis were experimentally tested including the comparison with the existing method. The proposed system was able to achieve all the objectives

近接覚を用いた反射動作に基づくハンド・アーム統合制御による把持

　ロボットハンドによる把持・操作では，視覚と触覚の組み合わせが一般的に用いられる．しかしながら，ハンドと物体が近い位置関係にあるとき，視覚からは対象物が見えず，また，接触するまでは触覚センサは機能しないため，情報欠落が生じる．そこで，近接覚を用いてハンド表面から物体の位置を直接センシングすることで，適切な把持位置に修正する手法が提案されている．ただし，従来研究は平行グリッパや劣駆動ハンドなど，比較的，低自由度のエンドエフェクタを対象としており，多指多関節ハンドとアームを統合的に制御する試みは行われていない．　本論文では近接覚により多指多関節ハンドとアームを統合的に制御する方式を提案し，高速な把持位置・姿勢修正の動作を実現する．この方式はセンサ出力により，直接，ハンド関節とアーム手先位置・姿勢を制御することから，反射型把持(reactive grasping) の一種であり，応答速度が速く，物体ごとにソフトウェアの変更が不要であるという特徴を持つ．　この統合制御の実現にあたって，指先部の近接覚センサの素子配置設計や，統合制御システムの構築，物体形状に倣って指先配置を調整するためのプリグラスプ制御，物体表面の反射率に依存しない把持制御，および，ハンド関節8 自由度とアーム手先6 自由度の統合的な制御方式を提案した．本論文は以下に示す全9 章から構成され，その内容の要旨は以下のとおりである．　第１ 章緒言　第１ 章では，まず，本研究を行う背景として，自動化が求められている作業を紹介し，位置・姿勢，形状や重量，摩擦係数が未知の対象物を自律的に把持するハンドの必要性について説明する．次に，視覚，触覚，近接覚センシングに基づく把持研究例を挙げ，視覚・触覚センシングのみに基づく把持で生じる情報欠落と把持速度の低下の問題を指摘し，近接覚の導入により，把持の確実性と高速性を向上できることを述べる．次に，近接覚を用いた把持の関連研究を紹介し，これまでに多指多関節ハンドとアームを近接覚のみで制御する試みが取り組まれていないことについて言及する．この上で，本論文では多指多関節ハンドとアームの統合制御方式を提案し，高速な把持位置・姿勢調整動作を実現することが目的であることを述べる．そして，この統合制御方式と各章の内容との関連について明確にする．　第２ 章ロボットアーキテクチャの変遷と分類　第２ 章では，本論文で提案する統合制御方式の特徴や位置づけを明確にするために，ロボットアーキテクチャの変遷を述べ，これらを分類し比較を行う．そして，従来の近接覚・触覚を用いた制御では，平行グリッパ等の低自由度のハンドのみを対象としているのに対し，本論文では多自由度のハンドとアームの統合制御を可能としている点が異なることを述べ，本研究の新規性と有用性を明確にする．　第３ 章指先部近接覚センサの設計　第３ 章では，ハンドとアームの統合制御方式を実現するにあたり，まず，物体面の傾きと距離検出に適した指先部近接覚センサの設計を行う．具体的には，指先に実装する近接覚センサの素子配置角度や間隔を調整することで，物体面の傾き検出感度の向上と，指先姿勢に依存しない距離計測特性を実現する．このための素子配置パラメータを考案し，光学シミュレーションにより，パラメータ調整によるセンサ出力特性変化を検証することで，適切な検出素子配置を決定する．　第４ 章指先部近接覚センサによる傾き・距離検出特性　第４ 章では，新たに開発した指先部近接覚センサによる物体面の傾き・距離検出特性を実験により検証する．まず，標準反射板におけるセンサ出力特性から，３ 章の素子配置パラメータ調整の効果を検証し，次に色，模様，材質，形状の異なる物体面の傾き．距離検出実験により，対象物表面での光の反射特性がセンサ出力に与える影響を明らかにする．　第５ ハンド・アーム統合制御システム　第５ 章では，近接覚センサ出力を基に，ハンドとアームを高速リアルタイム制御するためのシステムの構築を行う．まず，各ハードウェアと制御器の接続関係を明示し，ハンドとアームの外観と主な仕様，センサ計測回路の詳細について述べる．次に，複数の近接覚センサ間での光の干渉を防止するためのセンサLED の点灯制御を紹介し，また，アームの運動学的な特異点近傍での制御について説明する．以上の工夫により，第６ ～ ８ 章の実験において正しくセンサ出力を計測し，ハンドとアームを安定かつ高速に制御可能なシステムを構成する．　第６ 章プリグラスプ制御　第６ 章では，指先部近接覚センサの出力に基づき，物体形状に倣って指先配置を調整するための制御方式について説明する．センサ出力を目標値として直接，関節角度を駆動する反射型制御を提案し，実験により指先と物体の初期位置を変化させた際の応答特性や収束位置等を検証する．なお，ここでは物体表面の光の反射率は既知として制御目標値を設定することとし，未知反射率の物体への適用を可能とする制御方式は第７ 章で述べる．　第７ 章物体表面の光の反射率によらない把持制御　第７ 章では，物体表面の光の反射率に依存しない1) 絶対位置制御と2) 相対速度制御を提案し，これらを応用した把持について述べる．両方式ともにアクティブセンシングを利用したものであり，反射率推定のための新たなセンサの導入が必要ないという長所がある．まず，1) 絶対位置制御では，指先の相対移動距離とセンサ出力変化率から，反射率を推定することで，物体面に対し指先位置を一定に調整する手法を提案する．また，この手法により各指を一定距離に配置することで，全指同時接触での把持が可能となることを実験で示す．次に，2) 相対速度制御では，鳥などが飛行制御の際に用いる衝突までの残り時間推定(Time-to-contact)を用いた反射率によらない制御方式を提案する．そして実験により，果物やぬいぐるみ，プラスティック製のおもちゃ等に対し，物体に依存しない把持が可能か検証する．　第８ 章ハンドとアームの統合制御　第８ 章では，物体形状に倣うハンド各指の制御に加えて，さらにアーム手先位置・姿勢も同時に調整する反射型制御を導入することで，ハンドとアームの統合制御方式を実現する．この方式では，ハンドとアームの制御は独立・並列して実行されるが，ハンド関節角度とアーム手先位置・姿勢が相互に作用することで，ハンドとアームの協調動作による把持位置・姿勢修正を可能としている．実験では，テーブル面に置かれた対象物への把持位置・姿勢修正や人が手で持ってランダムに移動させる物体への追従が可能か検証した．　第９ 章結論と今後の展望　第９ 章では，本研究の成果，結論をまとめ，今後の課題，展望について述べる．電気通信大学201

Evaluation und Weiterentwicklung eines kapazitiven taktilen Näherungssensors

Die vorliegende Arbeit hat die Technologie eines kapazitiven taktilen Näherungssensors zum Thema. Zunächst wird anhand eines existierenden Sensors gezeigt, wie dieser in der Robotik in zwei Aufgabenbereichen gewinnbringend eingesetzt werden kann: in der robusten Manipulation und in der Überwachung des Umfelds des Roboters. Im Bereich der Manipulation werden zwei neue Untergebiete für diese Art von Sensoren erschlossen: die Haptische Exploration und die Telemanipulation. Dann wird diese Technologie in einem neuen Entwurf entscheidend weiterentwickelt, indem ihre Funktionalität erweitert, ihre Integrierbarkeit verbessert und ihre Ortsauflösung erhöht wird. Für den Bereich der Manipulation wird ein Zwei-Backen-Greifer mit vorhandenen Sensormodulen ausgestattet. Eine gradientenbasierte Regelung ermöglicht das berührungslose Ausrichten an Objekten in den sechs Raumfreiheitsgraden. Diese Methode ist Grundlage für die weiteren Methoden der Haptischen Exploration und der Telemanipulation. Die traditionelle Haptische Exploration wird erweitert, indem berührungslose Explorationsschritte eingeführt werden, welche effizient ausgeführt werden können. Die Telemanipulation beinhaltet, dass der Nutzer des Systems eine Kraftrückkopplung spürt, welche mit dem Gradienten, der durch die Näherungssensoren detektiert wird, korrespondiert. Mit dieser Unterstützung kann der Nutzer Objekte effizienter explorieren und greifen. Die Überwachung des Umfelds des Roboters wird realisiert, indem ein End-Effektor mit den vorhandenen Sensormodulen ausgestattet wird. In einem Szenario zur Konturverfolgung bzw. Kollisionsvermeidung wird gezeigt, dass der End-Effektor unvorhergesehene Hindernisse erfolgreich umfahren kann. Im vorgestellten Ansatz wird gezeigt, dass die geschätzte Krümmung der Hindernisfläche für eine prädiktive Regelung verwendet werden kann. Aus der anwendungsbezogenen Evaluation des Sensors werden die Anforderungen des neuen Entwurfs abgeleitet. Der Sensor wird in seiner Funktionalität erweitert, insbesondere mit der Fähigkeit, im beidseitig-kapazitiven Modus zu messen. Dieser Modus verbessert die Robustheit bei der Detektion von nicht leitenden Materialien. Hinsichtlich der Integrierbarkeit wird der Sensor modularisiert, d. h. einzelne Sensoreinheiten sind in der Lage autark zu messen und die Signale zu verarbeiten. Schließlich wird eine flexible Ortsauflösung für den Sensor realisiert, damit dieser situativ eine höhere Ortsauflösung oder eine höhere Empfindlichkeit aufweisen kann. Es wird gezeigt, dass sich die Methoden, welche für den ersten Sensor entwickelt wurden, auch mit dem neuen Sensor umsetzen lassen. Durch die bessere Integrierbarkeit und Vielseitigkeit werden die Voraussetzungen für eine weitere Verbreitung der Technologie geschaffen