Robotic Ironing with 3D Perception and Force/Torque Feedback in Household Environments

As robotic systems become more popular in household environments, the complexity of required tasks also increases. In this work we focus on a domestic chore deemed dull by a majority of the population, the task of ironing. The presented algorithm improves on the limited number of previous works by joining 3D perception with force/torque sensing, with emphasis on finding a practical solution with a feasible implementation in a domestic setting. Our algorithm obtains a point cloud representation of the working environment. From this point cloud, the garment is segmented and a custom Wrinkleness Local Descriptor (WiLD) is computed to determine the location of the present wrinkles. Using this descriptor, the most suitable ironing path is computed and, based on it, the manipulation algorithm performs the force-controlled ironing operation. Experiments have been performed with a humanoid robot platform, proving that our algorithm is able to detect successfully wrinkles present in garments and iteratively reduce the wrinkleness using an unmodified iron.Comment: Accepted and to be published on the 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2017) that will be held in Vancouver, Canada, September 24-28, 201

Manipulating Highly Deformable Materials Using a Visual Feedback Dictionary

The complex physical properties of highly deformable materials such as clothes pose significant challenges fanipulation systems. We present a novel visual feedback dictionary-based method for manipulating defoor autonomous robotic mrmable objects towards a desired configuration. Our approach is based on visual servoing and we use an efficient technique to extract key features from the RGB sensor stream in the form of a histogram of deformable model features. These histogram features serve as high-level representations of the state of the deformable material. Next, we collect manipulation data and use a visual feedback dictionary that maps the velocity in the high-dimensional feature space to the velocity of the robotic end-effectors for manipulation. We have evaluated our approach on a set of complex manipulation tasks and human-robot manipulation tasks on different cloth pieces with varying material characteristics.Comment: The video is available at goo.gl/mDSC4

Visual Closed-Loop Control for Pouring Liquids

Pouring a specific amount of liquid is a challenging task. In this paper we develop methods for robots to use visual feedback to perform closed-loop control for pouring liquids. We propose both a model-based and a model-free method utilizing deep learning for estimating the volume of liquid in a container. Our results show that the model-free method is better able to estimate the volume. We combine this with a simple PID controller to pour specific amounts of liquid, and show that the robot is able to achieve an average 38ml deviation from the target amount. To our knowledge, this is the first use of raw visual feedback to pour liquids in robotics.Comment: To appear at ICRA 201

Continuous perception for deformable objects understanding

We present a robot vision approach to deformable object classification, with direct application to autonomous service robots. Our approach is based on the assumption that continuous perception provides robots with greater visual competence for deformable objects interpretation and classification. Our approach thus classifies the category of clothing items by continuously perceiving the dynamic interactions of the garment’s material and shape as it is being picked up. Our proposed solution consists of extracting continuously visual features of a RGB-D video sequence and fusing features by means of the Locality Constrained Group Sparse Representation (LGSR) algorithm. To evaluate the performance of our approach, we created a fully annotated database featuring 150 garment videos in random configurations. Experiments demonstrate that by continuously observing an object deform, our approach achieves a classification score of 66.7%, outperforming state-of-the-art approaches by a ∼ 27.3% increase

Enabling garment-agnostic laundry tasks for a Robot Household Companion

Domestic chores, such as laundry tasks, are dull and repetitive. These tasks consume a significant amount of daily time, and are however unavoidable. Additionally, a great portion of elder and disabled people require help to perform them due to lack of mobility. In this work we present advances towards a Robot Household Companion (RHC), focusing on the performance of two particular laundry tasks: unfolding and ironing garments. Unfolding is required to recognize the garment prior to any later folding operation. For unfolding, we apply an interactive algorithm based on the analysis of a colored 3D reconstruction of the garment. Regions are clustered based on height, and a bumpiness value is computed to determine the most suitable pick and place points to unfold the overlapping region. For ironing, a custom Wrinkleness Local Descriptor (WiLD) descriptor is applied to a 3D reconstruction to find the most significant wrinkles in the garment. These wrinkles are then ironed using an iterative path-following control algorithm that regulates the amount of pressure exerted on the garment. Both algorithms focus on the feasibility of a physical implementation in real unmodified environments. A set of experiments to validate the algorithms have been performed using a full-sized humanoid robot.This work was supported by RoboCity2030-III-CM project (S2013/MIT-2748), funded by Programas de Actividades I+D in Comunidad de Madrid, Spain and EU and by a FPU grant funded by Ministerio de Educación, Cultura y Deporte, Spain. It was also supported by the anonymous donor of a red hoodie used in our initial trials. We gratefully acknowledge the support of NVIDIA, United States Corporation with the donation of the NVIDIA Titan X GPU used for this research

双腕アームロボットによる布被覆作業に関する研究

本研究の目的は，物体を布で包む作業（被覆作業）をモデル化し，ロボットによる被覆作業を実現させることである．本論文では「目標線」の概念に基づいて物体を布で包む作業（被覆作業）をモデル化することを提案した．これにより，まず人間が大まかな包み方を教示し，次に布と物体の形状から被覆作業を計画し，最終的にロボットの動作を生成し，ロボットによる被覆作業を実現した．近年，工場のロボット化が行われているが，ロボット化できない作業はまだまだ存在している．それらは，人間にしか行えないような巧みで複雑な作業，あるいは，ロボットより人間の方が効率的にできてしまうような作業である．そのような作業の１つとして，布を扱う作業が挙げられる．布を扱う作業の中には，布単体だけでなく，物体も一緒に取り扱っていく被覆作業が多く存在している．しかし，この被覆作業をロボットに指示するための有効な作業モデルは確立されていない．先行研究では，ロボットによる布操作の記述方法として，点，折り線や手先経路が用いられている．また，コンピュータグラフィクス分野では目標線という記述方法があり，これは被覆を表現するために用いられている．被覆作業をロボット化する上では，まず，実世界のロボットのために，汎用的な被覆モデルとして必要となる物体と布の関係や作業手順を，どのように記述すればいいのかという問題に直面する．このような点を考慮し，被覆作業に適した記述モデルを導入しなければならない．次に，そのような被覆のための作業記述を，実際のロボットにどのように入力すればいいのかという問題がある．煩雑な指示方法ではなく，実空間上で人間が考えている被覆作業を，直感的にロボットに指示できるのが望ましい．最後に，その作業記述から実際のロボットの動きをどのように生成すればよいのかという問題が現れてくる．ロボットが被覆作業を達成するためには，実際の手先軌道や干渉を回避するための動作を，状況に合わせて生成しなければならない．以上を踏まえて，本研究ではロボットによる被覆作業の課題に取り組んだ．具体的には以下の課題について取り組んだ．・布と物体の関係を適切に表す記述方法・直感的な被覆手順の指示方法・ロボットの動作軌道の生成方法まず，布と物体の関係を適切に表す記述方法について検討した．本研究では，コンピュータグラフィクス分野で用いられた目標線という記述方法を，実空間のロボットに導入することを提案した．この目標線は平面だけでなく曲面形状への指示が行いやすい．そして，物体のどこを布で包んでいくかという被覆の本質的な情報を自然に表せる利点を持つ．その中では，凹凸が存在するような物体に対しても被覆を行う場合があり，その凹凸を適切に処理して，作業を記述する必要がある．そこで，物体の埋めるべき凹部と埋めるべきでない凹部分を考慮し，凹凸へ適切な目標線指示を行うための局所凸という概念，及び局所凸生成方法を提案した．次に，直感的な被覆手順の指示方法について検討した．本研究では，人間の大まかな包む指示と被覆の関係を考え，物体と布のどこを重ね合わせるかという人間の被覆の意図を目標線として入力する方法を提案した．本研究は，作業指示を行う手の正確な３次元的な軌跡ではなく，手の軌跡とその軌跡が通過していく物体表面の関係に注目した．そして，デプスセンサとモーションキャプチャセンサを組合せた教示デバイスを用いて，人間の被覆の意図を抽出した．その中では，指示中の手振れの影響を小さくするための目標線逆走防止処理手法とスムージングと間引き処理を合わせた補正処理手法を提案した．最後に，ロボットの動作軌道の生成方法について検討した．本研究では，目標線と把持点から布の動きを表す手先経路を生成する方法と，その手先経路を実行するためのロボット動作の生成方法を提案した．実際のロボットを動かすためには，目標線だけでなく，手先経路や動作指令が必要であり，可動域や物体との干渉を考慮し，右手と左手を用いた布の持ち替えや持ち直しを行わなければならない．これらの情報を生成する上で，目標線が被覆の本質的な情報を保持している．そのため，手先経路・動作指令は自動的に生成可能である．動作生成手法の中では，各操作の布への重力の影響，動作ステップ数やロボットと布の位置関係を考慮した確実性を求め，それを基に生成された動作遷移グラフを用いて，最適な持ち替えや持ち直し操作の組み合わせを計画する方法を提案した．以上，本研究では，物体を布で包むという被覆作業について，ロボット化のための枠組みを提案した．さらに，各課題に対する提案方法を統合し，一連の被覆作業システムとして実装した．これにより，実際に人間の大まかな指示から，目標線を用いて布と物体の関係を記述し，そこから布の動きを表す手先経路，状況に合わせた最適なロボット動作を生成できるようになりロボットによる被覆作業が実現した．電気通信大学201