펙인홀 작업을 위한 다자유도 그리퍼 및 각도 에러 측정 시스템의 설계

학위논문 (박사)-- 서울대학교 대학원 공과대학 기계항공공학부, 2017. 8. 김종원.펙인홀(Peg-In-Hole) 작업은 로봇을 활용한 조립작업 중 가장 기초적인 작업이라고 할 수 있다. 조그마한 위치 에러에도 끼임 현상(Jamming 또는 Wedging)이 발생하고 이는 부품 삽입 중에 파손을 유발할 수 있기 때문에, 조립 대상물간의 위치 및 방향에 대한 정렬이 성공적인 펙인홀 작업을 위해서는 무엇보다 중요하다. 이러한 펙인홀 작업을 위해서는 지금까지 많은 연구가 진행되어 왔으며, 대상물간의 정렬 방식에 따라서 수동적 또는 능동적 방법으로 구분된다. RCC(Remote Center Compliance)로 대표되는 수동적인 정렬방법은 컴플라이언스와 대상 부품의 특정 모양을 이용하는 반면에, 능동적인 정렬방법은 비전이나 조립 시 발생하는 반력 정보를 이용하여 대상물간의 정렬을 수행한다. 수동적 정렬 방법은 특별한 측정이나 노력 없이 사용될 수 있다는 장점을 가지고 있지만, 부품의 챔버(Chamfer) 사이즈나 펙의 길이 등에 따라서 사용 가능 여부가 결정되어 적용이 제한적이다. 비전의 활용을 통한 정렬도 또한 적용이 제한적인데, 그 이유는 카메라의 설치 위치 및 주변 환경에 따른 측정 정확도의 민감성 때문이다. 본 학위 논문에서는 효과적인 펙인홀 작업을 수행하기 위하여 다자유도의 그리퍼, 각도 에러 측정기 및 측정된 힘 정보를 군집화하여 대상물간의 위치 에러를 측정할 수 있는 알고리즘이 제안되었다. 이를 위하여 하단의 주요 세가지 핵심 기능이 시스템 설계에 구현되었으며, 사각 형상의 펙인홀 작업을 통해 증명되었다. 위치 에러 보정 작업 시 미세 조정 작업을 위하여, 4 자유도를 지닌 두 개의 손가락으로 구성된 그리퍼가 설계되었으며, 손가락 끝 단에는 6축 힘 센서가 내재되어 반력 측정을 가능하게 하였다. 로봇의 손목에 설치된 힘 센서와 로봇 팔의 자유도를 사용하여 작업을 수행하는 일반적인 방법과는 달리, 설계된 다자유도 그리퍼를 활용하여 펙을 조작 가능하게 하였다. 또한, 펙의 양 측면에서 발생된 반력 정보들을 펙의 위치 정보와 함께 저장하여 위치에러 도출에 활용 가능하도록 하였다. 2 자유도의 직교 로봇과 레이저 거리 센서로 구성된 견실한 각도 측정기(Scanner)가 펙과 홀 사이간의 각도 에러 보정을 위하여 설계 및 구현되었다. 펙과 홀 사이간의 접촉 조건에 따라서 모멘트 반력의 발생 유무가 결정되는데, 힘 정보를 바탕으로 한 빠르고 신뢰성 있는 에러 추정을 위해서는 각도 에러 측정을 통한 보정을 필요로 한다. 사각형상의 펙 인 홀 작업의 경우에는, 펙과 홀 사이간의 엣지 및 지지 면의 수에 따라서 총 5가지의 경우로 접촉 조건이 분류가 되는데, 모멘트는 그 중에서 한가지의 경우에만 발생하게 된다. 각도 에러 보정을 통하여, 접촉 조건은 2가지로 줄어들게 되며, 이를 통하여 에러 보정 시간을 줄이는 것이 가능하다. 펙과 홀 사이간의 위치 에러를 추출하기 위하여, 모멘트 반력 정보와 펙의 위치 정보로 구성된 데이터 세트에 군집화 알고리즘을 적용하였다. 각도 에러 보정 후에도, 모멘트가 발생하지 않는 경우가 남게 되며 이러한 혼합된 데이터 세트에서도 위치 에러를 추출할 수 있는 인공지능을 필요로 한다. 이를 위하여, 기계 학습에서 사용되는 두 가지의 대표적인 알고리즘, K 평균 알고리즘과 가우시안 혼합 모델 알고리즘을 다양한 측정 데이터 세트들에 적용하였다. 에러 추출 시 알고리즘의 정확도와 견실함을 확인 하기 위하여 같은 조건에서 측정되거나 다른 속도에서 측정된 세 개의 데이터 세트가 위치 에러 추출을 위하여 사용되었다. K 평균 알고리즘의 경우, 추출된 위치 에러의 정확도와 각각의 데이터 세트에서 추출된 위치 에러 값들의 편차는 각각 0.29mm, 0.14mm 이내이지만, 가우시안 혼합 모델 알고리즘의 경우에는 각각 0.44mm, 0.43mm를 보이고 있다. K 평균 알고리즘은 위치 에러 추출에서 안정적인 정확도와 견실함을 가지며, 가우시안 혼합 모델 알고리즘은 위하여 제한조건을 지닌 파라미터 사용을 필요로 하는 것을 확인할 수 있다. 센서로부터의 정보에 의지하지 않고, 긴 나선형 궤적만을 이용하여 에러 보정을 수행하는 블라인드 서치(Blind Search)와 비교할 때, 제안된 측정기와 위치 추출 알고리즘은 짧고 편차가 없는 에러 보정 시간의 장점을 가지고 있다. 주어진 검색 영역을 수직 수평으로 움직이는 짧은 XY 궤적을 사용하여 에러 보정 시간을 단축 가능하게 하고, 각도 에러 보정을 통하여 접촉 조건 경우의 수를 줄이면서 에러 보정을 위한 시간에 편차가 없도록 하였다.Peg-In-Hole is the one of basic tasks for robotic assembly. For successful Peg-In-Hole, the position and orientation alignment between mating parts is very important because small error can induce jamming and wedging which generates excessive force leading to damages on mating parts during insertion. A lot of researches for Peg-In-Hole task have been underway and it can be categorized into passive and active approaches. The passive approach represented by Remote Center Compliance uses the compliance and shape of mating parts for alignment, whereas the active approach uses measurement from vision, force or both of them. Passive approach has strength in which alignment can be done passively without any other measurements but applications are limited because it depends on the shape of mating parts like chamfer size and length of peg. Utilization of vision is also limited because of sensitivity in accuracy which is affected significantly by camera location and surrounding environment. In this dissertation, a dexterous gripper with an angular error measuring instrument and reliable position error estimation algorithm by clustering the force dataset is proposed for Peg-In-Hole task. Three main key features stated below are implemented in the system design and tested with square Peg-In-Hole experiments. The dexterous gripper which consists of 4 DOF(Degree Of Freedom) two fingers embedded with 6 axis force sensors at the fingertip is designed for micro manipulation during error recovery. Unlike the usual method in which force sensor is mounted on the robot wrist and peg is manipulated by robot arm, the designed dexterous gripper is used for both of grasping and manipulating peg. Reaction force generated on both side of peg is also measured at fingertip and recorded with peg position for error estimation. Robust angle measuring instrument, Scanner, consisted of 2DOF manipulator and laser distance sensor is also designed and implemented for detecting the angular error between peg and hole. Depending on the contact condition, its decided whether moment is generated or not, thus angular error compensation is necessary for fast and reliable error estimation based on the force data. In case of square Peg-In-Hole, the contact condition can be classified into 5 cases depending on the number of edge and supporting area between peg and hole and moment is generated in only one case. With the angular error compensation, the number of contact condition can be diminished to 2 cases thus shortened recovery time can be accomplished. To extract the position error between peg and hole, error estimation with clustering algorithm is applied to the measured dataset of moment and peg position. Even after angular error compensation, there still exists the condition which generates no reaction moment, thus artificial intelligence which can extract the position error among mixed dataset is required. Two representative algorithms, K means algorithms and Gaussian Mixture Model algorithm, commonly used in machine learning for clustering dataset are applied to various datasets constructed with position and moment for estimating position error. Two datasets, one constructed with the three datasets measured at same condition and the other constructed with three datasets measured with different velocity are used to check accuracy and robustness in error estimation from both of algorithm. The accuracy of estimated position error and deviation among estimated error in each dataset from K means algorithm is within 0.29mm and 0.14mm whereas both of that from Gaussian Mixture Model algorithm is within 0.44mm and 0.43mm. K means algorithm shows stable accuracy and robustness on position error estimation whereas the Gaussian Mixture Model algorithm needs to use constrained parameter for both of them. Comparing with blind search which uses no information from sensors and long spiral trajectory for error recovery, the proposed measurement system and algorithms have advantages in terms of recovery time and no variation of it. Short XY trajectory which moves horizontally and vertically in given search area can be used and error recovery time have no variation regardless of position error by diminishing the number of contact conditions through angular error compensation.Chapter 1. Introduction 1 1.1. Robotic Assembly and Peg-In-Hole Task 1 1.2. Previous Research Works 2 1.2.1. Passive approaches 3 1.2.2. Active approaches 5 1.3. Purpose and Contribution of Research 9 Chapter 2. Contact Condition Analysis 12 2.1. Classification of Contact Condition 12 2.1.1. Connected Component Labeling 12 2.1.2. Binary image generation procedure 13 2.1.3. Analysis results for contact condition 14 2.2. Force and Moment depending on Contact Condition 17 Chapter 3. Design Synthesis of Gripper and Scanner 21 3.1. Overall Design Overview 21 3.2. Design and Mechanism of Finger 23 3.2.1. Advantages of parallel mechanism 23 3.2.2. Mechanism description of finger 28 3.2.3. Kinematics of finger 31 3.3 Design and Mechanism of Scanner 33 3.3.1. Mechanism description 33 3.3.2. FEM analysis for deflection compensation 34 Chapter 4. Error Recovery Algorithms 40 4.1. Clustering for Error Estimation 40 4.1.1. K means algorithm 41 4.1.2. Gaussian Mixture Model algorithm 42 4.2. Procedure for Error Recovery 44 4.3. Comparison of Error Recovery Algorithms 45 4.3.1. Comparison of trajectory in blind and XY search 45 4.3.2. Comparison of trajectory for position error recovery 46 4.3.3. Comparison of trajectory for angular error recovery 49 4.3.4. Comparison of variation in recovery time 50 Chapter 5. Experimental Results 52 5.1. Angular Error Measurement of Scanner 52 5.1.1. Verification of scanner accuracy and repeatability 52 5.1.2. Measurement and alignment of angular error 56 5.2. Reaction Moment Measurement at Fingertip 58 5.2.1. Measurement of moment data 58 5.2.2. Description of measurement condition 59 5.2.3. Clustering results from K means algorithm 61 5.2.4. Clustering results from Gaussian Mixture Model Algorithm 64 5.2.5 Comparison of clustering result 69 Chapter 6. Conclusion 71 Bibliography 74 Abstract in Korean 78Docto

Automatische Fehlerbehandlung in industriellen Montageszenarien auf Basis menschlicher Demonstrationen

Based on a scenario where humans and robots share their workspace, a system for automatically error handling during an automated industrial assembly is presented. If an error occurs, it is first detected and then classified. If it is a previously unknown error, the human closest to the robot will be asked to perform error handling by interacting with the robot. This interaction is recorded so that it can be reapplied if the same error occurs again. If the error is already known, an appropriate error handling is selected and applied without any further human interaction required. Thus, the interaction rate decreases over time and the system learns to handle more and more errors independently. In addition, it is presented how different recorded error handlings can be optimized according to given performance criteria. For this purpose, a suitable input device for performing the error handling is required first. In addition, the Hierarchical Decomposition (HD) is introduced as the abstract representation of an assembly operation. In this case, an assembly is subdivided into different states at multiple hierarchical levels. This is done by a domain export which also defines conditions for state transition. Thus, the HD allows assembly progress monitoring, error detection and classification as well as error prediction. A strategy presentation is introduced to store and reuse demonstrated error handling interactions. One particular feature of this representation is that a strategy is always related to the robot's end-effector pose at that point of time when an error occurs. Thus, a strategy describes the movements which have been performed for error handling. The strategy's invariance against rotation or translation allows significant reduction in the amount of strategies needed to be demonstrated by a human via interaction. Four selection criteria are introduced in order to decide if a strategy matches an error. Thereby, it is possible to make a selection based on one criterion or to perform a multi-criteria optimization using all available information. By introducing a strategy optimization approach, the overall system performance can be improved. In a subsequent experiment, it is shown that the presented error handling approach can be successfully applied.Ausgehend von einem Szenario, in dem sich Menschen und Roboter einen Arbeitsraum teilen, wird ein System zur automatischen Behandlung von Fehlerzuständen in automatisierten Montageprozessen vorgestellt. Tritt ein Fehler auf, so wird dieser erkannt und klassifiziert. Handelt es sich um einen bisher unbekannten Fehler, so wird der Mensch, welcher dem Roboter am nächsten ist gebeten, eine Fehlerbehandlung durch Interaktion mit dem Roboter durchzuführen. Diese Fehlerbehandlung wird aufgezeichnet, sodass sie bei einem erneuten Auftreten des gleichen Fehlers wieder angewendet werden kann. Ist der aufgetretene Fehler jedoch bereits bekannt, so wird eine dazu passende Fehlerbehandlung ausgewählt und ausgeführt, ohne dass es zu einer Interaktion kommt. Somit sinkt die Interaktionsrate über die Zeit betrachtet und das System lernt immer mehr Fehler eigenständig zu behandeln. Zusätzlich wird vorgestellt, wie verschiedene und aufgezeichnete Fehlerbehandlungen gemäß vorgegebenen Performancemaßen optimiert werden können. Zur Realisierung eines solchen Systems wird zunächst ein passendes Eingabegerät zur Durchführung der Fehlerbehandlung benötigt. Zusätzlich wird mit der Hierarchical Decomposition (HD) ein Ansatz zur abstrakten Beschreibung von Montagevorgängen vorgestellt. Des Weiteren wird eine Strategierepräsentation eingeführt, um demonstrierte Fehlerbehandlungen speichern und wiederverwenden zu können. Eine besondere Eigenschaft der vorgestellten Strategierepräsentation ist, dass eine Strategie immer auf die End-Effektor Pose des Roboters zu dem Zeitpunkt, an welchem der Fehler auftritt, bezogen ist. Somit beschreibt eine Strategie die Bewegungen, welche zur Fehlerbehandlung durchzuführen sind. Um Strategien auswählen zu können, werden vier Auswahlkriterien vorgestellt. Dabei ist es möglich, eine Auswahl nur auf Basis eines Kriteriums zu treffen oder alle zu berücksichtigen, in dem eine Multikriterienoptimierung durchgeführt wird. Durch die Einführung eines Verfahrens zur Optimierung von Strategien kann die Systemperformance bezüglich eines vorgegebenen Performancemaßes gesteigert werden. In einem anschließenden Experiment wird gezeigt, dass der vorgestellte Ansatz zur Fehlerbehandlung erfolgreich angewendet werden kann