Self-Labeling Online Learning for Mobile Robot Grasping

학위논문(석사) -- 서울대학교대학원 : 자연과학대학 협동과정 뇌과학전공, 2022.2. 장병탁.동적인 환경에서 물체 파지를 정확하고 견고하게 하는 것은 모바일 조작 로봇이 성공적으로 과업을 수행하는데 필수적이다. 과거 암 로봇의 조작 연구에선 파지 인식을 위해 촉각 센서나 시각 센서를 사용하여 이를 해결하고자 했다. 하지만 이동형 로봇은 변화하는 환경에서 움직임으로 인해 노이즈가 발생함을 고려해야 한다. 최근 파지 인식 연구는 학습 기반 알고리즘에 의존하고 있다. 학습 기반 방법은 데이터를 수집하고 라벨을 입력하는데 많은 시간과 노력이 필요한 제한이 있다. 따라서 본 논문은 로봇의 파지인식학습을 위해, 스스로 라벨링을 수행하며 온라인 학습하는 과정을 자동화하는 종단간(end-to-end) 방법을 제시한다. 셀프 라벨링은 로봇이 물체가 파지 후 사라졌는지 여부를 카메라를 통한 물체 인식으로 확인하여 수행한다. 파지 인식은 멀티모달 파지 인식 네트워크를 통해 학습되며, 이때 입력 데이터는 카메라와 그리퍼의 여러 센서를 통해 얻은 데이터를 활용한다. 제안한 방법을 검증하기 위해 실내 거실 환경에서 정리정돈 과업을 수행하는 실험을 설계하였다. HSR 로봇을 활용해 11개의 물체를 정리정돈하는 두가지 비교실험을 진행하였고, 파지 인식 네트워크를 사용한 실험이 사용하지 않은 실험대비 파지 실패가 3회, 5회 발생했을 때 과업 수행 시간에서 각각 10.7%와 14.7%의 향상을 보여 제안한 방법의 효율성을 입증하였다.In this paper, we proposed a new grasp perception method for mobile manipulation robot that utilizes both self-labeling and online learning. Self-labeling is implemented by using object detection as supervision, and online learning was achieved by training the model with a randomly sampled batch from a queue-based memory. For robust perception, the GPN model is trained by processing four types of sensory data, and shows high accuracy in performance with various objects. To demonstrate our self-labeling online learning framework, we designed a pick-and-place experiment in a real-world environment with everyday objects. We verified the effectiveness of the GPN by a comparative experiment that measured the task performance by comparing time within two demos: one using the GPN-trained model, and the other using a simple logical method. As a result, it was confirmed that using the GPN does contribute in saving time for picking and placing the objects, especially if more failures occur, or the time spent in delivering the objects increases.제 1 장 서 론 1 제 1 절 파지 인식 연구의 필요성 및 연구 동향 1 제 2 절 데이터 라벨링의 자동화 필요성 및 방안 제시 3 제 3 절 연구의 내용 4 제 2 장 배경 연구 6 제 1 절 물체 파지 인식 6 제 2 절 온라인 학습 6 제 3 절 자기지도 학습과 셀프 라벨링 7 제 3 장 셀프 라벨링을 통한 파지 인식 온라인 학습 8 제 1 절 로봇을 이용한 셀프 라벨링 8 제 2 절 메모리 기반 온라인 학습 11 제 3 절 파지 인식 네트워크 12 제 4 장 실험 설정 13 제 1 절 로봇 플랫폼 13 제 2 절 파지 작업을 위한 물체 목록 15 제 3 절 RGB-D 카메라 기반 거리 계산 18 제 4 절 실험 방법 20 제 5 장 실험 결과 22 제 1 절 온라인 학습을 통한 파지 인식 네트워크 학습 22 제 2 절 파지 인식 네트워크 사용에 따른 성능 비교 25 제 6 장 고찰 및 결론 28 제 1 절 연구의 정리 28 제 2 절 연구의 고찰 29 참고문헌 31 Abstract 38석

Starting engagement detection towards a companion robot using multimodal features

International audienceRecognition of intentions is a subconscious cognitive process vital to human communication. This skill enables anticipation and increases the quality of interactions between humans. Within the context of engagement, non-verbal signals are used to communicate the intention of starting the interaction with a partner. In this paper, we investigated methods to detect these signals in order to allow a robot to know when it is about to be addressed. Originality of our approach resides in taking inspiration from social and cognitive sciences to perform our perception task. We investigate meaningful features, i.e. human readable features, and elicit which of these are important for recognizing someone's intention of starting an interaction. Classically, spatial information like the human position and speed, the human-robot distance are used to detect the engagement. Our approach integrates multimodal features gathered using a companion robot equipped with a Kinect. The evaluation on our corpus collected in spontaneous conditions highlights its robustness and validates the use of such a technique in a real environment. Experimental validation shows that multimodal features set gives better precision and recall than using only spatial and speed features. We also demonstrate that 7 selected features are sufficient to provide a good starting engagement detection score. In our last investigation, we show that among our full 99 features set, the space reduction is not a solved task. This result opens new researches perspectives on multimodal engagement detection