심층 강화학습 기반 로봇 파지작업을 위한 실감 물체 검출기 학습데이터 합성

Abstract

로봇이 실세계에서 파지하고자 하는 목표 물체를 성공적으로 파지하기 위한 방법으로 여러 방법론이 제시되는 가운데, 본 논문에서는 물체 검출기를 위한 훈련 데이터 세트를 가상세계 기반으로 합성하여 검출기를 학습 시킨 후, 이를 이용해 로봇이 특정 공간 안의 물체를 파지하도록 하는 심층 강화학습을 다룬다. 합성 학습 데이터를 이용한 물체 검출기를 이용하여 실세계의 물체를 정책/가치 망 기반 심층 강화학습 방법으로 파지를 수행하고, 실세계 원영상과 드물게 관측되는 보상을 이용하여 파지 방법을 학습하였는데, 이에는 두 가지 도전적인 문제점이 존재한다. 첫 번째로, 현존하는 심층 강화학습 알고리즘들은 대량의 훈련 데이터와 연산능력을 요구하고 있다. 두 번째로, 물체 검출기를 학습 시키기 위한 대량의 훈련 데이터를 만드는데 사람의 노동이 요구된다는 점이다. 이 문제를 해결하기 위해 본 논문의 학습 플랫폼에서는, 크게 가상세계의 학습 단계에 이은 실세계 학습 단계로 크게 두 가지 훈련 과정을 제안한다. 학습 과정은 상태 표현 학습을 통한 공간 벡터 추출, 생성적 적대 신경망을 이용한 도메인 적응 합성 영상 생성, 실세계 실험을 위한 물체 검출기와 로봇 팔 분할기의 과정이 포함되어있다. 더불어 앞에서 언급한 두 번째 문제를 극복하기 위하여 물체 검출기를 위한 가상세계 영상 합성 기반 훈련 데이터 세트 생성법을 제안한다. 본 논문에서는 위와 같은 방법들을 통해 실제 환경에서 효과적인 로봇 파지 방법을 제안한다.; In this paper, we present a method for synthesizing training dataset for object detection. By using this learned object detector, we aim to grasp a target object in real world, in which actor-critic deep reinforcement learning is employed to directly learn the grasping skill from raw image pixels and rarely observed rewards. This is a challenging task because of following two reasons: 1) Existing algorithms based on deep reinforcement learning require an extensive number of training data or massive computational cost so that they cannot be affordable in real world settings. 2) Creating a large number of training data for object detection needs a huge amount of human labor. To address first problems, the proposed learning platform basically consists of two training phases; a learning phase in simulator and subsequent learning in real world. Here, main processing blocks in the platform are extraction of latent vector based on state representation learning, generation of adapted synthetic image using generative adversarial networks, and object detection and arm segmentation for grasp reinforcement training. To overcome second problems, we propose a method to synthesize training dataset for object detection. We demonstrate the effectiveness of this approach in a real environment.