정책/가치 심층강화학습 기반 실세계에서의 로봇 파지 작업

Abstract

본 논문에서는 정책/가치 심층강화학습을 활용하여 원시 이미지 픽셀과 좀처럼 주어지지 않는 보상 하에서 로봇 파지 기술을 직접 익히는 학습 플랫폼을 제시한다. 혼재된 환경에서 처음 보는 다양한 대상 물체가 존재하는 로봇 파지 태스크의 경우, 일부 심층학습 기반 방법은 시각적 입력을 직접 사용하여 최고수준의 결과를 달성해냈다. 이와 대조적으로, 정책/가치 (actor-critic) 심층 강화학습(RL) 방법은 다양한 객체를 잡을 때, 특히 원시 이미지와 희소한 보상을 바탕으로 학습할 때 일반적으로 성능이 매우 떨어진다. 이러한 강화학습 기술이 시각 기반 파지 작업에 효력을 발휘하도록 하기 위해 본 연구에서는 상태표현학습 (State Representation Learning) 방법을 사용한다. 여기서, 이후의 강화학습 에서의 사용을 위해 특징 정보를 먼저 인코딩한다. 그러나, 로봇이 혼재된 상황에서 대상 물체를 잡으려고 하는 상황에 대한 표현 학습을 위한 시각적 입력은 지극히 복잡하기 때문에, 기존의 표현 학습 방법은 이러한 입력이 주어졌을 때 특징 정보를 추출하는 데 적합하지 않다. 본 연구에서는 원시 입력 이미지의 분리를 기반으로 한 전 처리가 컴팩트한 표현을 효과적으로 얻어내는데 핵심이라는 것을 밝혀냈다. 이를 통해 심층 강화학습은 매우 다양한 시각적 입력들로부터 로봇 파지 기술을 학습할 수 있다. 또한 본 연구는 실제적 시뮬레이션 환경에서 다양한 수준의 분리를 통해 제안된 방법의 효과성을 입증한다. 한가지 본 연구에서 추가되는 문제점은 심층강화학습을 기반으로 하는 기존 알고리즘은 방대한 훈련 데이터나 막대한 계산 비용이 필요하기 때문에 현실 환경에서는 수행하기 어렵다. 이러한 문제를 해결하기 위하여 제안된 학습 플랫폼은 기본적으로 시뮬레이터의 학습 단계와 실세계에서의 후속 학습의 두가지 단계로 구성된다. 플랫폼의 주요 처리 블록은 상태표현 학습과 원시 이미지의 분리에 기초한 은닉 벡터 추출, 생성적 적대 신경망을 이용한 유사 현실 이미지의 생성, 원시 이미지의 분리를 위한 객체 검출 및 로봇 암 분할이다. 실제 환경에서의 실험을 통해 제안하는 학습 플랫폼의 효과를 입증한다.; In this paper, we present a learning platform for robotic grasping in real world, in which actor-critic deep reinforcement learning is employed to directly learn the grasping skill from raw image pixels and rarely observed rewards. For a robotic grasping task in which diverse unseen target objects exist in a cluttered environment, some deep learning-based methods have achieved state-of-the-art results using visual input directly. In contrast, actor-critic deep reinforcement learning (RL) methods typically perform very poorly when grasping diverse objects, especially when learning from raw images and sparse rewards. To make these RL techniques feasible for vision-based grasping tasks, we employ state representation learning (SRL), where we encode essential information first for subsequent use in RL. However, typical representation learning procedures are unsuitable for extracting pertinent information for learning the grasping skill, because the visual inputs for representation learning, where a robot attempts to grasp a target object in clutter, are extremely complex. We found that preprocessing based on the disentanglement of a raw input image is the key to effectively capturing a compact representation. This enables deep RL to learn robotic grasping skills from highly varied and diverse visual inputs. We demonstrate the effectiveness of this approach with varying levels of disentanglement in a realistic simulated environment. Moreover, Our grasping task is a challenging task because existing algorithms based on deep reinforcement learning require an extensive number of training data or massive computational cost so that they cannot be affordable in real world settings. To address this problems, the proposed learning platform basically consists of two training phases; a learning phase in simulator and subsequent learning in real world. Here, main processing blocks in the platform are extraction of latent vector based on state representation learning and disentanglement of a raw image, generation of adapted synthetic image using generative adversarial networks, and object detection and arm segmentation for the disentanglement. We demonstrate the effectiveness of this approach in a real environment.