로봇 파지를 위한 혼합 밀도 신경망 기반 효과적인 감독 학습 방법

Abstract

본 연구는 적은양의 데이터로 심층 신경망을 학습하여 로봇 파지 작업을 수행하는 효과적인 지도 학습 방법 및 시스템을 소개한다. 하나의 심층 신경망에서 물체의 특징 정보를 추출하고 파지를 위한 로봇의 관절각을 추정하는 과정이 한 번에 이루어진다. 일반적으로 로봇 파지 분야에서 심층 신경망 학습을 위해 요구되는 멀티모달 센서 정보를 활용한 3차원 물체 모델과 같은 질 좋은 데이터를 필요한 만큼 충분히 확보해야 하는 시간 소모적이고 어려운 전처리 작업을 천장 카메라와 손목 카메라로 촬영된 RGB 이미지만을 비교적 소량으로 사용하여 최소화 하였다. 두 개의 동일한 구조의 심층 신경망으로 전체 파지 작업을 수행하는 효율적인 파지 시스템을 제시하며 의미적 영상 분할 기법을 사용하여 생성된 대상 물체에 집중된 영상을 첫 번째 심층 신경망의 입력으로 사용함으로써 효율을 극대화 시킨다. 로봇 파지 작업에서 발생하는 다양한 일대다 매칭 상황을 혼합 밀도 신경망(Mixture density network, MDN)의 출력에서 관절각 변화량이 추정될 수 있도록 변형하여 해결하는 방법을 제시한다. 심층 신경망 학습 시 각각의 관절이 학습되는 비중을 조절 할 수 있도록 각 커널 함수의 관절 가중치도 학습 변수로 학습하거나 파지 작업에 높은 관여도를 보이는 관절에 임의의 상수를 부여하여 모델을 학습 한 후 파지 실험들을 진행하였고 모두 성공률이 상승하는 의미 있는 결과를 도출하였다. 제안하는 파지 시스템으로 학습에 사용한 물체의 새로운 포즈를 파지하는 실험에서 81% 의 파지 성공률을 보였고 학습에 사용되지 않은 대체 물체를 파지하는 실험에서도 80% 의 뛰어난 성공률을 보였다. In this paper we introduce the effective supervised learning methods and robotic grasping system that performs robot grasping by learning deep neural networks with a small amount of dataset. The process of extracting feature information of an object grasp and estimating the joint angles of the robot are performed at one time from one deep neural network. There is a time-consuming and difficult pre-processing for deep learning in the robot grasping that sufficient data such as a high-quality three-dimensional object model composed of multi-modal sensor information must be secured. We use a relatively small amount of RGB images captured by the head camera and wrist camera to minimize the effort. We present a system that performs the entire grasping operation with two identical structures of deep neural networks, and generate an image focused on a target object using a semantic segmentation technique to maximize efficiency by using it as an input of the first deep neural network. We propose a method to solve various one-to-many matching situations that occur in robot grasping by modifying the Mixture Density Network(MDN) to output the amount of change from the current to the next joint angles. Each learning weight of joints is trained as a learning variable or random constants are given to the training weights of robot joints in the kernel function. Training systems show a high improvement of the success rate. In the experiment of grasping the new pose of the known objects used for learning, the grasping success rate was 81%, and 80% in the experiment of the alternative objects not used in learning.