자기 지도 학습을 통해 생성된 임베딩 공간에서의 시각적 보상 함수 생성 방법

Abstract

본 연구에서는, 모방 학습, 강화 학습, 그리고 심층 신경망 학습을 통해 로봇 운동 솜씨를 학습하기 위한 프레임 워크를 제안한다. 제안하는 프레임 워크는 다음 두가지 단계로 이루어진다: 작업 환경의 이미지로부터 작업과 관련된 정보만을 추출하는 단계 그리고 추출된 정보와 강화 학습 그리고 심층 신경망을 통해 로봇 운동 솜씨를 학습하는 단계.

제안된 프레임 워크에서는 작업 관련 정보를 추출하기 위한 과정으로, 변분 오토인코터 (Variational Autoencoder, 이하 VAE)를 이용하여 고차원의 이미지 정보를 임베딩 공간에서 나타냄으로써 이미지 정보의 특징들을 효율적으로 표현한다. 그리고 임베딩 공간에서의 모든 정보는 주성분 분석(Principal Component Analysis, 이하 PCA)을 통해 작업 목표와 관련된 정보만을 추출하는 방법을 제시한다.

다음으로, 제안된 프레임워크에서는 로봇 운동 솜씨를 학습하기 위한 방법을 제안한다. 먼저, 다양한 상황에서 로봇 작업 동작을 생성하기위해 인간의 시연으로부터 취득된 동작을 Dynamic Movement Primitive (DMP)로 모델링한다. DMP로 모델링 된 로봇 작업 동작은 강화 학습을 통해 다양한 상황에 적합한 로봇 작업 동작을 생성한다. 효율적인 강화 학습을 위해 보상함수는 앞서 언급한 VAE와 PCA을 통해 추출된 작업 관련 정보를 기반으로 생성한다. 다음으로, 다양한 상황에 대해 생성된 로봇 작업 동작과 이에 해당하는 이미지 정보는 심층 신경망 모델을 통해 학습됨으로써, 작업 환경에 대한 이미지로부터 적합한 로봇 동작을 생성할 수 있다.

제안된 프레임워크는 작업 물체를 잡기위해 다가가는 로봇 운동 솜씨를 학습하는데 적용되어 평가된다. 첫째로, VAE와 PCA을 통해 추출된 작업 관련 정보를 다양한 인식 모델을 통해 평가하였다. 둘째로, 추출된 작업 관련 정보가 강화 학습을 통해 다양한 로봇 작업 동작을 학습하는데 효율적으로 사용될 수 있는지를 평가하기위해 추출된 정보를 통해 생성된 보상함수와 다른 방법을 통해 생성된 보상함수의 성능을 비교 평가하였다. 마지막으로, 심층 신경망 모델을 통해 로봇 운동 솜씨를 학습하고 평가하였다.