도메인 적응을 위한 이중 생성적 적대 신경망

Abstract

로봇이 해결해야 할 문제의 난이도가 올라가자 학습을 통해 문제를 해결하는 로봇의 강화학습이 주목을 받고 있다. 현재 강화학습은 효율적인 학습을 위한 전이학습 및 도메인 적응에 대한 연구가 이루어지고 있다. 그 중 생성적 적대 신경망을 통한 영상 도메인 적응이 가장 큰 성과를 보이고 있다. 본 논문에서는 기존 생성적 적대 신경망을 통한 도메인 적응 기술이 가지는 문제에 대해 이야기하고 이에 대한 해결책을 제시한다. 이를 통해 강화학습을 위한 도메인 적응 기술의 성능을 높이고자 한다. 본 논문에서 제안하는 방법은 도메인 적응을 위해 무작위로 변환된 영상에서 시뮬레이션 영상을 만들어내는 RCAN 모델을 사용하여 실제 환경의 영상을 시뮬레이션 환경의 영상으로 변환하는 Real-to-Sim 도메인 적응 기술을 사용하는 방법이다. 그리고 RCAN의 학습을 위한 추가적인 데이터 생성을 통해 기존 데이터의 비효율성을 해결한다. RCAN 학습을 위한 추가 데이터를 생성하기 위해 시뮬레이션 환경의 영상을 실제 환경의 영상으로 변환하는 Sim-to-Real 도메인 적응 모델을 먼저 학습한다. 학습이 완료된 생성자로부터 추가 데이터를 생성하여 RCAN을 학습한다. 이를 통해 비교적 적은 데이터로 Real-to-Sim 도메인 적응의 성능을 높일 수 있다. 각각의 모델을 학습 후 생성한 영상들을 정성적, 정량적으로 비교 및 평가하는 실험을 진행하였다. 이를 통해 제안한 방식으로 성능이 향상됨을 입증하였다.; Domain adaptation makes robot available to learn in real world after learning in simulation. In this paper, it tries to improve the performance of real-to-sim domain adaptation using two generative adversarial networks, sim-to-real adversarial networks and randomized-to-canonical adversarial networks (RCAN). The method proposed in this paper uses randomized data with fake-real data which come from sim-to-real adversarial networks. It provides a data efficiency and high performance for RCAN. Through experiments, we investigate the improvements of real-to-sim domain adaptation compared to existing methods.