심층 신경망 학습과 모델 기반 강화 학습을 결합한 로봇 조립작업 제어기 설계

Abstract

본 논문에서는 로봇의 작업 솜씨를 학습, 개선 그리고 일반화하기 위한 방법을 제안한다. 제안 하는 방법의 목적은 로봇이 인간의 작업 시연으로부터 작업 솜씨를 학습하고 로봇 스스로 최적화 과정을 통해 개선시키며, 경험하지 못한 작업에 대해서도 기존의 학습된 작업 솜씨를 일반화하여 작업을 성공적으로 수행하기 위한 새로운 작업 솜씨를 생성해 내는 것이다. 이를 위한 방법으로 본 논문에서는 모방 학습(Imitation Learning), 심층 인공 신경망(Deep Neural Networks) 그리고 강화 학습(Reinforcement Learning)을 이용한다. 먼저 인간의 작업 시연으로부터 작업에 대한 로봇과 센서 정보를 이용하여 로봇의 상태를 인식할 수 있는 Hidden Markov Model(HMM)과 인식된 결과로부터 로봇의 동작을 생성 할 수 있는 Dynamic Movement Primitives(DMPs)를 학습한다. 다음으로 학습된 로봇 작업에 대한 다수의 모델들(HMMs, DMPs)를 이용하여 로봇 작업을 수행하면서 이미지, 로봇 그리고 센서 정보들을 취득한다. 취득된 정보들을 이용하여 하나의 심층 인공 신경망을 학습하게 된다. 이를 다시 말하면, 모방 학습을 통해 로봇 작업 인식과 수행을 위한 다수의 학습된 모델들을 하나의 심층 인공 신경망을 통해 학습하는 것이다. 하지만 이러한 과정을 통해 학습된 심층 인공 신경망은 인간의 작업시연을 기반으로 함으로 로봇의 최적화된 동작을 생성해 낼 수 없다. 이러한 문제를 해결하기 위한 방법으로 강화학습을 이용하여 로봇 작업 동작 최적화를 통해 기존의 작업 동작을 개선시킬 뿐만 아니라 경험하지 못한 새로운 작업에 대해서도 기존의 학습된 로봇 작업 동작을 일반화하여 새로운 동작을 생성한다. 마지막으로 개선되고 일반화된 로봇 작업 동작을 이용하여 심층 인공 신경망 재학습 한다. 본 논문에서 제안한 방법을 실제 제조 작업에서 많은 부분을 차지하고 있는 조립작업 중 펙-인-홀(Peg-in-Hole) 작업을 선택하여 검증 하였다. 이를 통해 제안하는 방법이 로봇 작업을 모방 학습과 심층 인공 신경망을 통해 학습하고 강화 학습을 통해 작업 동작을 개선하고 일반화할 수 있는 것을 확인 하였다.