심층강화학습을 이용한 유한 상태 기반 보행 제어기의 학습

Abstract

물리 환경에서의 보행동작 제어는 지속적으로 연구되어왔던 도전적인 주제이며, 그제어방법에도 다양한 방법론이 있다. 최근엔 심층 강화학습을 통하여 보행동작을 제어하는 연구가 활발하다. 그러나 단순히 심층 강화학습을 통해 학습된 보행 동작은 기괴한 모습을 보이는 경우가 많으며, 기존의 방법론인 모션 데이터를 사용하는 방법에 심층 강화학습을 결합한 연구는 자연스러운 동작을 학습할 수 있으나 하나의 레퍼 런스 모션에서 크게 벗어나지 못한다는 단점이 있다. 그래서 이 연구에선 다양한 보행 제어 방법 중, 유한 상태 기계를 사용한 보행 제어기에 심층 강화 학습을 결합하여 비교적 자연스러우며 넓은 범위의 견고한 보행 동작을 생성하고 제어할 수 있는 보행동작 제어기를 제안한다.

본 연구에서 제안하는 보행동작 제어기는 레퍼런스 모션이 없이도 기존 심층 강화 학습만을 사용하여 학습된 보행동작보다 상대적으로 자연스러운 모션을 학습할 수 있으며, 종종 걸음에서 긴 보폭의 걸음까지 넓은 범위의 견고한 보행 동작을 생성하고 실시간으로 보행 동작을 변경 가능하다는 장점이 있다. 또한 유한 상태 기계를 사용한 보행 동작 제어의 단점인 상태 기계의 수동 최적화를 심층 강화 학습을 통해 수행 함으로써 비용이 줄어든다는 장점도 가진다.

이 연구에서는 이 제어기를 학습하기 위해 보행 동작의 상태에 따라 강화 학습 정책 에서의 행동의 범위를 달리하는 방식을 제안하고, 기존 보행 동작 컨트롤에서 사용하는 균형 제어 전략의 일부를 심층 강화 학습으로 대신할 수 있음을 제시한다.

이러한 방법이 효과가 있음을 증명하기 위하여 물리 환경에서 제시한 학습 방법을 통해 3D 인간형 로봇 캐릭터를 학습하여 넓은 범위의 보행 동작을 생성하고, 실시간 으로 제어할 수 있음을 결과에서 보인다. 추가적으로 제시한 방법을 사용하지 않은 학습 결과와의 비교 또한 제시한다.|Locomotion control in the physically simulated environment is a challenging problem that has been studied continuously. Recently, many methods based on deep reinforcement learning have been studied. We propose a new locomotion controller that combines deep reinforcement learning and a locomotion controller using a finite state machine. Our method can produce more natural motions compared to the methods that only use deep reinforcement learning without any reference motion. It can also generate a wide range of robust walking motions and change the walking direction in realtime. In addition, the parameters of the finite state machine are automatically tuned by deep reinforcement learning, which reduces the laborious manual task.

We propose to learn a policy that varies the scope of actions depending on the state of finite state machine. We also experimentally show that some of the balance control strategies used in existing locomotion controllers can be replaced by the policy obtained by deep reinforcement learning.

In order to prove the effectiveness of our method, we show that our 3d humanoid character in the simulated environment can generate a wide range of walking motions while being controlled in real-time.; Locomotion control in the physically simulated environment is a challenging problem that has been studied continuously. Recently, many methods based on deep reinforcement learning have been studied. We propose a new locomotion controller that combines deep reinforcement learning and a locomotion controller using a finite state machine. Our method can produce more natural motions compared to the methods that only use deep reinforcement learning without any reference motion. It can also generate a wide range of robust walking motions and change the walking direction in realtime. In addition, the parameters of the finite state machine are automatically tuned by deep reinforcement learning, which reduces the laborious manual task.

We propose to learn a policy that varies the scope of actions depending on the state of finite state machine. We also experimentally show that some of the balance control strategies used in existing locomotion controllers can be replaced by the policy obtained by deep reinforcement learning.

In order to prove the effectiveness of our method, we show that our 3d humanoid character in the simulated environment can generate a wide range of walking motions while being controlled in real-time.