생물학적 구동과 보상을 기반으로 한 인간 과 비슷한 보행 동작 생성 정책 학습

Abstract

최근 캐릭터 애니메이션 분야에서 심층 강화 학습(deep reinforcement learning)과 물리 시뮬레이션을 활용해서 캐릭터가 물리 법칙을 만족하는 자연스러운 동작을 취할 수 있도록 제어하는 연구들이 활발하게 진행되고 있다. 이러한 연구들은 대부분 1. 돌림 힘(torque)을 각 관절에 직접 적용하고, 2.참조 동작(reference motion)을 따라하도록 하는 항을 보상 함수(reward)에 포함한다. 하지만 1. 사람의 각 관절(joint)은 돌림 힘을 발생시킬 수 없고 실제로는 근육의 수축과 이완에 의해서 발생한 힘으로 관절이 움직이게 되며 2.참조 동작을 따라하는 보상 함수를 사용할 경우 결과 동작이 학습 과정에서 사용한 모션 데이터의 영향을 받게 된다. 본 연구에서는 이러한 한계를 극복하기 위해 1. 실제 사람의 동작 방식을 모델링한 근육 기반의 물리 시뮬레이션으로 제어되면서 2. 참조 동작에 대한 정보를 전혀 사용하지 않고 독립적으로 보행 동작을 만들어내는 방법을 제안한다. 근육 시뮬레이션은 돌림 힘 기반 시뮬레이션에 비해서 계산이 복잡해서 제어 방법을 찾기 어렵기 때문에, 본 연구에서는 원하는 결과를 얻기 위해서 다양한 설정으로 학습을 시도했다. 결론적으로 인간과 비슷한 보행 동작으로 안정적으로 걸을 수 있는 강화학습 정책을 학습할 수 있었으며, 본 학위 논문에서는 가장 좋은 결과 이외에도 여러가지 설정으로 시도한 학습 결과를 비교 및 분석한다.