심층 강화 학습 기반 애니메이션 자동 생성

Abstract

최근 미디어 시장의 확대에 따라 미디어 콘텐츠의 퀄리티 향상을 위한 다양한 새로운 시도가 되고 있다. 사전 시각화(Pre-visualization)는 그 시도 중 하나인데 사전 시각화를 위해서는 가상 공간에서 캐릭터(에이전트, Agent)의 애니메이션(Animation) 연출이 필수적이다. 본 연구에서는 사전 시각화에서 좀 더 효율적인 시각화를 위해 가상 캐릭터의 애니메이션을 자동으로 생성하는 연구를 하였다. 특히, 심층 강화 학습(Deep Reinforcement Learning) 기법을 활용하여 캐릭터가 주변 환경의 상태를 감지하여 적절한 애니메이션을 자동으로 연출할 수 있는 방법을 제안하였다. 게임 엔진을 활용하여 가상 환경을 만들어 강화 학습을 할 수 있는 공간을 구성하고 python과 pytorch로 강화 학습 모델 트레이닝 환경을 구성하였다. 가상 환경과 모델 트레이닝 환경은 ml-agents 툴킷을 이용하여 통신하도록 하였다. 가상 환경에서는 캐릭터가 기본적으로 직진으로 이동하도록 했으며, 캐릭터 전방에는 임의의 위치에 3가지 장애물이 등장하도록 하였다. 캐릭터는 9가지 상태를 감지하도록 하였고 3가지 액션이 가능하도록 하였다. 캐릭터는 상태를 감지한 후 행동에 따라 리워드를 제공해 학습을 진행하였다. 성능 평가를 위해 PPO 알고리즘과 SAC알고리즘을 사용하여 강화 학습 트레이닝을 진행하였고, 배치사이즈에 따른 성능 비교도 진행하였다. 그 결과 장애물 회피 능력이 있는 강화 학습 모델을 확보할 수 있었다. 해당 모델을 캐릭터에 적용한 결과 명시적인 프로그래밍 없이도 캐릭터가 주변 환경의 상태에 따라 자동으로 애니메이션을 연출할 수 있음을 증명할 수 있었다.

|Recently, various new attempts are being made to improve the quality of media contents according to the expansion of the media market. Pre-visualization is one of those attempts, and for pre-visualization, animation of characters (agents) in virtual space is essential. In this study, a study was conducted to automatically generate animations of virtual characters for more efficient visualization in the pre-visualization. In particular, a method was proposed to automatically produce an appropriate animation by detecting the state of the surrounding environment by using a deep reinforcement learning technique. A virtual environment was created using a game engine to configure a space for reinforcement learning, and a reinforcement learning model training environment was configured with python and pytorch. The virtual environment and the model training environment were communicated using the ml-agents toolkit. In the virtual environment, the character basically moves in a straight line, and three obstacles appear at random locations in front of the character. The character senses 9 states and allows 3 actions. The character sensed the state and provided a reward according to the action to proceed with learning. For performance evaluation, reinforcement learning training was conducted using the PPO algorithm and SAC algorithm, and performance comparison was also conducted according to batch size. As a result, we were able to secure a reinforcement learning model with obstacle avoidance capability. As a result of applying the model to the character, it was proved that the character can automatically animate according to the state of the surrounding environment without explicit programming. Key words: pre-visualization, deep reinforcement learning, animation