심화강화학습 PPO알고리즘을 이용한 Unity dodge Jump Game 모델링 및 구현

Abstract

게임산업에서 게임엔진은 게임개발에 있어 중요한 요소로 자리 잡고 있다. 게임엔진을 이용하게 되면 기본적인 기능이 제공될 뿐만 아니라 혼자서는 해결 힘든 부분에 대해서는 제공되는 오픈 소스, 라이브러리, API로 인해 난이도가 낮아지며 빠르게 개발할 수 있게 되었다.

본 논문에서는 Dodge jump 게임 에이전트를 구현하기 위해 게임엔진 Unity를 사용하여 게임환경을 구성하였으며, Python, Anaconda, OPEN AI, GYM, Baselines, Unity ML Agent, Tensorflow 등을 이용하여 게임환경에 심층강화학습 알고리즘을 적용하여 모델링 및 구현하고 성능 및 결과를 도출하였다. 이 결과를 바탕으로 심층강화학습 이용한 학습방법을 비교하고 제안하였다. 본 논문에서 제안하는 구현 방법은 Unity와 Unity ML Agent를 이용하여, 게임환경을 구성하였으며, 게임 상황에 따라 상호작용하는 AI를 구현할 수 있었다.

본 논문에서 제안하는 심층강화학습 알고리즘 적용 결과로는 DQN일 때 0.29, SAC일 때 0.375, PPO일 때 0.587의 평균누적보상을 나타내었다. PPO와 DQN의 비교 시 0.3 정도의 보상 차이를 확인할 수 있다. 또한, 강화학습에 소요된 시간이 PPO가 가장 빨랐으며(약 18분), SAC(약 41분), DQN(약 60분) 순으로 시간이 소요되었다. 심층강화학습 알고리즘별로 에이전트 성능을 비교할 수 있었다.; Dodge jump game AI was designed and implemented using the game engine Unity.

In this paper, we applied deep reinforcement learning algorithm to the game environment using Python, Anaconda, OPEN AI, GYM, Baselines, Unity ML Agent, Tensorflow, etc. to model and implement, and derive performance and results. Based on this result, a learning method using deep reinforcement learning was compared and proposed.

The implementation method used Unity and Unity ML Agent to configure the game environment, and it was possible to implement AI that interacts according to the game situation.