강화학습을 이용한 대전 AI 설계 및 구현

Abstract

Finite State Machine, Behavior Tree를 비롯해 게임 AI 로직 구현 방식은 더 많은 액션(action)과 스테이트(state), 전이(condition)을 설계 및 구현하는 방향으로 발전해 왔다. 그 결과 30년전엔 단순한 로직만 가능했던 게임 AI 가 지금은 훨씬 복잡한 작업도 수행할 수 있게 되었다.

하지만 전투 AI 에서의 한계점은 해결되지 않았다. 잡기 쉽거나 잡기 어려운 AI 만 존재할 뿐 매 대전마다 새로운 경험을 주는 AI는 플레이어가 겪어보지 못했다. 이런 패턴화 된 대전은 플레이어가 지속적인 도전의식을 잃게 하였고 플레이어간 온라인 대전을 지원하지 않는 게임은 수명이 짧을 수밖에 없었다.

본 연구에서는 AI의 체력, 공격력 등 기획수치를 조절해 AI를 만들기 보다는 전투 강화학습을 도입해 매 대전마다 플레이어가 다른 경험을 할 수 있도록 하는 방안을 제안한다. 추가 인터랙션 테이블을 도입하여 단순히 도망만 가능 AI가 아닌 다른 에이전트와 상호작용 하는 AI를 구현할 수 있었다.

강화학습 전투 AI는 초기엔 Rule-Based AI 보다 약한 모습을 보였지만 학습을 할수록 예측할 수 없는 움직임과 좋은 생존능력을 보였다. 인터랙션 테이블을 통해 생존을 위해 도망만 가는 AI가 아닌, 접근해 공격을 하는 등 상호작용 적인 모습도 확인할 수 있었다; Including Finite State Machine and Behavior Tree, ways to implement AI logic in games have developed towards designing and implementing more action, state and transition. As a result, AI, a game that used to be simple logic 30 years ago, can now perform even more complex tasks.

However, the limitations in combat AI have not been resolved. AI, which is only easy to catch or difficult to catch, is not experienced by players who give new experiences in every match. These Battle patterns caused players to lose a sense of continuous challenge and games that did not support online battles between players had to have a short life span.

In this paper, instead of controlling AI's physical strength and attack power, it proposes to use reinforcement learning to allow players to experience different experiences in every match, rather than creating AI. The Additional interaction tables were introduced to implement AI that could interact with player other than AI that could simply run away.

The Reinforcement Learning Battle AI initially appeared weaker than the Rule-Based AI, but showed unpredictable movement and good viability as they learned. Through the interaction table, reinforcement learning AI was able to see how interactive it was, such as approaching and attacking, not AI, which is just running away to survive