확신도 교정된 MOBA 게임 승률 예측기

Abstract

리그 오브 레전드(League of Legends, LoL)는 5명이 한 팀을 이루어 두 팀이 상대팀의 주요 건물을 먼저 무너뜨리는 것을 목표로 하는 multiplayer online battle arena (MOBA) 장르의 게임이다. 이 게임은 현존하는 MOBA 게임 중 가장 많은 인기를 끄는 게임 중의 하나이며, 그 인기에 힘입어 일반인 수준과 프로 레벨 수준 모두 실시간으로 게임의 승률을 예측하는 것에 많은 관심이 모아지고 있다. 그러나 이러한 MOBA 장르의 게임 결과를 실시간으로 예측하는 것은 게임 내에 존재하는 다양한 변수로 인해 쉽지 않은 과제이다. MOBA 게임의 승패를 예측하기 위한 기존 연구들은 모두 게임 결과와의 정확성을 높이기 위한 방법을 제시했고 성능평가 또한 게임 결과와 얼마나 일치하는지를 통해 방법의 우수성을 증명하였다. 하지만 정확도 뿐만 아니라 예측을 통해서 나오는 확신도 교정(Confidence-Calibration) 성능 또한 우수한 승률 예측기에서 중요한 요소로 고려되어야 한다. 이러한 확신도 교정 방법은 주로 이미지와 텍스트 데이터에서 주로 연구되었다. 그러나 이미지와 텍스트 데이터에서 적용되는 확신도 교정 방법은 입력 데이터의 불확실성을 고려하지 않아 신경망의 입력이 다르더라도 마지막 출력이 같다면 같은 정도로 확신도가 교정되어 과대 확신도(Overconfidence) 뿐만 아니라 과소 확신도(Underconfidence) 문제도 해결해야 하는 LoL 데이터셋에서 적합한 방법은 아니다. 본 논문에서는 우리가 수집한 데이터에서 관찰할 수 없는 불확실성을 측정하고 이를 이용하는 방법을 통해 승률 예측기의 확신도를 교정할 수 있는 방법을 제안한다. 우리가 제안하는 방법을 통해 신경망을 훈련시킨다면 확신도 교정의 성능 지표인 expected calibration error(ECE)가 0.57%로 확신도를 교정을 진행하지 않았을 때 ECE의 4.47% 보다 극적으로 성능이 향상되는 모습을 보였다. 다른 지표로 사용되는 maximum calibration error(MCE) 또한 1.26%로 확신도 교정을 진행하지 않았을 때인 6.76%보다 상당한 성능 향상을 보인다.|In this paper, we propose a confidence-calibration method for predicting the winner of a famous multiplayer online battle arena (MOBA) game, League of Legends. In MOBA games, the dataset may contain a large amount of input-dependent noise; not all of such noise is observable. Hence, it is desirable to attempt a confidence-calibrated prediction. Unfortunately, most existing confidence calibration methods are pertaining to image and document classification tasks where consideration on uncertainty is not crucial. In this paper, we propose a novel calibration method that takes data uncertainty into consideration. The proposed method achieves an outstanding expected calibration error (ECE) (0.57%) mainly owing to data uncertainty consideration, compared to the conventional temperature scaling method of which ECE value is 1.11%.