강화학습을 이용한 주가 예측

Abstract

지난 수십 년 간 미래 주가의 향방을 예측하고자, 수학적, 경제적 분야 등 여러 분야에서 다양한 예측 방법론을 시도해왔다. 주가 예측에 대한 많은 관심에도 불구하고 현재까지 주식시장의 미래 움직임을 예측하는 데 어려움을 겪고 있으나, 최근 딥러닝(Deep Learning)과 강화학습(Reinforcement Learning) 등을 사용한 주가예측 연구에서 주식을 짧은 시간 보유하고 매각하는 과정을 반복하는 가상 매매 시뮬레이션을 통해 주식시장에서 수익을 얻을 수 있음을 보여주었다. 본 연구는 강화학습 알고리즘 중 TD알고리즘을 기반으로 발전되어 매 시점마다 신경망을 업데이트하는 Actor-Critic알고리즘의 이점을 주가 데이터를 분석하는 데 활용하고자, KOSPI 200 데이터를 사용해 강화학습 주가 예측 모형을 만들고, 기존 지도학습을 기반으로 한 예측 모형에 비해 높은 성능을 보일 수 있는지와 그로인한 투자수익을 창출할 수 있는지의 여부를 알아보고자 하였다. 이를 위해 KOSPI 200 지수 주가 데이터와 주가 정보를 강화학습의 상태로 표현하여 강화학습 알고리즘을 적용하고, 지도학습 기법 SVM(Support Vector Machines)과 의사결정나무(Decision Tree)을 적용한 예측모형과 정확도, 수익률의 두 가지 측면에서 비교하였다. 또한, 각 기법들의 가상 매매 시뮬레이션 결과를 통해서 예측 모형들이 주식 거래에서 선택하는 행동 분포의 차이를 확인해보았다. 실험을 통해 강화학습을 기반으로 한 예측 모형이 SVM 모형, 의사결정나무 모형보다 정확도, 수익률 측면에서 성능이 뛰어나며, 예측모형 중 강화학습 모형만이 주식 단순 보유 시의 수익률을 초과함을 확인하였다. 또한 지도학습 모형들의 행동 비율이 균등한 반면 강화학습 예측모형의 행동은 Long position을 선택하는 행동이 상대적으로 많이 나타나는 등 모형 간의 행동 분포에 차이가 있으며, 이에 따라 정확도에 비해 수익률에서의 모형 간 성능 차이가 증가함을 확인할 수 있었다