강화학습을 활용한 주식시장에서의 초단기 매매 수익률 연구

Abstract

증권거래세 폐지 발표로 향후 잦은 트레이딩으로 거래량과 시장의 변동성이 확대될 것으로 예상된다. 증가된 변동성을 활용하여 수익으로 이끌어 내는 방법은 그동안 Noise trader로 초과수익을 추구하지만 결과적으로 손실만 낳는 방법으로 취급받았다. 하지만 사람의 주관적 판단 하에 매매를 진행하는 것이 아니라 알고리즘 트레이딩이 일별 주가 데이터 상의 backtest에서 더 나은 수익을 거두었다는 연구결과들이 등장하면서 초단기 트레이딩 역시, 인간의 주관을 배제한 알고리즘 트레이딩으로 수익을 거둘 수 있을 지 확인해 보았다. 본 연구는 강화학습 알고리즘 중에서도 Actor-Critic을 활용하여 초단기 트레이딩에서의 초과수익 실현이 가능한지 알아보고자 연구를 진행했다. 데이터 구간이 짧을수록 흔히 noise라 일컫는 무의미한 주가 변동이 심한데, 강화학습 모델을 통해 숱한 noise 속에서도 주가 변동을 예측해 수익으로 연결하는 트레이딩 구현이 가능한지 알아보았다. 이를 위해 KOSPI 200를 추종하는 ETF인 KODEX 200의 실시간 거래 데이터를 활용하였고 초단기 거래에서 흔히 사용하는 3분봉을 기준으로 캔들차트 데이터와 거래량 데이터, 기술적 지표를 추가하여 이를 강화학습의 상태공간으로 활용하였다. 초단기 매매에서 확실하게 입증된 기술적 지표가 없는 점을 감안 강화학습이 스스로 패턴을 찾을 것을 기대한 캔들차트와 거래량만 반영한 모델과 기술적지표까지 반영한 모델 두가지로 나누고 추가로 보상을 단일화한 모델과 차등해서 지급한 모델로 나누어 총 4가지 모델의 실험을 진행했다. 비교 모델로는 지도학습 모델인 의사결정나무(Decision Tree)를 적용한 모델을 선정해 비교하였다. 수익률 비교지표로는 KODEX 200의 동 기간 변화분을 선정하였다. 본 연구의 실험 결과로 기술적 지표까지 활용하고 차등 보상한 강화학습 모델이 동기간의 시장 수익률을 크게 상회하고 50번의 반복 실험 결과 중 88%가 시장 수익률을 상회하는 안정성을 보였다. 또한 모델 간의 예측 정확도와 수익률은 비례하지 않지만, 시장 수익률 이상이 성과를 보인 모델은 예측 정확도가 상승할수록 수익률도 커지는 상관관계를 보여, 변화폭이 큰 변동성을 안정적으로 예측하고 있음을 확인할 수 있었다. 본 연구의 연구 결과는 그동안 noise trader라 불리었던 변동성을 활용하는 초단기 트레이딩 부분에서 성과를 내는 데 도움이 될 수 있고 고빈도매매의 잦은 매매방식을 차용하여 안정적인 수익을 거두는 데 도움이 될 수 있다.