양방향 LSTM 및 강화학습을 이용한 주식 예측 모델

Abstract

미래의 경제를 예측하고 투자하여 수익을 얻는 일은 최근에 더욱 어려워지고 있다. 저물가, 높은 실업률, 초저금리 등이 모두 겹치며 이른바 뉴노멀 시대라 불리는 새로운 시대로 접어들고 있으며, 시대 변화들로 인해 그동안 당연하게 생각되어 왔던 것들이 짧은 기간 동안 많은 변화들을 발생시켰다. 이로 인해 미래의 경제를 예측하고 투자하여 수익을 얻는 일은 더욱 어려워졌으며 과거의 자료들로 현재의 주식시장의 반복되는 거래 패턴을 찾거나, 경제지표나 국제 관계 등으로 그 방향성을 찾기 또한 매우 힘들어졌다.

본 논문은 양방향 LSTM 및 강화학습 모델을 제안함으로써 주식 시장의 방향성을 예측하고자 했다. 시가, 고가, 저가, 종가, 거래량을 포함한 주가 데이터와 종가를 기반으로 한 5, 10, 20, 60, 120일의 이동평균선. 금, 구리, 환율, 코스피지수, 국고채 3년물의 거시 데이터를 활용하였다. 상승장이 기대되는 주식에는 지연보상 기준을 높여 장기적이며 공격적인 투자를 할 수 있도록 유도하였으며, 매수에 대한 보상에 가중치를 두어 보다 공격적으로 투자할 수 있도록 설계하였다. 양방향 LSTM 및 강화학습으로 학습된 모델을 바탕으로, 제한된 조건을 둔 가상 투자환경에서 삼성전자 주식을 중심으로 실험을 진행하였다.

성능 평가 결과 주가 데이터와 기술지표만 입력 데이터로 사용하는 것보다, 거시 데이터를 함께 입력데이터로 하여 예측하는 것이 수익률에 있어서 더 나은 결과를 가져왔다. 주가 데이터와 기술지표만을 입력 데이터로 사용했을 때는 약 1.2% 정도의 수익을 냈는 반면, 거시경제 변수를 추가했을 때는 약 4.4%의 수익을 보여주었다. 우상향 하는 주식에 있어서는 매수에 대한 보상과 지연보상율을 높여 수익률을 높였는데, 최종수익률이 7.5%로 모델 중 가장 우수한 성능을 보였다. 또한 아모레퍼시픽, SK이노베이션, 현대차의 종목도 추가로 실험하여, 다양한 상황에 대해 수익률을 검증하였다. 종목에 대한 수익률은 각각 2%, 14%, 8%로, 모든 종목에서 검증 시작 날짜의 종가와 마지막 날짜의 종가의 차이보다 더 높은 수익률을 보였다.; It has recently become more difficult to predict and invest in the future economy to make a profit. Low prices, high unemployment and ultra-low interest rates are all overlapping, entering a new era called the New Normal era, and the changes that have been taken for granted have caused many changes in a short period of time. This has made it more difficult to predict and invest in the future economy, and it has become very difficult to find the current pattern of repeated trading in the stock market with past data, or to find its direction through economic indicators or international relations.

This paper seeks to predict the direction of the stock market by proposing a bidirectional LSTM and reinforcement learning model. The moving average of 5, 10, 20, 60, and 120 days based on closing prices and stock price data including market value, high price, low price, closing price and trading volume. The macroeconomic data of gold, copper, exchange rate, KOSPI, and treasury bonds were utilized, and these data were collected through Yahoo Finance and Crawling. Shares expected to rise were encouraged to make long-term and aggressive investments, and were designed to be more aggressive by adding weight to compensation for purchases. Based on the model learned with bidirectional LSTM and reinforcement learning, experiments were conducted around Samsung Electronics shares in a virtual investment environment with certain preconditions.

As a result of the performance evaluation, predicting macroeconomic data as input data together, rather than using only stock price data and technology indicators as input data, has resulted in better returns. When using only stock price data and technology indicators as input data, it generated about 1.2%, while adding macroeconomic variables showed about 4.4%. In terms of stocks expected to rice, the yield was increased by increasing the compensation and delay compensation rate for purchases, with the final return rate of 7.5%, the best performance among models. In addition, AmorePacific, SK Innovation, and Hyundai Motor stocks were further tested to verify their returns for various situations. The return on stocks was 2%, 14% and 8%, respectively, higher than the difference between the closing price of the validation start date and the closing price of the last date in all stocks.