멀티 인코더를 이용한 장기 시계열 예측 모델

Abstract

시계열 예측은 시간의 흐름에 따라 순차적으로 기록된 시계열 데이터를 분석하여 미래를 예측하는 방법으로 여러 비즈니스와 산업의 의사결정 상황에서 사용되고 있다. 예측의 길이가 긴 장기 시계열 예측은 산업이나 정책의 장기적 계획을 세우고 대비할 수 있다는 장점이 있다. 이를 위해 다양한 모델들이 발명되고 있는데 이미지 데이터에서 사용되는 모델을 차용하거나 단순한 선형 레이어와 결합하여 시계열 예측에 사용한 경우는 많지 않다.

본 논문에서는 트랜스포머 기반의 모델 중 이미지 분류에 사용하는 멀티 스케일 인코더를 활용하고 선형 레이어와의 결합 구조를 이용해 장기 시계열 예측 성능을 높인 모델을 제안한다. 이를 위해 긴 시퀀스 데이터에서 뛰어난 성능을 보이는 사용되는 트랜스포머 기반의 오토포머(Autoformer) 모델의 구조를 선정한 후, 인코더-디코더 구조를 멀티 스케일 인코더 구조로 변형하여 모델의 크기를 줄이고 새로운 관점으로 데이터에 접근할 수 있게 하였고 데이터의 추세 성분과 계절 성분으로 나누는 구조를 통해 성분별로 데이터를 학습할 수 있게 하였다. 그리고 엔리니어(Nlinear) 논문에서 제안한 모델인 엔리니어 모델의 구조를 결합하여 훈련 데이터와 실험 데이터의 분포 차이로 인한 오차를 줄이는 효과를 가져 예측 성능을 향상시킨다.

제안 모델의 성능을 확인하기 위해 다양한 딥러닝 기반 시계열 예측 모델과 비교 실험을 진행하였으며 대부분의 데이터와 예측 길이에서 우수한 성능을 보였다. 제안 모델은 예측 길이가 긴 예측일수록 좋은 성능을 기록하였으며 분산이 큰 데이터에서도 좋은 성능을 보였다. 또한 제안 모델은 예측 결과의 분산이 작아 안정적인 예측을 수행하는 것을 확인하였다.| Time series prediction is used in decision-making situations of various businesses and industries as a method of predicting the future by analyzing time series data sequentially recorded over time. Long-term time series prediction has the advantage of being able to establish and prepare for long-term plans for industries or policies. To this end, various models are being invented, and there are not many cases where models used in image data are borrowed or used in time series prediction in combination with simple linear layers.

In this paper, I propose a model that utilizes multi-scale encoders used for image classification among Transformer-based models and improves long-term time series prediction performance by using combine structures with linear layers. To this end, the structure of the Autformer model, which is a transformer-based model that performs well in long sequence data, was transformed into a multi-scale encoder structure to reduce the size of the model and access the data from a new perspective, and to learn the data by component and data can be learned for each component through a structure divided into a trend component of data and a seasonal component. And, by combining the structure of the model proposed in the Nlinear paper, it has the effect of reducing the error caused by the distribution difference between the training data and the experimental data, improving the predictive performance.

In order to confirm the performance of the proposed model, comparative experiments were conducted with various deep learning-based time series prediction models and excellent performance in most data and prediction lengths. The proposed model recorded better performance as the prediction length was longer, and showed better performance even in data with large variance. In addition, it was confirmed that the proposed model performs stable prediction due to the small variance of the prediction results.