Informer based multivariate time series anomaly detection

Abstract

With the explosive growth of time series data, the importance of time series anomaly detection techniques to detect abnormal patterns, such as a financial fraud or a machine failure, is emerging. In particular, since most recent time series data such as sensors and financial data are multivariate, techniques for detecting anomalies using non-linear relationships between multiple features are developing. In the past, time series anomaly detection techniques mainly progressed from univariate data. However, recently, deep learning-based time series anomaly detection techniques with excellent performance in multiple features are being actively investigated. In this paper, we propose an Informer-based two-stage anomaly detection method for multivariate time series data particularly with a great length. In the first stage, we obtain a reconstruction error vector using Informer, a time series prediction technique that improves the Transformer framework in terms of computation and speed. In the next stage, we connect a deep learning based binary classification model focusing on multiple features to detect anomalies with the reconstruction error vector from the previous stage while effectively reflecting a non-linear relationship between multiple features. We compare performance of the proposed method with that of the latest time-series anomaly detection models using three real-life datasets, showing that it surpasses the others in terms of F1-score. The results demonstrates that our method effectively detects anomalies in time series of multiple features. Additionally, we provide a performance comparison of memory, speed, and performance according to encoder input length for Informer's probsparse self-attention and distilling techniques in the proposed anomaly detection model. It shows that, with a limited context of software and hardware, the distilling technique yields better performance, while the probsparse self-attention do not gain much, in memory and speed. |시계열 데이터의 증가세와 함께 비정상적인 패턴을 탐지하여 금융 사기나 기계 고장을 감지하는 시계열 이상치 탐지 기법의 중요성이 대두되고 있습니다. 과거에는 주로 단변량 데이터에 대해서 시계열 이상치 탐지 기법이 연구됐습니다. 최근에는 대부분의 시계열 데이터가 다변량이므로 여러 feature 간의 관계를 고려할 수 있는 시계열 이상치 탐지 기법이 발전하고 있습니다. 특히, 성능이 우수하다고 알려진 딥러닝 기반의 시계열 이상치 탐지 기법들이 활발히 연구되고 있습니다. 논문에서는 Informer 기반의 two-stage multivariate time series anomaly detection 방법을 제안합니다. Stage 1에서는 Transformer를 계산량과 속도 측면에서 개선한 시계열 예측 기법인 Informer를 이용하여 예측값을 구하고 이를 실제값과 비교하여 재구성 에러를 구합니다. Stage 2에서는 재구성 에러로부터 이상치를 탐지하기 위해 딥러닝 기반의 이진분류 모델을 사용합니다. 각 시점마다 전체 feature에 대한 재구성 에러 값과 이상치 유무에 대해 라벨링된 정보를 바탕으로 이상치 탐지를 수행합니다. 시계열 이상치 탐지에 대한 세 가지 벤치마크 데이터인 SWaT, WADI, KDDCUP99를 사용하여 성능 비교를 진행했으며, 다양한 시계열 이상치 탐지 모델 대비 더 높은 F1 score를 확보했습니다. 제안 모델은 여러 feature를 가지는 시계열에서 이상치를 효과적으로 감지함을 증명했습니다. 또한, 추가 실험을 통해 Informer에서 사용한 기법들의 사용 유무에 따른 메모리, 속도, 이상치 탐지 성능을 비교했습니다. 해당 실험에서는 소프트웨어 및 하드웨어의 한계로 인해 probsparse 기술은 속도 측면에서 이득을 얻지 못했지만, distilling 기술은 메모리 및 속도 측면에서 성능이 좋아짐을 확인했습니다. 이외에도 Encoder 입력 길이가 길어질수록 반드시 성능이 좋아지는 것이 아님을 확인했습니다.