정보시스템에서 실시간 다변량 시계열을 위한 동적 전이 모델의 앙상블

Abstract

빅데이터 시대가 도래함에 따라 다양한 산업에서 유의미한 정보를 찾기 위해 대용량의 실시간 데이터를 분석하는 것은 아주 중요하다. 데이터 마이닝에서 전통적인 시계열 예측은 과거부터 많은 연구가 있었다. 하지만 정상성의 가정이 필요한 경우가 많고 변동성이 많은 데이터에 대한 실시간 예측에 대한 연구는 많지 않다. 또한 빅데이터 시대에 대용량의 데이터에는 많은 변수들이 존재하고 반응변수에 대한 정확도 높은 예측을 위해 다양한 독립변수의 이용은 중요하다. 하지만 많은 연구들이 다변량 시계열 데이터를 다루고 있지 않다. 본 논문에서는 앙상블 방법 기반의 다변량 시계열을 이용한 실시간 시계열 예측 방법을 제안한다. 그리고 제안한 방법을 실시간으로 들어오는 어플리케이션 성능 로그 데이터를 이용하여 비정상 탐지 분야에 적용했다. 일반적으로 비정상 탐지 분야는 데이터가 들어왔을 때 현재 시점이 정상인지 비정상인지 분류하는데 그쳤지만, 제안한 방법을 통해 실시간으로 데이터가 들어왔을 때 미래 시점이 정상인지 비정상인지 미리 예측을 하는 것이다. 실질적으로 어플리케이션의 장애를 짧은 기간 예측해서 대응하기는 어렵지만, 클라우드 기반이라면 짧은 기간의 예측이어도 충분히 대응을 할 수 있기 때문에 효율적으로 시스템을 운영할 수 있을 것이다. 따라서 본 논문에서 제안하고 있는 방법을 통해 비 정상성이 존재하고 변동성이 있는 다변량 시계열 데이터에 대해 실시간으로 안정된 예측을 하여 비정상 탐지 분야에 적용하여 예측 값이 적절한 한계치를 넘겼을 경우 미리 경고를 해줄 수 있도록 하였다.