Window-Technique을 이용한 효율적 온라인 앙상블 모델

Abstract

온라인학습은 기존의 오프라인학습과 다르게 모델이 배포된 후에도 실시간으로 들어오는 새로운 데이터에 대해 지속적으로 학습과 예측을 한다. 모델이 지속적으로 학습되기 때문에 환경이 변하는 데이터에 대해 좋은 예측성능을 보인다. 배포 후에도 새로 들어오는 데이터에 대해 학습이 이뤄지기 때문에 학습시간이 점점 증가한다면 데이터 간의 시간간격 보다 학습시간이 길어지고 제 때 추가되는 데이터를 처리하지 못하는 경우가 발생한다. 본 연구에서는 여러 온라인학습 기본모델들을 관리(생성, 데이터 전달, 예측 종합, 가중치 관리)하는 메타모델인 Follow-the-Leading-History (FLH) 모델의 학습 시간 복잡도를 개선하는 방법을 제안한다. 시간 복잡도 개선 이외 추가로 모델의 예측성능의 안정화까지 걸리는 시간을 단축하는 방법도 함께 제안한다. 모델의 학습 시간 복잡도 개선을 위해서 메타모델이 관리하는 기본모델의 개수를 제한하는 Window-Technique을 이용한다. 본 연구에서 window는 메타모델이 관리하는 기본모델 집합으로 정의한다. 데이터가 들어옴에 따라 새로운 기본모델이 생성되기 때문에 window의 크기를 유지하기 위해서 기존의 기본모델을 제거해야 한다. 기존의 기본모델을 window에서 제거하는 방법은 시간순에 따라 제외하는 sliding 방법과 무작위로 제외하는 random 방법을 제안한다. 모델 예측성능의 안정화까지 걸리는 시간 단축은 replay-buffer 방법을 이용한다. Replay-buffer 방법은 이전의 데이터를 buffer에 저장하여 나중 학습에 활용하는 방법으로 온라인학습 환경에서 많이 활용된다. 기본모델은 선형회귀의 온라인학습 알고리즘의 일종인 Aggregating Algorithm for Regression 모델을 이용한다. 제안 모델의 실험은 모의실험으로 시뮬레이션 데이터를 생성하여 여러 번 실험 후 그 결과를 비교한다. 실험에서 비교할 모델의 평가지표는 예측력, 학습 속도 그리고 모델 안정화 속도이다. 실험 결과 기존 모델 FLH모델에 비해 예측력은 유지, 학습 속도는 시간에 따라 선형으로 증가하는 에서 변하지 않는 로 개선, 수렴속도는 약8배 향상하였다.