이상치에 따른 불확실성에 관한 연구

Abstract

딥러닝 모델의 성능을 평가하는 지표는 정확도를 평가할 뿐, 해당 모델의 불확실성을 평가할수 없다. 불확실성은 정확도와는 별개로, 안정성 또는 신뢰도의 의미를 가질 수 있다. 불확실성을 측정할 수 있다면 기존 모델의 성능을 평가하는 지표 외에 새로운 지표가 될 가능성을가지고 있다. 불확성을 측정하기 위한 딥러닝 모델로 베이지안 신경망을 사용한다. 본 논문은 불확실성이 딥러닝 모델에서 성능을 평가하는 지표가 될 수 있음을 확인해보려 하였다. 불확실성을 측정하기 위한 베이지안 신경망 모델로 베이지안 LSTM (Bayesian Long Short Term Memory)을 사용하였고, 모델의 학습에 실제 데이터를 적용하여 불확실성을 측정하였으며, 이를 기존 모델의 성능 지표와 비교분석 하였다. 실제 데이터를 이용한 실험에서 이상치가 추가됨에 따라 기존 모델의 성능지표는 증가하거나 감소하는 여러 가지 양상을 보이는 반면, 불확실성은 이상치에 따라 일관적으로 증가하는 결과를 보였다. Uncertainty is a separate measure of accuracy, and may have implications for stability or reliability. If uncertainty can be regulated, it has the potential to be a new metric for evaluating a performance of Deep learning models. Deep learning models for measuring uncertainty are Bayesian neural networks, which can be implemented by applying a drop-out scheme to each layer of existing deep learning models. This paper confirms that uncertainty can be an indicator of performance evaluation in deep learning models. We used Bayesian LSTM as a Bayesian neural network model to measure uncertainty, and measured uncertainty, which is compared to performance metrics from existing models.