일시적 자기 앙상블 기반 라벨링 오류에 강인한 학습 기법

Abstract

본 논문에서는 라벨링 오류를 가진 이미지 데이터셋을 통해 강인한 학습을 하기 위한 알고리즘을 제안한다. 최근 연구들에서는 하나의 네트워크를 학습시키며 스스로 라벨링 오류를 판별하게 하는 self-paced learning 기반의 방법이 가지는 self-bias를 해결하기 위해 두개의 네트워크를 학습시키는 co-training 기반의 방법들이 제안되어 왔다. 하지만 두개의 네트워크를 학습시키는 것은 시간적으로 부담이 될 수 있다. 이러한 자원적 부담을 완화하기 위해 우리는 self-paced learning과 같이 하나의 네트워크를 학습시키면서도 self-bias 문제를 해결할 수 있는 알고리즘을 제안한다. 네트워크를 학습시키는 동안, 주기적인 학습률 스케줄링(cyclical learning rate scheduling)을 활용하여 일시적 자기 앙상블을 생성한다. 이러한 자기 앙상블들의 손실함수 값의 총합을 계산하여 라벨링 오류를 가진 데이터를 판별한다. 이때 주기적인 학습률 스케줄링은 자기 앙상블들을 비동조화 시키고(decouple) 심층 인공신경망의 라벨링 오류 암기 현상에 의한 자기 편견(self-bias)을 완화시킨다. 이와 동시에 제안하는 방법에서는 학습할 데이터를 변형시킴으로써 다양한 관점으로 예측을 시도하고, 다양한 관점에서 본 예측들의 일치성을 라벨링 오류 판별에 활용한다.