자기 주도 커리큘럼 학습을 통한 노이즈 라벨 수정

Abstract

Deep neural networks reveal their usefulness through learning from large amounts of data. However, unless the data is correctly labeled, it may be very difficult to properly train a neural network. Labeling the large set of data is a time-consuming and labor-intensive task. To overcome the risk of mislabeling, several methods that are robust against the label noise have been proposed. In this paper, we propose an effective label correction method called Curriculum Label Correction (CLC). With reference to the loss distribution from selfsupervised learning, CLC identifies and corrects noisy labels utilizing curriculum learning. Our experimental results verify that CLC shows outstanding performance especially in a harshly noisy condition, 91.06% test accuracy on CIFAR-10 at a noise rate of 0.8.|최근 딥러닝 분야는 많은 양의 데이터를 통해 그 유용성이 입증되었다. 하지만 모든 데이터에 일일히 올바른 정답 값을 매기는 것은 매우 많은 시간을 소모하고 많은 노동이 들어간다. 또한 올바른 정답 값이 매겨지지 않은 데이터가 인공신경망의 학습에 사용되면 인공신경망은 적절한 성능을 내지 않는다. 이러한 오정답의 위험성에 대처하기 위해 오정답에 대해 강인한 몇몇 방법들이 제시되어 왔다. 본 논문에서는 잘못된 정답이 매겨져 있는 오정답을 인공신경망의 교육과정 학습을 통해 교정함으로써 강인한 모델을 만드는 교육과정 정답 값 교정 (Curriculum Label Correction, CLC) 알고리즘을 제시한다. CLC는 자기 지도 학습의 손실 분포를 참조함으로써 교육과정 학습을 활용하여 오정답을 식별하고 수정한다. 본 논문에서 CLC가 오정답 비율 0.8에서 데이터셋 CIFAR-10에 대해 91.06% 검증 정확도를 보이는 등의 특히 높은 오정답 비율에서 뛰어난 성능을 나타내었다.