Multi-Label Classification using Pre-trained Decoder

Abstract

다중 레이블 분류 작업의 성능을 향상시키기 위해 레이블을 학습하는 디코더를 사전 훈련하고, 이를 사전 훈련된 인코더와 교차 연결하여 성능을 향상시키는 것이 가능함을 보인다. 사전 훈련된 디코더는 다중 레이블 간의 연관성을 학습하며, 교차 연결 학습 시 학습 시작부터 빠른 수렴 속도를 보여주고, 학습이 수렴하는 시간도 교차 연결 모델이 베이스라인 모델 대비 약 33% 빠르게 수렴하는 모습을 보이며, 최종 성능 평가에서도 최대 20% 가량의 성능 향상을 보인다. 특히 교차 연결 학습은 EURLex-4.3K와 같이 레이블 수 대비 샘플 수가 적은 데이터 세트에서 큰 성능 향상을 보인다.|To improve the performance of multi-label classification tasks, we show that it is possible to pre-train a decoder that trains labels and cross-connect it with a pre-trained encoder to improve performance. The pre-trained decoder trains associations between multiple labels, and in cross-connection learning, it shows a fast convergence speed from the start of training, and the training convergence time also shows that the cross-connected model converges about 33% faster than the baseline model. It shows a performance improvement of up to 20% in the final performance evaluation. In particular, cross-connected learning shows a great performance improvement on datasets with a small number of samples compared to the number of labels, such as EURLex-4.3K.