Integrating Pseudo-Labeling into Reinforcement Learning for Zero-Shot Text Classification

Abstract

Zero-shot text classification is a challenging NLP(Natural Language Processing) task where a model is required to classify into categories or labels not seen during training. Due to the fact that the data of the unseen categories in the training phase are unlabeled, the model cannot learn the complete features. Since traditional text classification methods require a significant number of labeled data and predefined classes, it limits their applicability and scalability. To address these limitations, zero-shot learning has emerged as a prominent research direction. In recent years, pre-trained language models (PLM) have achieved excellent results in various NLP tasks. In this paper, we propose a reinforcement learning-based framework with PLM that enables the model to utilize unlabeled data effectively and achieve good results on several common text classification datasets. Further, the modified Adapter modules are introduced to reduce the training time of the model, which greatly reduces the number of training parameters with almost no loss of accuracy. Our model has achieved excellent results across multiple datasets. On the 20 News Group dataset, our model achieved an 8.83% improvement in classification accuracy compared to mDeBERTa in generalized zero-shot text classification settings. In non-generalize ZSL settings, our model still maintains a slight lead in accuracy.|제로샷 텍스트 분류는 훈련 중에 본 적이 없는 카테고리나 레이블로 분류해야 하는 어려운 자연어 처리 작업이다. 훈련 단계에서 보지 못한 카테고리의 데이터가 레이블이 없기 때문에 모델은 완전한 특징을 학습할 수 없다. 전통적인 텍스트 분류 방법은 많은 양의 레이블이 지정된 데이터와 미리 정의된 클래스가 필요하기 때문에 적용 가능성과 확장성에 제한이 있었다. 이에 제로샷 학습은 이러한 한계를 극복하는 새로운 방법으로 등장했다. 최근 몇 년 동안, 사전 훈련된 언어 모델(PLM)은 다양한 자연어 처리 작업에서 주목할만한 결과를 보여주었다. 본 논문은 PLM과 결합된 강화 학습 기반 프레임워크를 제안하여, 학습 모델이 레이블이 없는 데이터를 효과적으로 활용하고 여러 공통 텍스트 분류 데이터셋에서 좋은 결과를 얻을 수 있도록 하는 데 목적이 있다. 이와 함께 수정된 어댑터 모듈을 도입함으로써 모델의 훈련 시간을 단축하고 정확도 손실이 거의 없는 상태에서 훈련 매개변수의 수를 크게 줄일 수 있었다. 본 논문의 모델은 여러 데이터셋에서 좋은 결과를 도출하였다. 20 Newsgroup 데이터셋의 경우 일반화된 제로샷 텍스트 분류 설정에서 mDeBERTa에 비해 8.83% 향상된 분류 정확도를 보였다. 비일반화된 ZSL 설정에서도 비교적 높은 정확도 우위를 유지하고 있는 것으로 나타났다.