LMGAN: Linguistically Informed Semi-Supervised GAN with Multiple Generators

Abstract

Semi-supervised learning is one of the active research these days. There is a trial that solves semi-supervised text classification with the generative adversarial network(GAN). However, its generator has a limitation in producing similar fake data distribution to real data distribution. Since the real data distribution is frequently changing, the generator could not make adequate fake data. To overcome this problem, we present a novel approach for semi-supervised learning for text classification based on generative adversarial networks, Linguistically informed seMi-supervised GAN with multiple generators, LMGAN. LMGAN uses trained bidirectional encoder representations from transformers(BERT) and the discriminator from GAN-BERT. LMGAN has multiple generators and utilizes hidden layers of the BERT. To reduce the discrepancy between the distribution of fake data and real data distribution, LMGAN uses fine-tuned BERT and discriminator from GAN-BERT. However, since injecting fine-tuned BERT could induce incorrect fake data distribution, we utilize linguistically meaningful intermediate hidden layer outputs of the BERT to enrich fake data distribution. It shows well-distributed fake data compared to the earlier GAN-based approach that fails to generate adequate high-quality fake data. Moreover, we can get better performances with few labeled data up to 20.0% than the baseline GAN-based model.| 준지도 학습은 요즘 활발한 연구 주제 중 하나이다. 준지도 텍스트 분류를 해결하기 위해 생성적 적대 신경망(Generative Adversarial Network)를 활용하는 시도가 있었다. 하지만, 선행 연구의 생성적 적대적 신경망의 생성기는 실제 데이터 분포와 유사한 가짜 데이터 분포를 생성하는 데 한계가 있다. 실제 데이터는 미세 조정되는 bidirectional encoder representations from transformers(BERT)의 [CLS] 임베딩으로 분포가 지속해서 변경되기 때문에 생성기가 적절한 가짜 데이터를 생성할 수 없다. 이 문제를 극복하기 위해 우리는 생성적 적대 신경망에 기반을 둔 텍스트 분류 준지도 학습을 위한 새로운 접근법, 언어적으로 정보를 제공하는 다중 생성기가 있는 Linguistically informed seMi-supervised GAN with multiple generators, LMGAN을 제시한다. LMGAN은 BERT의 훈련된 표현과 GAN-BERT의 구별자를 활용한다. 또한, LMGAN에는 여러 생성기가 있으며 BERT의 숨겨진 계층을 사용한다. 가짜 데이터 분포와 실제 데이터 분포 간의 불일치를 줄이기 위해 LMGAN은 미세 조정된 BERT와 GAN-BERT의 구별자를 사용한다. 그러나 미세 조정된 BERT를 주입하면 잘못된 가짜 데이터 분포가 발생할 수 있으므로 BERT의 언어적으로 의미 있는 중간 숨겨진 계층 출력을 활용하여 가짜 데이터 분포를 강화한다. 우리 모델은 적절한 고품질 가짜 데이터를 생성하지 못한 초기 생성적 적대 신경망 기반 접근 방식과 비교하여 잘 분산된 가짜 데이터를 보여준다. 또한, 생성적 적대 신경망 기반 모델과 비교할 때 최대 20.0%까지 매우 제한된 양의 레이블을 가지고 있는 데이터에서 더 나은 성능을 얻을 수 있다.