계층구조 주목 메카니즘 기반 순환 신경망을 통한 발화 의도 분류

Abstract

자연어 이해 분야에서, 화자의 발화 의도를 예측한다는 것은 화자가 생각 혹은 하고자 하는 것이 무엇인지 파악하는 것을 의미하며 청자는 화자의 발화를 듣고 그 의도에 맞는 행동을 취한다. 발화 의도를 정확하게 예측하는 것은 자연어 기반 대화 시스템에서 중요한 역할을 한다. 본 논문에서는 발화 의도 예측을 위한 계층구조 주목 메카니즘 기반 순환 신경망 모델을 제시한다. 제안하는 모델은 단어를 입력으로 하여 발화를 벡터로 표현하는 단어 단위 인식기와 벡터로 표현된 발화를 입력으로 하여 대화를 표현하는 벡터를 구성하는 발화 단위 인식기의 계층 구조를 가진다. 각 단계의 인식기에는 주목 메카니즘이 적용되어 대화로부터 발화의 의도를 예측함에 있어 중요한 정보를 갖는 단어 및 문장에 더 집중할 수 있도록 한다. 본 논문에서 제안하는 모델은 기존 모델들에 비해 두 가지의 이점을 갖는다. 첫 번째, 제안하는 모델은 이전 발화의 문맥을 고려하여 현재 발화의 의도를 예측하기 때문에 기존의 모델에 비해 높은 성능을 보인다. 두 번째, 주목 메카니즘을 통해 어떠한 단어와 문장이 발화 의도를 결정함에 있어 중요한 의미를 갖는 지 시각화 할 수 있다. 본 논문에서는 한국어 자막 데이터와 DailyDialog 데이터를 이용하여 제안한 모델의 성능을 평가하였다. 그 결과, 정확도에 있어서 비교 모델에 비해 근사하거나 우월한 성능을 보였으며 Macro Average F1-Score에 있어서 눈에 띄는 성능 차이를 보였다. 또한 실험의 결과를 통해 본 모델이 낮은 비율을 차지하는 발화 의도 클래스의 자질을 다른 모델에 비해 잘 추출해내는 것을 확인할 수 있었다.; In natural language understanding, it is important to predict intent of utterance because we can know what the speaker wants through the intent of utterance, and then we do some action or reply to the speaker. In this paper, we propose hierarchical attention-based recurrent neural network for intent classification. The proposed model consists of word level encoder and utterance level encoder that make utterance representation vector and dialogue representation vector, respectively. In each encoder, we apply attention mechanism to pay attention to informative words and utterances. We have two advantages by using this model for intent classification. First, the performance of the model has improved by using the contextual information which is obtained from the previous utterances in dialogue. Second, by applying attention mechanism, we visualize what words and utterances are important to the decision of the intent. We evaluate the model with Korean Subtitle dataset and DailyDialog dataset. The accuracy of proposed model is on par with or outperform baselines and the macro average F1-score of proposed model has an outstanding gap with other models. Furthermore, the experiment shows that our proposed model could extract the feature of the utterance which has the intent of minority class. Through the empirical analysis, we demonstrate our proposed model achieves success in intent classification.