210 0

개체-인식 주의집중 매커니즘 기반 양방향 LSTM 네트워크를 통한 의미적 관계 분류

Title
개체-인식 주의집중 매커니즘 기반 양방향 LSTM 네트워크를 통한 의미적 관계 분류
Other Titles
Semantic Relation Classification via Bidirectional LSTM Networks with Entity-aware Attention using Latent Entity Typing
Author
이주홍
Alternative Author(s)
LEE JOO HONG
Advisor(s)
최용석
Issue Date
2019-02
Publisher
한양대학교
Degree
Master
Abstract
관계 분류(Relation Classification)는 문장에서 나타나는 개체(Entity) 쌍 사이의 의미적 관계를 분류하는 문제로써 자연어처리(Natural Language Processing
NLP) 분야에서 중요한 과제 중 하나이다. 합성곱 기반의 Convolutional Neural Networks(CNNs)과 순환적 구조를 기반으로 한 Recurrent Neural Networks(RNNs) 계열의 딥러닝 모델들이 좋은 성능을 보이지만, 이들은 모두 고정적인 단어의 표현 벡터를 사용하기 때문에 문맥에 따라 의미와 관계가 변하는 단어의 의미를 학습하기 어렵다. 그리고 주의집중 매커니즘(Attention Mechanisms) 기반의 State-of-the-art 모델들은 관계 분류에 있어서 가장 중요한 특징일 수 있는 개체에 대한 정보를 완전히 활용하지 못하고 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 새로운 개체-인식 주의집중(Entity-aware Attention) 매커니즘과 잠재 개체 타이핑(Latent Entity Typing) 기법을 제안하고 이를 기반으로 한 End-to-End 순환 신경 모델을 소개한다. 모델은 자가-주의집중(Self-Attention) 매커니즘을 통해 문장에서 함께 나타난 단어 간의 의미적 관계를 고려한 표현 벡터를 생성하고, 개체와 그의 잠재 개체 타입(Latent Entity Type)을 자질로써 효과적으로 활용한다. 관계 분류 분야에서의 가장 유명한 벤치마크 데이터 중 하나인 SemEval-2010 Task 8을 이용하여 모델의 성능을 평가했으며, 기존 제안되었던 State-of-the-art 모델들을 능가하는 85.2%의 F1-score를 기록하였다. 또한, 모델에 적용된 자가-주의집중과 개체-인식 주의집중 매커니즘 그리고 잠재 개체 타입의 시각화를 통해 모델의 해석가능성(Interpretability)을 크게 향상시켰다.
Classifying semantic relations between entity pairs in sentences is an important task in Natural Language Processing (NLP). Most previous models for relation classification rely on the high-level lexical and syntatic features obtained by NLP tools such as WordNet, dependency parser, part-of-speech (POS) tagger, and named entity recognizers (NER). In addition, state-of-the-art neural models based on attention mechanisms do not fully utilize information of entity that may be the most crucial features for relation classification. To address these issues, we propose a novel end-to-end recurrent neural model which incorporates an entity-aware attention mechanism with a latent entity typing (LET) method. Our model not only utilizes entities and their latent types as features effectively but also is more interpretable by visualizing attention mechanisms applied to our model and results of LET. Experimental results on the SemEval-2010 Task 8, one of the most popular relation classification task, demonstrate that our model outperforms existing state-of-the-art models without any high-level features.
URI
https://repository.hanyang.ac.kr/handle/20.500.11754/99790http://hanyang.dcollection.net/common/orgView/200000434815
Appears in Collections:
GRADUATE SCHOOL[S](대학원) > COMPUTER SCIENCE(컴퓨터·소프트웨어학과) > Theses (Master)
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML


qrcode

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

BROWSE