관계 추출을 위한 의존성 트리 위치 인코딩 기법

Abstract

의존성 트리는 최근에 두 개체(Entity) 간의 거리가 멀어도 관계를 잘 찾아내어서 관계 추출에서 중요하게 사용된다. 따라서 최근 많은 연구들이 의존성 트리 정보를 관계 추출 모델들에 적용하는 방법을 다양하게 제안하였다. 그러나 이러한 접근 방식들은 대부분 의존성 트리의 정보를 주입하기 위해 모델의 구조를 바꾸거나 새롭게 제안하기 때문에 다른 모델에 적용하기 어렵다. 예를들어, 그래프 컨볼루션 네트워크(Graph Convolutional Networks)와 같은 의존성 트리를 사용하는 기존 접근 방식은 이러한 정보를 모델의 입력에는 사용하지 않는다. 이러한 단점을 해결하기 위해 의존성 트리의 위치 인코딩을 사용하여 모델의 입력에 의존성 트리 정보를 주입하는 새로운 방법을 제안한다. 특히, 의존성 트리 정보를 입력 벡터와 통합하기 위해 의존성 트리 정보를 위치 인코딩으로 변환하는 새로운 전략을 제시한다. 우리가 제안한 방법을 적용한 BERT가 관계 추출의 표준 벤치 마크 데이터 셋인 TACRED 와 SemEval-2010 Task 8에서 모델의 구조를 변경하지 않고도 기존의 State-of-the-art 성능을 달성하였다. 또한 자세한 분석을 통해 이 방법이 다른 관계 추출 모델에 상호보완적인 강점을 가지고 어느 정도의 영향력을 보이는지를 조사하였다.