두 단일 언어 사전학습 Sequence-to-Sequence 모델의 교차연결을 통한 기계번역 성능 향상

Abstract

본 연구의 목적은 단일 언어 코퍼스에 대하여 사전 학습한 sequence-to-sequence (seq2seq) 모델을 기계 번역에 재활용하는 것이다. 최근 자연어처리 분야에서 전이 학습이 널리 사용되고 있음에도 불구하고, 사전 학습된 seq2seq 모델의 일부가 아닌 전체를 재활용하는 연구는 그리 많지 않다. 많은 연구들이 seq2seq 모델의 사전 학습된 인코더 모듈이나 디코더 모듈만을 사용하며, 만일 기계 번역을 위하여 seq2seq 모델의 전체를 사전 학습하는 경우에는 다국어 사전 학습이 주를 이룬다. 이와 달리, 본 연구에서는 단일 언어로 사전 학습한 seq2seq 모델 전체를 활용하여 기계 번역을 학습한다. 이를 위하여, 각각 입력 및 대상 언어에 해당하는 단일 언어 코퍼스를 사용하여 두 seq2seq 모델을 사전 학습한 후, 입력 언어 모델의 인코더와 대상 언어 모델의 디코더를 결합한다. 이것을 교차 연결이라고 한다. 이때 두 사전 학습 모델은 서로에 대하여 완전히 독립적으로 학습되기 때문에, 두 모듈의 매핑을 돕기 위하여 인코더와 디코더 사이에 중재 레이어를 추가한다. 교차 연결한 모델을 병렬 코퍼스에 대하여 미세 조정하여 번역을 학습한다. 이 단일 언어 사전 학습 모델들은 다른 언어에 대하여 사전 학습된 또 하나의 모델과 자유롭게 교차 연결할 수 있어 일종의 다국어 사전 학습 모델처럼 기능하는 반면, 다국어 사전 학습 모델과 달리 모델의 성능이 언어의 수에 영향을 받지 않는다. 본 논문에서는 제안된 교차 연결법이 임의로 초기화한 모델에 비하여 번역 성능을 크게 향상함을 입증할 것이다. 또한, 중재 레이어의 적절한 선택, 사전 학습된 각 모듈의 중요성, 병렬 코퍼스의 크기 변화에 따른 성능 변화를 분석할 것이다.