교차언어 운율 음성합성을 위한 적대적 및 순차적 학습 방법

Abstract

본 논문은 세 개의 대표적인 음성 스타일 표현인 언어, 화자, 운율 정보를 표현 할 수 있는 음성 합성 모델의 성능을 향상하기 위해 제안하였다. 화자의 본래의 언어와 운율과 관계없이 목소리는 유지한 채 다른 언어와 운율을 합성하는 것이 가능하다. 음성합성 모델에 결합하는 각 표현의 임베딩들이 다른 표현 정보를 포함하거나 나타내지 않도록 하기 위해, 음성합성 모델에 결합하는 각 임베딩들에 대한 적대적 학습 방법을 제안하였다. 또한, 데이터 반복방식의 연속학습 방법을 포함한 순차적 학습 방법으로 이전에 학습된 표현 정보를 잃지 않고 복잡하고 적은 양의 데이터를 학습하는 방법을 제안하였다. 실험 결과는 제안된 방법이 데이터셋의 화자가 포함하지 않는 다른 표현 정보를 포함한 음성을 합성할 때 음성 품질, 화자 유사도, 운율 유사도 측면에서 성능 개선을 이끌어 내었다.