BERT 기반의 텍스트 스타일 변환을 통한 시적 텍스트 인공신경망 기계 번역

Abstract

이 연구는 서정적인 텍스트, 특히 은유적 표현과 함축어를 포함한 텍스트에 대한 기계번역의 어려움을 해결하기 위한 방안을 제시한다. 인공 신경망 기계번역(Neural Machine Translation:NMT)은 BERT(Bidirectional Encoder Representations from Transformers)모델을 사용하여 은유와 함축어를 이해하고 번역하는 능력을 향상시키는 방법론을 제시한다. 이를 위해 사람이 번역한 팝송 가사 데이터를 사용하여 기계번역 학습용 데이터 세트를 구축하였다. BertForMaskedLM 모델은 문맥을 파악하고 마스킹된 단어를 예측하는 능력을 강화하기 위해 사용했다. 구어체와 문어체 간의 언어 사용 차이를 고려하여, 기계 번역 학습 과정에서 구어체를 문어체로 변경하는 과정을 포함하였다. 문어체는 규칙적이고 표준화된 언어 패턴을 사용하기 때문에 이를 학습하면 기계번역의 정확성을 향상시킬 수 있다. 구어체에서 문어체로 변환한 것은 KoBART를 활용하였다. 본 연구에서는 하나의 구어체 문장을 문어체 스타일로 변환하는 방법론을 제안한다. 구어체와 문어체로 학습한 각 모델을 사용하여 비교실험을 진행했다. 두 모델 모두 학습 과정에서 손실이 줄어드는 것이 관찰되었지만, 문어체 모델이 더 낮은 손실 값을 보이고 더 빠르게 학습하였다. 이는 문어체 모델이 구어체 모델보다 더 효과적으로 학습하고 있음을 나타낸다. 또한, 두 모델의 성능을 비교하기 위해 BLEU (Bilingual Evaluation Understudy) Score를 활용하였다. 구어체 모델과 문어체 모델로 번역 결과를 비교하였을 때, 문어체 모델이 더 높은 BLEU 점수를 보여주었다. 이는 문어체 모델이 공식어로 변환됨으로써, 문장들 간의 유사성이 높음을 나타내며, 따라서 더 정확한 번역이 가능하다는 것을 의미한다. 결론적으로, 이 연구는 BERT와 텍스트 스타일 변환 기술(Text Style Transfer)을 활용하여 시적 텍스트의 번역을 개선하는 방법을 제시한다. 이를 통해, 기존에는 번역하기 어려웠던 시적 텍스트도 높은 정확도로 번역이 가능함을 보여주었다. 이러한 결과는 BERT와 텍스트 스타일 변환 기술이 시적 텍스트 번역에 대한 새로운 해결책으로 제시될 수 있음을 나타낸다. 이 결과를 통해 향상된 독해 성능과 함께 함축어와 은유의 번역 능력이 향상되었음을 확인하였다. 이 연구는 기계번역의 성능을 개선하고, 서정적인 텍스트에 대한 번역의 정확성을 높이는 방향으로 진행되었다.

|This research presents a solution to the challenges of machine translation of lyrical texts, particularly texts containing metaphorical expressions and implied language. It proposes a methodology for enhancing the ability to understand and translate metaphors and implied language using a Neural Machine Translation (NMT) model, particularly the BERT (Bidirectional Encoder Representations from Transformers) model. To achieve this, the research built a dataset for machine translation learning using human-translated lyrics data. The BertForMaskedLM model was used to enhance the ability to understand context and predict masked words.

Considering the language usage differences between informal and formal language, the machine translation learning process included a step to convert informal language to formal language. As formal language uses regular and standardized language patterns, this can improve the accuracy of machine translation. The conversion from informal to formal was achieved using KoBART. This study proposes a methodology for converting a single informal sentence into a formal style. An experiment was conducted to compare models trained on spoken language and written language. This suggests that the formal language model is more effective in learning than the informal language model. To compare the performance of the two models, the BLEU (Bilingual Evaluation Understudy) Score was used. When comparing the translation results of the informal and formal language models, the formal language model showed a higher BLEU score. We have confirmed that the reading comprehension performance, as well as the translation abilities for idioms and metaphors, have improved based on these results.

In conclusion, this study presents a way to improve the translation of lyrical texts using BERT and Text Style Transfer technology. It demonstrates that even lyrical texts, which have been difficult to translate before, can now be translated with high accuracy. These results suggest that BERT and Text Style Transfer technology can provide a new solution for translating lyrical texts. This study confirmed improved comprehension performance along with enhanced translation ability of implied language and metaphors. This research has advanced towards improving the performance of machine translation and increasing the accuracy of translations for lyrical texts.