Analyzing Linguistic Dependencies and Proposing Effective Methods through Contrastive Learning in Sentence Representation Learning

Abstract

Pursuing universal sentence embeddings is a fundamental aspect of natural language processing (NLP). In the domain of sentence representation learning (SRL), the SimCSE framework has markedly enhanced the results of semantic textual similarity (STS) tasks through the adoption of contrastive learning for sentence embedding.

This thesis begins with investigating the language dependence of SRL techniques, examining whether methods validated in English can be effectively transferred to Korean, which has different linguistic properties.

Subsequently, we introduce experiments to enhance the contrastive learning of SRL further from SimCSE by changing the dropout rate when augmenting a positive sample. The change of dropout rate can be interpreted as extending the diversity of positive sample augmentation. We show that extending positive diversity by changing the dropout rate helps sentence representation learning.

Finally, this thesis discusses the recently proposed task, conditional STS (C-STS). We propose to use contrastive learning on condition subspace in C-STS tri-encoder setting, where embeddings are transposed to using condition sentence. We used the hypernetwork method to generate a linear transformation matrix from the condition sentence, which is then used to transpose the embeddings. It is confirmed that contrastive learning works effectively when it is used with the hypernetwork method. When using contrastive learning loss, we controlled temperature higher, facilitating integration with the mean-squared-error loss. The observed performance improvement in the tri-encoder setting of the C-STS task affirms that the strategy of utilizing contrastive learning with hypernetwork is well-suited for this particular setting.|자연어 처리(NLP) 분야에서 보편적으로 사용될 수 있는 문장 임베딩을 추구하는 것은 기본적으로 추구해야할 지향점이다. 이와 같은 문장 임베딩 향상을 위한 학습 방법론인 문장 표현 학습(SRL) 분야에서, SimCSE 프레임워크는 문장 임베딩 대조 학습을 SRL에 적용함으로써, 의미적 텍스트 유사성(STS) 태스크의 성능을 현저하게 향상시켰다.

본 논문은 이런 SRL 기술의 언어 의존성을 조사하면서 시작한다. 대체로 제안된 많은 SRL 방법론들은 영어에서만 검증되었기에, 이 방법들이 언어적 특성이 매우 다른 한국어로도 효과적으로 전환될 수 있는지를 검토한다.

이어서, 드롭아웃 기법을 사용한 STS 작업에 적용할 수 있는 발견을 제시하는 실험을 소개한다. SimCSE와는 다르게, 각각의 문장마다 드롭아웃 비율을 변경하여, 임베딩의 다양성을 확장함으로써 더욱 효과적인 대조 학습을 통해 더 개선된 문장 표현 학습을 하는것을 보인다.

마지막으로, 본 논문은 최근 제안된 조건부 STS(C-STS) 작업에 대해 논의합니다. 우리는 삼중-인코더 설정에서 기존 문장 임베딩을 조건 공간으로 변환하는 데 효과적인 하이퍼네트워크를 사용할 것을 제안한다. 또한 NT-Xent 손실 함수를 도입, 대조 학습 손실 함수 내에 사용되는 온도 하이퍼파라미터를 높게 조절하여 대조 학습 손실 함수가 더 효과적으로 평균 제곱 오차 손실 함수와 통합되도록 한다. C-STS의 삼중-인코더 설정에서 관찰된 성능 향상은 하이퍼네트워크와 온도가 높은 대조 학습이 이 설정에 아주 효과적임을 확인시켜 준다.