문장 표현을 위한 비지도 대조 학습에서 균일성의 적절성 재고

Abstract

비지도 대조 학습은 시각 표현 학습(Visual Representation Learning) 및 문장 표현 학습(Sentence Representation Learning)과 같은 분야에서 널리 사용된다. 부정 샘플의 크기와 평가 측면에서 시각 표현 학습과 문장 표현 학습의 차이를 고려할 때, 시각 표현 학습에서 도출된 결과가 문장 표현 학습에 온전히 전달되지 않을 수도 있다. 또한, 균일성이 시각 표현 학습을 위한 대조 학습에서 발생할 수 있는 차원 붕괴 현상에 둔감하다는 연구 결과는 문장 표현 학습에서의 균일성의 사용에 대한 적합성을 고려하게 한다. 본 논문은 대조 학습의 성공 요인으로 간주되는 STS(Semantic Textual Similarity) 과제와 균일성 사이에서 유의미한 관계가 없음을 밝히며, 문장 표현을 평가하는데 있어서 이러한 통합된 관점이 부적절하다는 것을 지적한다. 더하여, 문장 표현을 더 잘 이해할 수 있는 평가 지표의 방향을 제시한다.|Unsupervised contrastive learning is widely used in fields such as Visual Representation Learning(VRL) and Sentence Representation Learning(SRL). Considering the differences between VRL and SRL in terms of the number of the negative samples and evaluation, the results from VRL may not be fully transferable to sentence representation learning. Furthermore, the finding that uniformity is insensitive to the dimensionality collapse that can occur in contrastive learning for VRL leads us to consider the suitability of using uniformity in sentence representation learning. We cannot find significant relationship between uniformity and the Semantic Textual Similarity (STS) task, which is considered a success factor for contrastive learning, pointing to the inadequacy of such an integrated view in assessing sentence representations. Furthermore, we suggest the right direction of evaluation metrics that can better understand sentence representation. Our experimental results demonstrate the effectiveness and extensibility of the new metric and back up its validity with further analysis.