대표 데이터의 유사성을 이용한 구조 유지 오토인코더

Abstract

Auto-encoder(AE)는 인공신경망(neural network)의 비지도 학습 형태의 대표적인 알고리듬이다. AE는 특징 추출(feature extraction) 알고리듬으로 이해되며, 인공신경망 연구에서 데이터 전처리(data pretraining) 과정과 초기 가중치(initial weights) 설정에서 적극적으로 활용된다. 높은 활용도에 의해 AE는 지속적으로 연구가 진행되고 있으며, 다양한 버전의 AE가 소개되어왔다. 인공신경망 이외의 분야에서도 특징 추출에 대한 연구가 활발히 이뤄져왔다. 특징 추출 알고리듬들은 보존하려는 정보의 종류에 따라 크게 두 가지 범주로 분류할 수 있다. 하나는 데이터의 분산을 보존하는 것이고, 다른 하나는 데이터의 구조적 정보를 보존하는 것이다. 기존의 AE는 데이터의 분산을 보존하는 알고리듬에 속한다. 본 논문에서는 구조적 정보를 보존하는 알고리듬들을 참고하여, AE의 손실 함수에 새로운 부분을 추가하는 것으로 더욱 효과적으로 특징을 추출하는 새로운 버전의 AE를 제안한다. 제안된 새로운 버전의 AE는 데이터의 분산과 구조적 정보를 함께 보존하는 것으로 기존의 AE보다 더 효과적으로 특징을 추출하며, 학습에 있어 더 안정적이다. 추가적으로 본 논문에서는 대표 데이터라는 개념을 제안한다. 대표 데이터는 데이터의 각 클러스터를 대표하는 데이터로서, 일반적인 구조적 정보를 보존하는 알고리듬보다 고려하는 데이터 포인트의 상호 관계의 수를 극단적으로 줄이는 역할을 한다. 대표 데이터를 사용하는 것으로 제안하는 알고리듬은 계산량 측면에서 발생할 수 있는 단점을 극복했으며, 적은 수의 유사성으로도 구조적 정보를 더 효과적으로 학습한다.