동기적 및 비동기적 분산 학습에 대한 파라미터 샤딩 기법의 성능 평가

Abstract

풍부한 학습데이터와 거대한 모델을 바탕으로 최근 딥러닝 기술을 기존에 해결하지 못했던 많은 문제를 해결할 수 있게 되었다. 하지만 이 방법에는 학습 과정 시 너무 많은 시간을 요구한다는 단점이 있다. 이를 해결하기 위해 기존의 단일 컴퓨팅 환경이 아닌 분산 컴퓨팅 환경에서 학습하는 분산 학습 기법들이 연구되었다. 본 논문에서는 대표적인 분산 학습 방안인 파라미터 서버 기반의 동기적, 비동기적 분산 학습 방안들을 소개하고, 대표적인 최적화 방안인 파라미터 샤딩 기술도 소개한다. 실험을 통해 각 분산 학습 방안에 대한 파라미터 샤딩 기법의 효과를 비교하고 그 이유를 분석한다.