심층신경망의 Quantization 학습에 대한 시간과 정확도의 Trade-Off 분석 및 최소 학습량 도출

Abstract

심층 신경망에서 Quantization은 입력 데이터와 가중치와 같이 연속된 실수로 표현된 값을 이산적인 정수로 근사하여 계산하는 기법이다. Quantization은 정수 형태로 근사를 하기 위해 정수형 구간을 정해 영점(Zero-Point)을 설정하고 스케일링(Scale)을 통해 진행하게 된다. 하지만 많은 입력 데이터에 대해 정확도를 유지하면서 영점과 스케일링을 찾기 위해 Fine-Tuning을 학습하게 되면 시간적인 비용이 많이 들게 된다. 본 논문에서는 Quantization을 하기 위해 요구되는 영점과 스케일을 찾기 위해 Fine-Tuning 학습 시, 시간 대비 정확도의 Trade-Off를 분석하고 모델에 따른 이상적인 학습 수행량을 찾는 것에 목표가 있다.