로그 양자화 기법과 고정소수점 변환을 이용한 GRU 네트워크 최적화 방법

Abstract

Recurrent neural network은 최근 정확도를 높이기 위하여 네트워크 크기가 커지는 경향을 보여주고 있다. 하지만 큰 네트워크를 양자화 없이 그대로 사용하는 것은 매우 고성능의 연산 능력을 요구하게 된다. 따라서, 본 논문은 로그 양자화와 고정 소수점 변환을 통해서 네트워크의 연산 복잡도를 줄이는 기법을 제안한다. Recurrent neural network 구조의 일종인 gated recurrent unit을 기반한 네트워크에서, 기존의 미리 학습된 가중치를 추가 학습 없이도 로그 양자화 기법을 적용한 후에도 정확도를 유지할 수 있음을 보인다. 실험을 통해 로그 양자화 및 고정소수점 변환 기법은 부동소수점 방식 대비 메모리 사용량이68%로 줄어들고, 표현 bit 수에 따른 정확도 감소는 2.6%로 작다는 것을 보인다.