ReLU가 합성된 행렬 곱 연산의 부분 생략을 통한 딥 러닝 모델 추론 시간 개선

Abstract

최근 딥 러닝의 활용 분야가 넓어지고 있는 추세이며, 많은 파라미터들을 가지고 있는 딥 러닝 모델들이 좋은 성능을 보이는 경향이 있다. 그리고 필연적으로 크기가 큰 모델을 이용한 딥 러닝 추론은 긴 시간을 요구한다. 본 논문은 딥 러닝 추론을 할 때, 활성화 함수인 Rectified Linear Unit 과 행렬 곱을 융합을 하고, 두 연산과정에서 계산할 출력 값의 부호를 미리 예측하여 계산의 양을 줄인다. 계산의 양을 줄였음에도 정확도를 거의 해치지 않는 선에서 추론 시간을 절약하는 방안을 제안한다.