채널별 민감도와 레이어의 특성을 고려한 혼합정밀도

Abstract

모델 경량화의 기법 중 하나인 양자화(Quantization) 기법은 연속된 실수로 표현된 값을 이산적인 값으로 표현하여 계산량과 메모리를 효율적으로 줄이고 이를 통해 추론 속도를 향상시키는 기술이다. 최근 단일 비트가 아닌 2가지 이상의 비트를 혼합하여 사용하는 혼합정밀도 기법을 바탕으로 계층별 혹은 채널별 특성 분석과 강화학습을 이용하여 적절한 비트를 찾는 연구가 진행되 고 있다. 강화학습을 이용하면, 양자화 시 발생하는 에러를 최소한으로 줄여 성능을 최대한으로 높일 수 있지만 수많은 비트 조합을 탐색해야 하므로 큰 비용이 발생하게 된다. 본 논문에서는 INT4, INT8 두 가지 자료형을 사용하 여 1) 컨볼루션 레이어의 각 채널별로 양자화에 대한 민감도 분석을 통해 INT8 자료형의 비율을 점진적으로 높여가면서 비트 조합을 갱신하고, 2) QAT(Quantization Aware Training) 기법을 사용하여 모델 성능 하락을 최소 한으로 유지한다.