경량 CNN 모델을 위한 초저정밀도 채널별 양자화 인식 훈련 기법

Abstract

MobileNetV2로 대표되는 경량 CNN 신경망은 작은 메모리 필요량과 연산 복잡도 덕분에 많은 각광을 받고 있지만 실시간 사용을 위해 추가적인 모델 압축이 필요하다. 하지만 경량 CNN 신경망의 경우 계층별 양자화 인식 훈련 기법을 적용하면 채널별 데이터 분포의 다양성으로 인해 추론 정확도 저하가 큰 문제점이 존재한다. 본 논문에서는 채널별 데이터 분포 다양성에 강인한 채널별 양자화 인식 훈련 기법인 Asymmetric Clipping-Value Decay(ACD)를 제안한다. ACD는 Clipping-Value에 맞게 Activation 영역을 조절하여 양자화 오차를 감소시킨다. 추가적으로 SQNR Loss(SL)를 이용하여 양자화 오차를 감소시키는 Clipping-Value 최적화를 통해 양자화 오차를 감소시키고 정확도를 상승시킨다. Asymmetric Clip-Val Decay와 SQNR Loss를 통해 CIFAR10, CIFAR100 데이터셋을 이용한 실험 결과에서 계층별 양자화보다 높은 정확도와 낮은 양자화 오차를 보여준다.|Although light-weight CNN models such as MobileNetV2 have gained popularity thanks to their preferred model size and computation complexity, model compression is required for real-time operation. However, these models suffer significant accuracy degradation when per-layer quantization-aware training (QAT) is applied for supreme computational efficiency due to the high distributional diversity across the channels of depth-wise separable convolution in lightweight CNNs. This work proposes a per-channel QAT robust to channel-wise diversity, equipped with an asymmetric clipping value decay (ACD) method for automatically adjusting the activation dynamic range appropriate for the current clipping values and decrease quantization error. Additionally, quantization error is further decreased by clipping values optimization using SQNR Loss(SL). Experimental results show that the proposed perchannel QAT with ACD and SL mitigates quantization errors and achieves higher accuracy on 2-bit MobileNetV2 on CIRAR10 and CIRAR100 compared to the baseline per-layer and per-channel QATs