직접 변환: 희소한 입력 활성값을 활용한 컨볼루션 신경망의 가속

Abstract

최근 컨볼루션 신경망의 깊이가 깊어짐에 따라 신경망의 연산량과 매개변수의 수가 크게 증가하였다. 이러한 연산량과 메모리 사용량을 줄이기 위하여 신경망을 압축하는 프루닝 기법이 활발히 연구되고 있다. 프루닝 이후, 층의 특성에 따라서 각 층의 희소성이 크게 달라진다. 가중치가 희소한 경우 대부분의 컨볼루션 연산 결과는 0이며 이는 불필요한 연산에 해당된다. 이러한 의미가 없는 연산을 피하기 위하여 기존의 연구들에서 가중치 희소성을 고려하는 방법이 제안됐다. 하지만 기존 연구들에서는 입력 활성값 또한 희소성이 높을 수 있다는 것에 대한 고려가 부족하였다. 정류 선형 유닛 (ReLU) 함수는 간단하지만 매우 효과적이기 때문에 많이 사용되는 활성 함수이다. ReLU 함수의 특성으로 인해 입력 활성값의 희소성은 높게 관측된다 (최대 85%). 따라서, 의미 없는 연산 수행을 최소화하여 컨볼루션 신경망을 가속하려면 입력 활성값의 희소성과 가중치의 희소성을 모두 고려해야한다. 본 논문에서는 입력 활성값이 희소한 조건에서 가중치 희소성을 고려한 새로운 가속 방법으로 직접 변환 (Direct Conversion)을 제안한다. 직접 변환은 3차원 입력 텐서를 한번에 압축 포맷으로 변환하는 방법이다. 이 방법은 두가지 방법 중 하나를 선택적으로 적용한다. 첫 번째 방법은 입력 활성값은 희소하고 가중치는 밀집할 때 적용하는 image to Compress Sparse Row (im2CSR) 이다. 두 번째 방법은 입력 활성값과 가중치 모두 희소할 때 적용하는 image to Compressed Sparse Overlapped Activations (im2CSOA) 이다. 실험 결과, 제안하는 방법인 직접 변환은 임베디드 환경에서 기존 방법보다 추론 속도를 최대 2.82 배까지 향상시켰다.; The amount of computation and the number of parameters of neural networks are increasing rapidly as the depth of convolutional neural networks (CNNs) is increasing. Therefore, it is very crucial to reduce both the amount of computation and that of memory usage. The pruning method, which compresses a neural network, has been actively studied. Depending on the layer characteristics, the sparsity level of each layer varies significantly after the pruning is conducted. If weights are sparse, most results of convolution operations will be zeroes. Although several studies have proposed methods to utilize the weight sparsity to avoid carrying out meaningless operations, those studies lack consideration that input activations may also have a high sparsity level. The Rectified Linear Unit (ReLU) function is one of the most popular activation functions because it is simple and yet effective. Due to properties of the ReLU function, it is often observed that the input activation sparsity level is high (up to 85%). Therefore, it is important to consider both the input activation sparsity and the weight one to accelerate CNN to minimize carrying out meaningless computation. In this thesis, we propose a new acceleration method called Direct Conversion that considers the weight sparsity under the sparse input activation condition. The proposed method converts a 3D input tensor directly into a compressed format. This method selectively applies one of two different methods: a method called image to Compressed Sparse Row (im2CSR) when input activations are sparse and weights are dense; the other method called image to Compressed Sparse Overlapped Activations (im2CSOA) when both input activations and weights are sparse. Our experimental results show that Direct Conversion improves the inference speed up to 2.82× compared to the conventional method.