Similar Channel Pruning Algorithm in CNN.

Abstract

Pruning is a compression technique that reduces the number of parameters included in the model. We propose a saliency calculation method for pruning convolutional neural networks (CNN) at the channel level. In short, it is to remove the filter whose saliency of the two feature maps is minimal in the convolutional layer to prune redundant channels from the model. This method has two advantages. 1) It is not data dependent and does not require additional fine-tuning after compression. 2) There is no need for retraining steps, thus improving the efficiency of calculations. Our experiments were conducted on LeNet5 trained with MNIST and AlexNet trained with CIFAR10. As a result, it was observed that it was more advantageous to use the information of the next layer together than to use only the knowledge of the target layer. We calculate and prune the saliency using the distance information of the parameter pair. Here, the distance information is calculated in each target layer and the next layer. When the distance formula applied to both the target layer and the next layer was used as L1, the performance loss rate was the lowest than other distance equation combinations. The parts where our method can be applied are as follows. 1) Between the convolutional layers, 2) between the convolutional layers and the fully connected layer. Our approach can be used over most networks to provide smaller models.|가지치기(pruning)는 모델에 포함된 매개변수의 수를 줄이는 압축 기법이다. 우리는 합성곱 신경망망(convolutional neural network)을 채널 수준으로 가지치기하기 위한 세일리언시(saliency) 계산 방법을 제안한다. 간단히 말해서, 합성곱 계층(convolutional layer)에서 두 특징 맵(Feature map)의 세일리언시를 계산하여 최솟값인 필터를 가지치기하여 중복 채널을 모델에서 제거하는 것이다. 이 방법의 장점은 두 가지이다. 1) 데이터에 종속적이지 않아 압축 후 추가적인 미세조정(fine-tuning)이 필요하지 않다. 2) 재교육 단계가 필요 없어 계산의 효율을 향상시킨다. 우리의 실험은 MNIST로 훈련시킨 LeNet5, CIFAR10으로 훈련시킨 AlexNet에서 진행했다. 그 결과 타겟층의 정보만 사용하는 것보다 다음층의 정보도 사용하는 것이 성능유지에 더 유리하는 것을 관찰할 수 있었다. 우리는 각 층에서 파라미터 쌍의 거리 정보를 이용하여 가지치기한다. 타겟층과 다음층에 적용하는 거리 수식은 모두 L1으로 적용할 때, 다른 거리 수식 조합보다 성능 손실률이 가장 낮았다. 우리의 방법은 더 작은 모델을 제공하기 위해 합성곱 계층 사이, 합성곱 계층과 완전 연결 계층 사이가 있는 대부분의 네트워크 위에 적용될 수 있다.