Compression of deep learning models through global weight pruning using alternating direction method of multipliers

Abstract

Deep learning has shown excellent performance in numerous machine learning tasks, but one practical obstacle in deep learning is that the amount of computation and required memory is huge. Model compression, especially in deep learning, is very useful because it saves memory and reduces storage size while maintaining model performance. Model compression in a layered network structure aims to reduce the number of edges by pruning weights that are deemed unnecessary during the calculation. However, existing weight pruning methods perform a layer-by-layer reduction, which requires a predefined removal-ratio constraint for each layer. Layer-by-layer removal ratios must be structurally specified depending on the task, causing a sharp increase in the training time due to a large number of tuning parameters. Thus, such a layer-by-layer strategy is hardly feasible for deep layered models. Our proposed method aims to perform weight pruning in a deep layered network, while producing similar performance, by setting a global removal ratio for the entire model without prior knowledge of the structural characteristics. Our experiments with the proposed method show reliable and high-quality performance, obviating layer-by-layer removal ratios. Furthermore, experiments with increasing layers yield a pattern in the pruned weights that could provide an insight into the layers’ structural importance. The experiment with the LeNet-5 model using MNIST data results in a higher compression ratio of 98.8% for the proposed method, outperforming existing pruning algorithms. In the Resnet-56 experiment, the performance change according to removal ratios of 10% to 90% is investigated, and a higher removal ratio is achieved compared to other tested models. We also demonstrate the effectiveness of the proposed method with YOLOv4, a real-life object-detection model requiring substantial computation.|딥러닝은 수많은 머신러닝 작업에서 뛰어난 성능을 보여주었지만 많은 계산량과 메모리가 필요하다는 문제가 존재합니다. 딥러닝 모델 압축은 모델의 성능은 유지하면서 메모리를 절약하고 저장소 크기를 줄이기 때문에 매우 유용합니다. 계층화된 네트워크 구조에서 모델 압축은 계산 중에 불필요한 것으로 간주되는 가중치를 제거하는 것을 목표로 합니다. 그러나 기존의 딥러닝 모델 압축 방법은 레이어 별 제거를 수행하므로 각 레이어에 대해 미리 정의된 제거 비율이 필요합니다. 레이어 별 제거 비율은 작업에 따라 구조적으로 지정되어야 하며, 많은 수의 튜닝 매개변수로 인해 훈련 시간이 급격히 증가하므로 큰 모델에서는 현실적으로 사용이 어렵습니다. 우리가 제안하는 방법은 구조적 특성에 대한 사전 지식 없이 전체 모델에 대해 전역 제거율을 설정하여 유사한 성능을 생성하면서 딥러닝 모델의 가중치 제거를 수행하는 것을 목표로 합니다. 제안 방법에 대한 실험은 레이어 별 제거 비율 없이 고품질의 성능을 보여줍니다. 다양한 레이어에 대한 CNN 모델 실험에서는 레이어의 구조적 중요성에 대한 통찰력을 제공할 수 있는 제거 비율 패턴을 확인합니다. MNIST 데이터를 이용한 LeNet-5 모델 실험에서는 기존 가지치기 알고리즘을 능가하는 98.8%의 높은 제거율을 보입니다. ResNet-56 실험에서는 10%~90%의 제거율에 따른 성능 변화를 조사하였으며, 다른 모델에 비해 높은 제거율을 보입니다. 또한 상당한 계산이 필요한 객체 탐지 모델인 YOLOv4를 사용하여 제안 방법의 현실 적용 가능성을 보여줍니다.