System-Aware Neural Network Acceleration and Optimization Techniques

Abstract

근래 다양한 공학 분야에서 신경망을 활용한 인공지능의 수요가 많이 늘고 있으며, 더 안전하고 더 나은 양질의 서비스를 위하여 신경망의 정확도 및 성능을 향상시키는 것이 매우 중요해지고 있다. 비록 하드웨어 및 가속 기술의 발달에 힘입어 더 크고 복잡한 신경망을 구축하거나 알고리즘을 개선하는 것만으로도 상기의 목표를 달성할 수 있지만, 신경망이 구동되는 시스템에 맞춘 최적화를 수행한다면 더 많은 정확도 및 성능 향상을 기대할 수 있다. 하지만, 신경망의 다양한 활용도만큼 신경망이 구동되는 시스템 또한 다양하고 복잡해지면서 최적화 또한 까다로워지고 있다. 임베디드 시스템의 경우 제한된 전력과 메모리 제약으로 인해 높은 정확도의 신경망을 구축하기 까다로운데, 이러한 제약 조건 완화는 정확도를 향상시킬 수 있는 큰 기회가 되지만 이를 제대로 활용하는 방법은 활발히 연구되지 않았다. 다중 GPU를 차용하는 시스템은 수요가 늘어남에 따라 다양한 연구가 수행되고 있으며, 병렬 연산을 활용할 경우 얻을 수 있는 이득이 많지만 신경망의 구조 및 연산의 특성으로 인한 여러 오버헤드로 인해 이를 온전히 활용하지 못하고 있다. 본 논문에서는 신경망이 구동되는 시스템을 고려하여 이와 같은 문제들을 해결하기 위한 방법을 제시하고자 한다. 이를 통해 제약 조건의 완화를 활용한 효과적인 신경망 정확도 향상, GPU의 연산 최적화를 위한 새로운 라이브러리의 가능성 탐색, 정확도와 다양한 성능 요소들 간의 적절한 균형점 탐색 및 자원 활용성 극대화 효과를 얻을 수 있다. 또한, 본 논문을 통해 시스템과 신경망에 대한 개선 방안을 제시할 뿐만 아니라 앞으로 다가올 이기종 시스템에 있어 신경망이 더 높은 정확도와 성능을 얻을 수 있는 통찰을 제공하고자 한다.|Recently, the demand for artificial intelligence using neural network in various engineering fields is increasing, and it is becoming very important to improve the accuracy and performance of neural network for safer and better quality service. Although those goals can be achieved by building larger and more complex neural network or improving algorithms, thanks to the development of hardware and acceleration technologies, further improvements can be expected by performing optimizations tailored to the system. However, due to the various uses of neural networks, the underlying systems are also diverse and complicated, and the optimization is also becoming more difficult. In the case of embedded systems, it is difficult to build a high accuracy neural network due to the strict power and memory constraints. Relaxing these constraints can give a great opportunity to improve accuracy, but proper methods to utilize them efficiently have not been actively studied. As the demand for the systems using multiple GPUs increases, various studies have been conducted, and high performance gains have been reported using parallel computations. However, the GPU resources are often not fully utilized due to the mismatch between target neural network structures and GPU characteristics. In this thesis, we propose a method to solve these problems on neural network systems. Through this, effective neural network accuracy improvement using constraint relaxation, exploration of the possibility of a new library for optimizing the computation of GPU, an appropriate balance point searching between accuracy and various performance factors, and maximization of resource utilization can be obtained. In addition to suggesting several performance improvement methods, this thesis is expected to provide several important insights for the neural network to obtain higher accuracy and performance in future heterogeneous systems.