효율적인 컨볼루션 신경망을 위한 커널 희소화를 활용한 컨볼루션 층 압축방법

Abstract

영상인식, 음성인식, 자연어 처리 등 우리 일상 생활과 밀접한 영향을 주는 기술들이 딥러닝 기반 알고리즘을 바탕으로 혁신적인 성능 향상을 이뤄내고 있다. 하지만, 고성능 컴퓨팅 성능을 가진 하드웨어나 클라우드의 도움을 받아야하는 경우가 대부분이다. 클라우드의 도움을 받더라도 독립적으로 데이터를 처리하지 않는다면 개인 정보의 유출 등 보안 문제가 발생할 수 있다.

고성능 하드웨어를 사용할 수 없는 환경에서는 딥러닝 기반 알고리즘의 사용이 제한적일 수밖에 없다. 만일, 저 사양 컴퓨팅 성능을 가지며 클라우드에 의존하지 않고 독립적으로 운용할 수 있는 임베디드 디바이스에서 사용할 수 있는 딥러닝 기반 알고리즘이 개발되면 일상공간에서 좀 더 다양한 분야에 적용될 수 있다. 생활 가전, 웨어러블 디바이스, 헬스 케어 디바이스 등 응용 분야는 무궁무진하다 할 수 있다. 이를 위해 인터넷 사용을 최소화하고 임베디드 디바이스에서도 운용할 수 있는 새로운 딥러닝 알고리즘이 필요하다. 딥러닝 알고리즘의 크기를 최소화하면서 좋은 성능을 낼 수 있는 알고리즘을 개발하거나 기존의 잘 설계되어 좋은 성능을 보이는 검증된 모델인데 고사양의 컴퓨팅 성능이 필요한 알고리즘을 압축하는 알고리즘을 개발한다면 임베디드 디바이스에도 사용 할 수 있게 된다.

본 논문에서는 고성능 Convolutional Neural Networks(CNN) 기반 딥러닝 알고리즘을 압축하는 알고리즘에 대해 논의하고자 한다. 고성능 컴퓨터 시스템을 필요로 하는 CNN 기반 모델을 하드웨어 리소스가 제한된 임베디드 시스템 환경이나 추론속도가 중요한 환경에서 사용할 수 있도록 신경망의 크기를 줄이고, 추론속도를 향상시키는 컨볼루션 층에 대한 2단계 압축방법을 제안한다. CNN을 기반으로 하는 고해상도 영상복원 분야 알고리즘인 Enhanced Deep Super Resolution(EDSR)를 대상으로 실험을 진행했으며, 실험 결과 기본 모델인 EDSR을 압축한 모델이 성능 열화가 거의 없으면서 영상 복원 추론 속도가 4배 정도 빠르며 모델 크기를 86.8% 줄일 수 있음을 확인했다.