레이어 병합 최적화를 통한 온칩 딥러닝 가속기 자동화 설계 프레임워크

Abstract

기존 신호처리 기반 영상처리보다 뛰어난 성능을 얻기 위하여 딥러닝 기반 영상처리를 사용하면서, 이를 효율적으로 수행하기 위해 센서 자체에서 처리하고자 한다. 하지만 딥러닝 기반 영상처리는 Convolutional Neural Network를 사용하여 많은 계산을 요구한다. 또한 온 칩 환경은 하드웨어 자원이 매우 한정되어 있다. 그러므로 칩 위에 딥러닝 모델을 담기 위해서 하드웨어 자원을 최소화해야 한다. 하드웨어 자원은 크게 MAC 유닛과 Line Buffer에 의해 결정되며, 이는 Layer Fusion(레이어 병합)에 따라 달라진다. 본 논문에서는 주어진 모델 구조를 바탕으로 가능한 Layer Fusion Configuration을 모두 탐색하여 그 중 하드웨어 자원을 최소로 사용하는 Configuration을 찾는 Search Simulator를 제시한다. 또한 해당 Configuration을 통해 자동으로 하드웨어를 설계하는 Automated Framework를 제안한다. 제안하는 Search Simulator는 수십에서 수천 개의 모든 Layer Fusion Configuration에 따른 하드웨어 자원과 지연 시간을 소프트웨어로 계산하여 수 초 안에 최적의 구조를 찾는다. 또한 온 센서의 수직 방향의 데이터 재사용이 어려운 특성을 고려하여, 수평 방향의 데이터 재사용을 최대화하도록 스트리밍 구조를 활용하여 데이터를 효과적으로 처리하는 가속기 구조를 제안한다. 제안하는 Simulator로 임의의 모델에 대한 최적의 Layer Fusion Configuration을 찾은 결과, Layer Fusion을 적용하지 않은 구조보다 약 35\%, 최대로 적용한 구조보다 약 44\% 정도 하드웨어 자원을 감소할 수 있었다. 또한 Xilinx Virtex UltraScale+ 기반의 FPGA VCU118 Evaluation Kit에 데모 버전을 업로드하였을 때, 테스트 벤치와 같은 결과를 얻으며 하드웨어가 자동으로 설계되는 것을 확인하였다.