In-Router Memory를 이용한 콘볼루션 뉴럴 네트워크의 메모리 접근 빈도 감소

Abstract

본 논문의 연구는 GPU에서 실행되는 CNN의 메모리 접근 특성을 분석하고 메모리 효율성을 향상시키는 것이다. GPU는 전역 메모리 접근 효율성을 위해 32 개 스레드의 동일한 명령어를 워프로 통합하는 메모리 병합을 이용하지만, 워프 내의 스레드가 CNN 입력 특징 맵을 읽기 위해 다수의 메모리 블록을 접근하기 때문에 메모리 접근 효율성이 저하된다. 본 논문에서는 프로세서와 메모리컨트롤러를 상호 연결하는 온칩 네트워크의 라우터에 IRM을 적용함으로써 CNN의 전역 메모리 접근를 줄이고자 했다. CNN의 계층 간 데이터 재사용 특성을 이용하여 이전 층에서 각 프로세서가 생성한 출력 특성 맵이 로컬 라우터의 IRM에 저장하한 후 입력 특성 맵을 읽기 위한 패킷이 라우터의 IRM에 접근할 때 읽기 적중이 발생할 수 있다. 본 논문에서는 GPGPU-sim 시뮬레이션을 통해 전역 메모리 접근 정보를 추출하고 C 언어로 모델링 된 온칩 네트워크에 적용한다. 실험 결과에 따르면 4x4 메시 토폴로지의 온 칩 네트워크에서 IRM를 적용하여 전체 메모리 접근을 최대 23%로 감소시켰다.