정기석
2020-01-29T05:17:35Z
2020-01-29T05:17:35Z
2019-01
2019년도 한국통신학회 동계종합학술발표회 논문집, Page. 1153-1154
http://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE08003732
https://repository.hanyang.ac.kr/handle/20.500.11754/122303
Recurrent neural network은 최근 정확도를 높이기 위하여 네트워크 크기가 커지는 경향을 보여주고 있다. 하지만 큰 네트워크를 양자화 없이 그대로 사용하는 것은 매우 고성능의 연산 능력을 요구하게 된다. 따라서, 본 논문은 로그 양자화와 고정 소수점 변환을 통해서 네트워크의 연산 복잡도를 줄이는 기법을 제안한다. Recurrent neural network 구조의 일종인 gated recurrent unit을 기반한 네트워크에서, 기존의 미리 학습된 가중치를 추가 학습 없이도 로그 양자화 기법을 적용한 후에도 정확도를 유지할 수 있음을 보인다. 실험을 통해 로그 양자화 및 고정소수점 변환 기법은 부동소수점 방식 대비 메모리 사용량이68%로 줄어들고, 표현 bit 수에 따른 정확도 감소는 2.6%로 작다는 것을 보인다.
본 연구는 IDEC 에서 EDA Tool 를 지원받아 수행하였습니다.
ko_KR
한국통신학회
로그 양자화 기법과 고정소수점 변환을 이용한 GRU 네트워크 최적화 방법
Optimizing GRU Networks using Log-quantization and Fixed-point Conversion
Article
1
68
1174-1175
박상기
정기석
Park, Sangki
Chung, Ki-Seok
S
COLLEGE OF ENGINEERING[S]
DEPARTMENT OF ELECTRONIC ENGINEERING
kchung