A Study on the Circuit Implementation of Neural Networks based on Phase-Change Memory

Abstract

기술이 발전함에 따라 컴퓨터의 처리 속도가 점점 빨라지고 있다. 그러나 메모리의 접근속도가 CPU의 데이터 처리속도를 따라가지 못하기 때문에 메모리와 CPU 공간성 분리한 일반적 구조인 Von Neumann 아키텍처는 병목현상을 초래한다. 이를 해결하기 위해, 인공 신경 네트워크의 병렬 작동 메커니즘, 그리고 데이터 처리와 데이터 저장의 공간적인 일체화된 아키텍처므로서 인공 신경 네트워크는 대규모 데이터를 빠르게 처리할 수 있다. 고도의 집적 특성과 우수한 시냅스 유사성이 있기 때문에 뛰어난 비휘발성 메모리 소자가 등장하면서 연구자들은 비휘발성 메모리 소자를 시냅스로 이용하여 신경 네트워크 구축하는 데 주력하기 시작했다. 그 우수한 특성 때문에 나는 PCM 소자의 연구를 더 선호한다. 본연구에서 나는 PCM 소자를 기반으로 신경 네트워크를 구축하고 이를 패턴 인식, 패턴 재건, 특징 추출과 같은 몇몇 화상처리 임무에 적용했다. 나는 ANN과 SNN으로 감독식 학습과 비감독식 학습의 임무를 각각 수행했다. ANN에서는 하드웨어를 이용하여 backpropagation 알고리즘을 구현할 때 종종 복잡한 회로 설계가 필요하다. 회로를 간소화하기 위해 나는 2-PCM 뉴런이라는 새로운 뉴런 회로를 설계했다. 이 뉴런 회로에는 두 개의 PCM 소자가 포함되어 있으며 각각 정방향 전파 신호와 역방향 전파 신호를 저장하는 데 사용된다. 그 결과로서, 신경 네트워크는 추가적인 메모리 셀을 필요하지 않으며, 또한 신경 네트워크의 회로 복잡성이 크게 삼소했다. SNN을 이용한 화상처리에서 나는 약한 신호에 의한 실패한 사건, PCM 소자 고유의 비대칭성을 화상처리에 불리한 요소들을 발견했다. 약한 신호를 보상하고 실패한 사건을 방지하기 위해 나는 더미 셀 추가된 신경 네트워크를 설계했다. 이 더미 셀은 약한 신호에 대해 보상하는 점증적인 보상 신호를 제공하는 반면, 강한 신호에는 거의 영향을 미치지 않는다. PCM 소자의 비대칭성이 신경 네트워크에 미치는 영향을 줄이기 위해 나는 대체 펄스 방식을 제안했다. 이러한 대안을 이용하면 LTP와 LTD 조작 횟수를 제어함으로써 비대칭성이 신경 네트워크에서 미치는 영향을 낮출 수 있다. 또한 불필요한 RESET 조작을 일부 줄였기 때문에 신경 네트워크에서의 에너지 소모를 낮출 수 있었다. 위의 세 가지 기술은 회로 구현 신경 네트워크의 연구에서 그 타당성을 최적화했다. 신경 네트워크를 이용한 화상 처리의 임무에서 일부 문제를 해결했다. 이 기술들은 신경 네트워크의 추가적인 연구에 기여한다.; With the development of science and technology, computers run faster and faster. However, as the memory access speed could not keep up with the CPU data processing speed, the traditional Von Neumann architecture, in which memory and CPU are spatial split, limited further improvements in computer speed. As an alternative, its parallel operation mechanism and its spatially integrated architecture of data processing and data storage enable the artificial neural network (ANN) to process large-scale data more quickly, especially data from the real world, such as visual signals, auditory signals and so on. With the emergence of novel non-volatile memory (NVM) devices, researchers are beginning to focus on building neural networks using NVM devices as synapses, due to NVM devices have high integration characteristics and excellent synaptic similarity. I prefer the study of PCM devices based on its excellent characteristics, such as high access speed (both reading and writing), long time endurance, intermediate resistance, CMOS compatibility, synaptic similarity, and so on. In this study, I built a neural network based on PCM devices and used it to realize some image processing tasks. I used ANN and SNN for supervised learning and unsupervised learning tasks, respectively. In ANN, a lot of complex circuit design is often required when the backpropagation algorithm is implemented with hardware. To simplify the circuit, I designed a novel neuron circuit called 2-PCM neuron. This neuron circuit contains two PCM devices, which are used to store forward propagation signal and backpropagation signal. As a result, neural networks no longer require additional storage units, and their circuit complexity is greatly reduced. In the process of image processing with SNN, I found some adverse factors for image processing, such as failed events caused by weak signal and inherent asymmetry of PCM devices. In order to compensate for weak signals and prevent failed events, a dummy cell added neural network was designed. The dummy cell provides an increasing compensation signal to compensate weak signals, while the effect on cross-strength signals is small enough to be ignored. In order to reduce the influence of asymmetry of PCM devices, I proposed the alternate pulse scheme. This scheme reduces the influence of asymmetry in the neural network by controlling the number of LTP and LTD operations. Besides, the energy consumption in the neural network can also be reduced with this scheme due to the reduction of some unnecessary RESET operations. The feasibility of the neural network is optimized through the above three techniques. And some problems are solved in the task of image processing with neural networks. It is meaningful for the future work related to the circuit implementation of neural networks.