In-Memory Caching with Retention-Aware Refresh for Low Latency DRAM Architecture

Abstract

DRAM process scaling down and the novel DRAM design have enabled DRAM manufacturers to obtain a commodity DRAMs with high capacity and high bandwidth as a main memory. On the other hand, the latency has remained almost constant, and it often becomes a performance bottleneck in modern computing systems. DRAM is required to periodically carry out a refresh operation that recharges the capacitor to maintain data integrity, and the refresh operation incurs the system performance degradation and power consumption, and the refresh operation incurs the system performance degradation and the energy dissipation. As the DRAM density increases, the performance loss and power consumption increase.

In this dissertation, we have studied a DRAM-based memory architecture with a novel DRAM structure and a refresh schemes for improving a performance and energy efficiency. The main objectives of this dissertation are including a CAB-DRAM architecture and retention-aware self-selective auto-refresh for DRAM-based memory system.

CAB-DRAM is a novel DRAM architecture that can reduce DRAM latency without reducing the bitline length. CAB-DRAM can decouple Cached Row Buffer, which has extra DRAM cells, from a memory array using an isolation transistor. Several regular rows can be cached in CR buffer, and cached row in CR Buffer can be accessed quickly by short bitline. Also, cached rows of CAB-DRAM have a dedicated row decoder, so that cached rows can be accessed even during a refresh operation. The proposed DRAM improves the average system throughput by 24.0% and reduces the energy per access by 24.7% over conventional DRAM.

RASAR is a novel refresh scheme to reduce the refresh overhead with low scheduling burden on the memory controller. In RASAR, auto-refresh is improved in such a way that strong row (high retention time) refresh and weak row (low retention time) refresh are combined into a single refresh operation that is carried out by the DRAM device itself. To refresh a weak row, RASAR stores the address of weak rows in the extra DRAM cells of strong rows and prefetches the address while refreshing the strong row. Even if the portion of weak rows in a DRAM device increases by up to 25%, RASAR can carry out the refresh operation at the same refresh interval. Experimental results show that RASAR improves system performance and reduces average DRAM energy consumption without increasing the scheduling overhead on the memory controller when compared to auto-refresh.

The utilization and improvement of the conventional DRAM are described in this dissertation such as CAB-DRAM and Retention-Aware Self-Selective Auto-Refresh. All research works can contribute to the study of a DRAM-based main memory system.

|본 학위 논문에서는 DRAM의 응답속도를 향상시키고 소비전력을 줄이기 위해 DRAM의 뱅크 구조 및 DRAM의 리프레시 기법에 대한 연구를 진행하였다. 본 논문의 주 목표는 비용에 민감한 특성에 따라 DRAM의 면적 오버헤드를 최소화하면서 DRAM의 응답속도를 향상하기 위한 DRAM 뱅크의 행버퍼를 제안하고, DRAM의 리프레시 동작으로 인한 소비 전력 및 성능 저하를 줄이기 위해 DRAM 셀의 데이터 저장기간이 서로 다르다는 점을 이용한 새로운 리프레시 기법을 제안함으로써 메인 메모리로써 DRAM의 응답속도와 전력 효율성을 높였다.

본 논문에서는 첫 번째로 DRAM의 응답속도와 전력 효율성을 향상시킬 수 있는 Cached Row Buffer DRAM (CAB-DRAM) 구조를 제안하였다. DRAM의 낮은 응답속도의 원인은 DRAM의 행 버퍼에 연결된 긴 비트라인의로써 비트라인에는 수 많은 DRAM 셀이 연결되어 있다. 하지만 비트라인이 연결된 행 버퍼의 큰 면적으로 인해 DRAM의 응답속도를 높이고자 비트라인 길이를 줄이 수 없다. 본 논문에서 제안하고 있는 CAB-DRAM은 이 비트라인 길이를 줄이지 않고, DRAM cell을 가지면서 비트라인과 분리 가능한 DRAM의 행 버퍼 (캐시 버퍼)를 포함한다. 캐시 버퍼는 비트라인과 분리되어 짧은 비트라인으로 동작함으로써 응답속도를 향상시켰다. 즉, 분리 전, 긴 비트라인의 데이터를 짧은 비트라인을 갖는 캐시 버퍼에 캐싱하고, 긴 비트라인과 분리된 캐시 버퍼의 데이터는 빠르게 접속 가능하다. 또한, 캐시 버퍼는 긴 비트라인과 서로 다른 행 디코더를 갖고 있어 리프레시 동장 중에도 캐시 버퍼는 접속 가능하다. CAB-DRAM은 캐시 버퍼의 빠른 접속 속도 및 리프레시 과정과 병렬로 접속 가능한 점을 이용해 5.03% 면적 오버헤드로 시스템 성능을 24.0% 향상과 접속 당 에너지를 24.7% 줄일 수 있는 것을 확인하였다.

두 번째로, 본 논문에서는 DRAM의 리프레시 동작으로 인한 성능 저하 및 전력 소비를 줄이기 위한 Retention-Aware Self-Selective Auto-Refresh (RASAR)를 제안하였다. DRAM 셀의 데이터 저장 시간의 다양성을 이용한 기존 리프레시 기법들은 데이터 저장 시간이 짧은 셀 (약한 셀)의 비중이 높을수록 메모리 컨트롤러에서 리프레시 명령어를 자주 보내면서 메모리 컨트롤러의 복잡도 뿐 만 아니라 리프레시 기법의 성능 저하가 크게 발생한다. RASAR는 이러한 문제를 해결하고자 약한 행과 강한 행을 하나의 리프레시 명령어로 수행함으로 써, 약한 셀의 비중이 증가하더라도 리프레시 명령어 주기를 줄이지 않고 리프레시 동작이 가능하다. RASAR는 약한 행의 주소를 강한 행의 추가 DRAM 셀에 저장하고, 강한 행을 리프레시하면서 약한 행의 주소를 얻고 순차적으로 악한 행을 리프레시한다. RASAR는 오직 0.32% 면적 오버헤드로 6.6% 시스템 성능 향상, 73.9% 리프레시 전력 감소 및 27.2% 접속 당 에너지 감소하는 결과를 얻었다.

본 연구는 DRAM의 응답속도 및 에너지 효율성 향상을 위해 CAB-DRAM과 RASAR를 제안하였다. 본 연구는 DRAM 기반 메인 메모리 시스템의 낮은 응답 속도 향상뿐만 아니라 리프레시 오버헤드 감소에 기여하였으며, Hybrid Memory Cube (HMC) 나 High-Bandwidth Memory (HBM)와 같은 메모리 시스템에서 적용 가능할 것으로 예상되고 있어 기존 메모리 시스템뿐만 아니라 차세대 메모리 시스템의 응답 속도 및 에너지 효율성 향상에 기여할 수 있다.; DRAM process scaling down and the novel DRAM design have enabled DRAM manufacturers to obtain a commodity DRAMs with high capacity and high bandwidth as a main memory. On the other hand, the latency has remained almost constant, and it often becomes a performance bottleneck in modern computing systems. DRAM is required to periodically carry out a refresh operation that recharges the capacitor to maintain data integrity, and the refresh operation incurs the system performance degradation and power consumption, and the refresh operation incurs the system performance degradation and the energy dissipation. As the DRAM density increases, the performance loss and power consumption increase.

In this dissertation, we have studied a DRAM-based memory architecture with a novel DRAM structure and a refresh schemes for improving a performance and energy efficiency. The main objectives of this dissertation are including a CAB-DRAM architecture and retention-aware self-selective auto-refresh for DRAM-based memory system.

CAB-DRAM is a novel DRAM architecture that can reduce DRAM latency without reducing the bitline length. CAB-DRAM can decouple Cached Row Buffer, which has extra DRAM cells, from a memory array using an isolation transistor. Several regular rows can be cached in CR buffer, and cached row in CR Buffer can be accessed quickly by short bitline. Also, cached rows of CAB-DRAM have a dedicated row decoder, so that cached rows can be accessed even during a refresh operation. The proposed DRAM improves the average system throughput by 24.0% and reduces the energy per access by 24.7% over conventional DRAM.

RASAR is a novel refresh scheme to reduce the refresh overhead with low scheduling burden on the memory controller. In RASAR, auto-refresh is improved in such a way that strong row (high retention time) refresh and weak row (low retention time) refresh are combined into a single refresh operation that is carried out by the DRAM device itself. To refresh a weak row, RASAR stores the address of weak rows in the extra DRAM cells of strong rows and prefetches the address while refreshing the strong row. Even if the portion of weak rows in a DRAM device increases by up to 25%, RASAR can carry out the refresh operation at the same refresh interval. Experimental results show that RASAR improves system performance and reduces average DRAM energy consumption without increasing the scheduling overhead on the memory controller when compared to auto-refresh.

The utilization and improvement of the conventional DRAM are described in this dissertation such as CAB-DRAM and Retention-Aware Self-Selective Auto-Refresh. All research works can contribute to the study of a DRAM-based main memory system.