Access Pattern-Aware Resource Allocation for Performance Improvement of Flash Storage

Abstract

With the growth in storage capacity and the emergence of cloud environments, there has been an increase in (1) the number of applications that can access a storage device simultaneously and (2) the volume of unstructured data written to storage. As the number of data input sources and the volume of data increases, a larger storage device with a faster access speed is required for modern solid-state drives (SSDs). In such environments, hybrid SSDs configured with heterogeneous NANDs for large storage space and fast response speed are suitable storage devices.

However, in these multi-application environments, existing buffer and NAND flash space allocation methods which are based on hot/cold data separation, are unsuitable for the append-only-data-intensive applications such as log-structured merge-tree-based key-value (LSMKV) stores. LSMKV can negatively affect the hit ratio of storage–internal-buffer of hot-data-intensive applications in existing buffer space allocation methods. Furthermore, many hybrid SSDs utilize fast NAND spaces to store data that are frequently allocated to the same logical address. Such NAND flash space allocation methods are unsuitable for storing append-only component data of LSMKV, which are allocated to adjacent logical addresses.

The present dissertation proposes (1) a buffer space isolation method to increase the buffer hit ratio of non-append-only data (or applications) in multi-application environments and (2) a NAND flash space management method for hybrid SSD to reduce the data access latency of append-only LSMKVs and increase the durability. The proposed buffer management method (1) defines large writes (that are not overwritten) and all reads on them as append-only input/output (I/O), (2) detects I/O matching the access pattern of append-only data of LSMKVs, (3) allocates the append-only data requests into small-separated buffer spaces, and (4) evicts the append-only data from the buffer when free buffer space is required. The proposed data placement for hybrid SSDs allocates the data of upper-level components to a fast storage space using the level information of the data as a hint. The experimental results show that the proposed method can, on average, increase the buffer hit ratio of hot-data-intensive applications and the total buffer hit ratio by 31.72% and 20.06%, respectively, and reduces the average I/O latency by an average of 12%, and increases the device durability by an average of 22%.|최근 저장장치의 저장 용량 증가와 클라우드 환경의 등장으로 인해, (1) 하나의 저장장치에 동시에 접근하는 애플리케이션의 수와 (2) 저장장치에 기록되는 비정형 데이터의 양이 증가하고 있다. 많은 수의 빅 데이터 시스템들이 폭발적으로 발생하는 비정형 데이터를 저장 및 관리하기 위해 log-structured merge-tree based key value store (LSMKV)를 사용하고 있다. 이러한 환경에서는 대용량 데이터 저장 공간과 빠른 저장장치 응답 속도가 요구되기 때문에, 이기종 낸드로 구성된 hybrid SSD가 저장장치로 적합하다. Hybrid SSD는 응답 속도가 빠르나 저장 용량이 작은 낸드 플래시(일례로 single level cell, SLC)와, 응답 속도가 느리지만 저장 용량이 큰 낸드 플래시(일례로 triple level cell, TLC)로 구성될 수 있다.

하지만, LSMKV를 포함한 다중 애플리케이션 환경에서, 기존에 제안된 핫/콜드 데이터 구분 기반의 버퍼 및 낸드 플래시 저장장치의 자원 할당 방법은 저장장치-내장-DRAM을 포함하는 hybrid SSD의 응답 속도 및 수명을 개선하는데 적합하지 않다. LSMKV는 쓰기 및 읽기 증폭도(요청된 쓰기 및 읽기량 대비 저장장치에서 수행하는 쓰기 및 읽기량)가 크고, 요청하는 대부분의 데이터가 콜드 데이터이다. 이에 LSMKV 시스템에서는 콜드 데이터 집약적인 데이터 입출력이 다량 요청된다. 기존에 제안된 핫/콜드 데이터 구분 방법들은 (1) 동일한 논리 주소에의 재접근이 잦은 데이터와 (2) 요청 크기가 작은 데이터를 핫 데이터로 구분한다. 그러나, (1) 동일한 논리 주소에의 재접근이 DRAM 버퍼 내에서 적중되기 전에, 핫 데이터가 LSMKV의 콜드 데이터 입출력으로 인해 DRAM 버퍼 내에서 퇴거될 수 있으며, (2) LSMKV는 다양한 크기의 읽기 요청으로 콜드 데이터를 읽어오기 때문에 요청 크기로 핫 데이터를 판별하는 것은 적합하지 않고, (3) LSMKV는 인접한 논리 주소에의 연속적 write 및 read를 다량 요청하기 때문에 동일한 논리 주소에의 재접근 빈도로 핫 데이터를 판별하는 방법은 적합하지 않다. 따라서, 핫/콜드 데이터 구분 기반의 기존의 저장 공간 할당 방법은 LSMKV를 포함한 다중 애플리케이션 환경에서 낮은 성능을 보인다.

본 학위 논문은 (1) LSMKV를 포함한 다중 애플리케이션 환경에서의 버퍼 공간 할당 방법과 (2) LSMKV 단일 동작 환경에서의 hybrid SSD를 위한 낸드 플래시 공간 할당 방법을 제안한다. 본 학위 논문의 버퍼 관리 방법은 LSMKV가 핫 데이터 집약적 애플리케이션의 버퍼 적중률을 낮추는 현상을 완화하기 위해 LSMKV의 입출력 검출하기 위한 mapping table과, LSMKV 데이터를 버퍼에 분리 저장하는 버퍼 관리 방법을 제안한다. 제안된 hybrid SSD를 위한 데이터 배치 방법은 LSMKV의 계층적 자료구조에서 높은 계층의 데이터가 삽입/삭제 가능성이 높음에 기반하여, 확장된 입출력 명령에 포함된 LSMKV의 계층 정보를 관찰하고, 높은 계층의 데이터를 SLC에 할당한다. 제안된 방법에서 SLC에 할당하는 계층은 LSMKV의 계층별 데이터 입력량에 따라 동적으로 조정된다.

본 연구의 실험에는 SSD 내부의 DRAM 버퍼와, hybrid SSD의 낸드 플래시 계층을 모델링한 트레이스 기반 시뮬레이터가 각각 사용되었다. 실험 결과, 본 학위 논문이 제안한 버퍼 관리 방법은 다중 애플리케이션 환경에서 핫-데이터-집약적 애플리케이션의 저장장치 접근 지연 시간을 기존 방법 대비 평균 28.4% 감소시켰다. 제안된 hybrid SSD를 위한 데이터 배치 방법은 LSMKV 단일 동작 환경에서 hybrid SSD의 저장장치 접근 지연 시간을 기존 방법 대비 평균 12% 감소시키고, 저장장치 수명을 평균 22% 증대시켰다.