An Empirical Study on The Performance of SSD-based RAID

Abstract

As the use of cloud applications and other storage dependent services expand, the need for faster I/O processing power is also increasing; however, it is difficult to expect from a RAID system with mechanically limited HDDs. Recent advancement in SSD technology has elevated SSDs’ position in the market because the technology not only brought significant increase in SSDs’ random I/O throughput which is more than three times faster than that of HDDs, but also dropped $/GB of SSDs noticeably. SSDs provide superior bandwidth and throughput performance to HDDs which led to much research effort in applying SSDs in the RAID system; however, most of the works are focused on hardware configuration and matching right stripe size and RAID types with different workloads including choice of SSDs and HDDs. There is no objection in saying that H/W configuration in I/O hierarchy has high priority, but we believe that S/W layer also has an important role in RAID performance. I have compared five filesystems under the categories of In-place update, Copy-On-Write, and Log-structure filesystem. The result of my experiment shows that F2FS on RAID 0 and RAID 5 with eight SSDs outperforms EXT4 by 5 times and 50 times, respectively. To analyze the cause of this phenomenon, I analyzed the block trace first. And I find that all random write requests of F2FS are treated as sequential write operations. Also, disk I/O size of F2FS is larger than workload's request size, and then I/O count of F2FS is 50 times lower than EXT4. In addition, I was confirmed that the ratio of I/O latency and I/O size of F2FS is 6,000 times higher than EXT4. Such a phenomenon, I reasoned that it is the cause of the improvement of performance. But F2FS shows low sequential direct write performance, and I find the reason and solution of it. I also make a case that RAID controller can be a significant bottleneck in forming RAID with high speed SSDs. To prove it, I use three different RAID controller and organize I/O performance. And finally, I change the environment of experiment. I use server environment and software RAID configuration.|안정성과 빠른 응답성에 대한 요구사항이 높은 서비스가 확산됨에 따라 보다 빠른 응답성과 처리 속도를 갖는 대안이 필요하다. 이전의 서버 환경에서는 이러한 요구사항을 충족시키기 위하여 여러개의 단일 저장 장치를 묶어 하나의 가상 저장 장치로 사용하는 RAID (Redundant Array of Inexpensive Disk)를 사용하였다. 하지만 기계적 장치인 하드디스크 기반 RAID의 성능 향상을 더이상 기대하기는 어렵다. 저전력과 빠른 I/O 성능을 특징으로 하는 저장장치인 SSD (Solid State Drive)는 하드디스크를 대체하여 컴퓨터의 I/O 성능의 병목을 제거할 장치로 각광 받고 있다. 만약 SSD를 사용하여 RAID를 구성하게 될 경우 하드디스크 기반 RAID보다 수 배 빠른 I/O 성능을 보여 줄 것이고, 실질적인 성능 차이는 더 크게 사용자에게 전달될 것이다. 최근 진행된 SSD 기반 RAID의 연구들을 보면 stripe size, RAID 설정 방법 등 RAID 구성 방법에 따른 성능 분석이 있었지만, RAID 구성에 대한 소프트웨어 계층의 영향에 대한 적절한 분석은 없었다. 본 논문에서는 파일시스템이 SSD 기반 RAID의 성능에 큰 영향을 줄 것이라 판단하고, 총 5개의 파일시스템 (저널링 파일시스템 : EXT4, XFS, Copy-On-Write 파일시스템 : BTRFS, Log-structured 파일시스템 : NILFS2, F2FS)을 사용하여 RAID 성능 변화를 측정하였다. 측정 결과 Log-structured 파일시스템인 F2FS가 SSD 기반 RAID에서 높은 임의 쓰기 성능을 보여주었다. 그 수치는 EXT4 대비 RAID 0와 RAID 5에서 각각 5배, 50배 높았다. 이러한 원인을 분석하기 위해 EXT4와 F2FS의 쓰기 패턴, I/O 횟수, I/O 크기, I/O latency 등을 분석하여 비교하였다. F2FS는 높은 임의 쓰기 성능을 보여주었으나, direct I/O를 사용하였을 때 낮은 순차 쓰기 성능을 보여주었다. 이러한 원인을 분석하기 위해 F2FS의 direct I/O 동작을 확인하여 성능이 낮은 원인을 파악하였다. 그리고 개선된 direct I/O 동작을 사용하여 추가 실험을 통하여 문제가 해결되었음을 확인하였다. 또한 여러 종류의 RAID 컨트롤러를 사용하여 성능 측정을 진행하였고, 이를 통하여 RAID 컨트롤러가 SSD 기반 RAID의 병목점이 될 수 있음을 확인하였다. 마지막으로 서버 환경에서의 SSD 기반 RAID 성능을 확인하기 위해 PC 환경과 서버 환경에서의 성능 비교, 하드웨어 RAID와 소프트웨어 RAID의 성능 비교, 마지막으로 VM 모니터 (KVM)에서의 성능 측정 및 분석을 진행하였다.; however, most of the works are focused on hardware configuration and matching right stripe size and RAID types with different workloads including choice of SSDs and HDDs. There is no objection in saying that H/W configuration in I/O hierarchy has high priority, but we believe that S/W layer also has an important role in RAID performance. I have compared five filesystems under the categories of In-place update, Copy-On-Write, and Log-structure filesystem. The result of my experiment shows that F2FS on RAID 0 and RAID 5 with eight SSDs outperforms EXT4 by 5 times and 50 times, respectively. To analyze the cause of this phenomenon, I analyzed the block trace first. And I find that all random write requests of F2FS are treated as sequential write operations. Also, disk I/O size of F2FS is larger than workload's request size, and then I/O count of F2FS is 50 times lower than EXT4. In addition, I was confirmed that the ratio of I/O latency and I/O size of F2FS is 6,000 times higher than EXT4. Such a phenomenon, I reasoned that it is the cause of the improvement of performance. But F2FS shows low sequential direct write performance, and I find the reason and solution of it. I also make a case that RAID controller can be a significant bottleneck in forming RAID with high speed SSDs. To prove it, I use three different RAID controller and organize I/O performance. And finally, I change the environment of experiment. I use server environment and software RAID configuration.