오픈스택 스위프트에서 공간 효율성 및 다운로드 성능의 향상을 위한 정책변경기법 개발

Abstract

오브젝트 스토리지는 데이터를 저장할 때 실제 데이터, 식별 가능한 ID, 메타데이터로 이루어진 객체 단위로 저장하며 이를 통해 글, 사진, 동영상과 같은 비정형 데이터를 저장 및 관리하는 기능을 한다. 대부분의 오브젝트 스토리지는 데이터의 저장 시 가용성과 신뢰성을 위해 replication 정책과 erasure code 정책 같은 저장 정책을 제공한다. 두 정책은 데이터를 저장 및 처리할 때 데이터의 크기에 따라 서로 상반된 특성을 지닌다. replication 정책은 데이터 저장 시 다수의 replica를 저장하기 때문에 데이터 처리 및 관리가 단순하다. 하지만 저장하는 데이터의 크기가 커질수록 추가적으로 저장되는 replica때문에 시스템의 공간 효율성이 저하되고, 데이터 처리 시 디스크 I/O에 제한을 받기 때문에 다운로드 성능이 저하된다. 반면에 erasure code 정책은 데이터를 저장할 때 원본 데이터를 분할하여 저장하기 때문에 데이터 크기가 큰 경우에 상대적으로 공간 효율성이 향상된다. 또한 데이터를 분산 처리하기 때문에 데이터를 다운로드할 때 성능적인 이점도 존재한다. 하지만 처리하는 데이터의 크기가 작은 경우는 추가적인 컴퓨팅 오버헤드와 다수의 노드와의 통신으로 발생하는 네트워크 지연시간으로 인해 다운로드 성능이 저하된다. 본 논문에서는 replication 기반의 오픈스택 스위프트 시스템의 공간 효율성 및 다운로드 성능을 향상시키기 위해 replication 정책으로 저장된 데이터 중 일부의 정책을 erasure code 정책으로 변경시켜주는 기능을 개발했다. 정책을 변경시키는 동작은 사용자의 개입 없이 시스템 내부적으로 진행되며 이를 통해 시스템은 두 정책의 장점을 모두 갖게 된다. 이를 위해 먼저 데이터 크기에 따른 두 정책의 비교 및 분석을 진행했다. 그리고 분석의 결과를 통해 정책 변경의 기준 데이터 크기를 얻기 위한 수학적 모델링을 진행했고 모델링 결과를 반영하여 정책을 변경시켜주는 기능을 오픈스택 스위프트에 구현했다. 그 후 실험을 통해 시스템의 공간 효율성이 53% 향상됨을 확인하였고 다운로드 성능도 최대 1.36배까지 향상됨을 확인했다.