SSD 내에서의 데이터 관리 및 분석

Abstract

최근, 인터넷 비즈니스의 증가, 이메일의 보편화, 스마트 단말의 보급, 다양한 소셜 네트워크 서비스들의 등장으로 인해, 생성되는 데이터양이 폭발적으로 증가하고 있다. 이러한 대용량의 빅 데이터를 효율적으로 다루기 위해 높은 I/O 대역폭, 낮은 access latency, 저전력 등의 특성을 가진 solid state disk (SSD)가 하드 디스크를 대체하는 차세대 저장장치로 각광받고 있다. SSD의 등장은 대용량 데이터 관리와 분석을 위한 데이터베이스와 데이터 마이닝 기술들에 새로운 도전 과제들을 야기한다. 특히, 본 학위 논문에서는 SSD 내에서의 데이터 관리 및 분석 방안에 대해 다룬다. 첫 번째로 플래시 메모리 환경을 위한 새로운 레코드 관리 방법을 제안한다. 먼저, 플래시 메모리의 특성이 클러스터링 방법과 논 클러스터링 방법에 미치는 영향을 분석한다. 이를 통해 디스크 환경과는 달리 플래시 메모리 환경에서는 논 클러스터링 방법이 더 적합하다는 것을 보인다. 더 나아가, 논 클러스터링 방법을 플래시 메모리 환경에 그대로 적용했을 때 발생하는 문제점에 대해 분석하고, 이를 바탕으로 플래시 메모리 환경을 위한 효율적인 레코드 관리 방법을 제안한다. 제안하는 방법은 논 클러스터링 방법에 기반을 두고 있으며, 삽입되는 레코드들을 동일한 페이지에 단 한 번의 쓰기 연산으로 저장할 수 있게 한다. 본 학위 논문에서는 이러한 레코드 관리 기법을 그룹쓰기라 부른다. 또한, 그룹쓰기를 효과적으로 지원하기 위한 그룹쓰기를 위한 전용 버퍼와 빈 공간이 존재하는 페이지들을 관리하는 메인 메모리 리스트를 제안한다. 끝으로 본 학위 논문에서는 제안된 기법의 성능 개선 효과를 정량적으로 검증하기 위하여 다양한 실험을 수행한다. 두 번째로 플래시 메모리 환경을 위한 컨테이너 구조를 제안한다. 먼저, 플래시 메모리 환경이 기존의 슬롯 페이지 기반 레코드 관리 방법에 미치는 영향을 분석하고, 기존의 슬롯 페이지 구조를 그대로 플래시 메모리에 적용하였을 때의 문제점을 지적한다. 이를 기반으로 플래시 메모리 환경을 위한 효율적인 레코드 관리 구조인 컨테이너 구조를 제안한다. 더 나아가, 컨테이너 구조를 기반으로 하는 효율적인 레코드 관리 방법을 제안한다. 제안하는 방법은 컨테이너 구조를 이용하여 레코드 삽입, 삭제, 수정 연산을 수행함으로써 덮어쓰기 연산을 효율적으로 수행할 수 있으며, 이로 인해 소거 연산을 크게 줄일 수 있다. 세 번째로 대용량의 데이터 마이닝을 위한 지능형 SSD를 소개한다. 먼저, 내부에서 데이터를 효율적으로 처리하기 위해 지능형 SSD가 가져야 할 구조적 특징에 대해 논의하고, 이를 통해, 데이터 마이닝 알고리즘들의 지능형 SSD에서의 수행 적합성을 보인다. 더 나아가, 지능형 SSD에서 데이터 마이닝 알고리즘들을 효율적으로 수행하기 위한 전략들을 제안하고, 지능형 SSD 내에서 데이터 마이닝 알고리즘들을 수행할 때 공통적으로 나타나는 요소 비용들을 분석한다. 끝으로, 비용 모델 수립을 통해 지능형 SSD를 위한 데이터 마이닝 알고리즘들의 효용성을 보인다. 네 번째로 지능형 SSD 내에서 외부 정렬을 효율적으로 수행하기 위한 방안을 제안한다. 먼저, 런 파일 병합을 위한 divide and conquer 전략을 도입한 기본 방안을 제안한다. 더 나아가, 기본 전략의 문제점을 분석하고, 이를 해결하는 발전된 방안을 제안한다. 끝으로, 비용 모델 수립을 통해 ISSD를 위한 데이터 마이닝 알고리즘들의 효용성을 보인다.