CUDA를 이용한 분산파일정렬 시스템의 성능개선

Abstract

빅데이터 시대의 도래로 방대한 데이터 중 가치 있는 데이터를 적재 적소에서 찾기 위해서는 정렬이 필수이다. 최근 구글에서 발표한 맵리듀스 프레임워크를 사용해 빅데이터를 분산 처리하여 데이터를 셔플링과 개더링한다. 하지만 개인용 컴퓨터에서는 이러한 분산 시스템을 구축하기 힘들기 때문에 맵리듀스를 사용하여 정렬 처리를 하기 힘들다. 그리고 대용량 텍스트가 메모리에 로드되지도 않는다. 그러므로 본 논문에서는 분산 파일 정렬 시스템을 제안한다. 분산된 파일은 텍스트가 줄어 들기 때문에 메모리에 적재할 수 있다. 분산 파일 정렬 시스템에서는 정렬 알고리즘 중 성능이 가장 뛰어난 것으로 알려져 있는 퀵 정렬을 사용하였다. 그리고 분산된 정렬의 성능을 향상시키기 위하여 병렬처리가 가능한 GPU 가속 컴퓨팅을 사용하였다. NVIDIA사에서는 GPU 가속 컴퓨팅을 위해 CUDA를 제공해 준다. 분산 파일 정렬 시스템의 정렬을 구현할 때 CUDA를 사용하여 성능을 향상하였다. 일반적인 정렬에 비해 CUDA를 사용해 병렬처리를 했을 때 성능이 향상 되었다. 이를 분산 파일 정렬 시스템에 적용 하였을 때 100KB, 500KB, 1MB에서는 약 1% ~ 2%의 성능이 향상 되었고, 5MB, 10MB 에서는 3% ~ 4%의 성능이 향상되었다. 텍스트의 용량이 증가하면서 성능은 점점 향상되었다. 대용량인 50MB, 100MB에서는 약 8%의 성능이 향상, 1GB에서는 무려 34%의 성능 향상이 있었다. 분산 파일 CUDA 정렬 시스템이 분산 파일 정렬 시스템에 비해 대용량에서 성능이 월등해 짐을 알 수 있다.