Flink 기반 스트림 프로세싱 태스크 스케쥴링 최적화 기법

Abstract

분산 데이터 프로세싱 프레임워크의 기본 처리 단위는 태스크이다. 태스크를 클러스터에 적절히 배치함으로서 부하를 분산하여 기존 한 대의 컴퓨터로서 감당할 수 없었던 처리가 가능해졌다. 초기 분산 데이터 처리 패러다임은 배치 프로세싱으로 대용량 데이터를 일정크기의 블록으로 나눠 클러스터에 분-산 저장 하고 이후 이를 한 번에 처리하는 방식이었다. 따라서 데이터 로컬 -리티와 로드 밸런스를 고려한 스케쥴링에 대한 연구가 활발하였다. 그러나 분산 프로세싱 프레임워크 영역에 스트리밍 프로세싱이 부상하면서 기존 배치 프로세싱을 위한 스케쥴링 기법 외에 스트림 처리를 위한 효율적인 스케쥴링 기법의 필요성이 대두되면서 Storm을 기반으로 기본 스케쥴러를 개선하는 연 -구들이 등장하였다. 본 논문은 또 다른 스트림 프로세싱 프레임워크인 Flink를 기반으로 기존 연구의 한계를 보이고 이를 최적화할 수 있는 기법을 제시한다.