Flink 스트리밍 프레임워크를 위한 토폴로지 설계 툴

Abstract

국 문 요 지

대용량 데이터 프로세싱 프레임워크중 하나인 Flink는 source에서 sink까지의 과정으로 데이터가 처리된다. 스트리밍 어플리케이션에서 사용자는 토폴로지의 도움으로 이 과정을 효과적으로 처리할 수 있는데, 이를 위하여는 토폴로지를 작성하는 방법을 알아야 한다. 이러한 이유로, 그동안 데이터 프로세싱 프레임워크 및 토폴로지에 대한 연구가 활발하였으며, 그 외에도 각종 개선을 위한 연구들이 많이 등장하였다. 그러나 토폴로지 개발자가 응용 프로그램을 구현하기 위해서는 프레임워크의 low-level details를 이해하여야 하는데, 이것은 프로그래머에게 많은 시간과 노력을 요구하며, 또한 data scientist 나 컴퓨터 프로그래밍 비전문가의 접근을 더욱 어렵게 한다. 따라서, 토폴로지 작성을 위해선 Flink 프로그래머의 도움을 거쳐야만 하게 되었다. 본 논문은 이러한 문제점에 해결책을 제시하기 위해, 스트림 프로세싱 프레임워크인 Flink를 실행하기 위한 토폴로지를 design tool로 쉽게 생성하는 연구를 수행하였다. 본 시스템은 Flink의 데이터가 처리되는 스트림을 UI로 나타내어 현재 작성하고 있는 부분을 쉽게 구분이 가능하게 만들었고 각 부분을 코드 작성이 아닌 버튼 클릭과 간단한 변수 입력만으로 필요로 하는 토폴로지를 작성할 수 있게 하여 비 전문가의 접근성을 높였다. 간단한 조작으로 완성된 토폴로지는 텍스트로 출력되어 토폴로지 소스코드를 확인 가능하며, 필요한 부분을 바로 수정하거나 활용할 수 있게 설계하여 활용할 수 있게 하였다. 평가 방법으론 직접 수작업으로 작성한 토폴로지와 본 시스템인 토폴로지 설계 툴로 생성한 토폴로지를 비교하였으며 각 토폴로지를 동일한 조건으로 수회 실행하여 시스템을 수행시간 및 편의성 등으로 평가하였다.