AWS Lambda를 이용한 스트림 기반 데이터 변환방식

Abstract

Amazon Web Services는 2014년에 이벤트 기반의 서버리스 컴퓨팅 서비스 환경으로 Lambda를 소개하였다. 이 플랫폼을 사용하면, 개발자들이 어떠한 사용 가능 서버에서라도 밀리초 단위의 응답속도로 실행 가능한 코드를 빠르게 생성 할 수 있으므로 뛰어난 확장성을 제공한다. AWS Lambda의 가격 모델은 계산 시간과 메모리 할당을 기반으로 하고 있기 때문에 Lambda 함수에 더많은 자원을 할당 하게 된다면 비용이 증가한다. 그렇기 때문에 Lambda 함수에 맞는 메모리의 양을 선택 하는 것이 비용 최소화 하는데에 아주 중요하다. 이 플랫폼을 사용하면, 개발자들이 어떠한 사용 가능 서버에서라도 밀리초 단위의 응답속도로 실행 가능한 코드를 빠르게 생성 할 수 있으므로 뛰어난 확장성을 제공한다. AWS Lambda의 가격 모델은 계산 시간과 메모리 할당을 기반으로 하고 있기 때문에 Lambda 함수에 더많은 자원을 할당 하게 된다면 비용이 증가한다. 그렇기 때문에 Lambda 함수에 맞는 메모리의 양을 선택 하는 것이 비용 최소화 하는데에 아주 중요하다. 게다가, AWS는 메모리 사용량이 지정해 놓은 한계값을 초과 할 때마다 코드 실행을 종료한다. 본 논문에서는 AWS Lambda 함수에서 메모리 사용을 최소화하기 위해 데이터 처리를 기반으로 스트림을 사용하는 방법에 대하여 제안한다. Node.js의 스트림 객체들은 읽기 가능한 스트림, 쓰기 가능한 스트림, 이중 스트림, 그리고 변환 스트림과 같이 4가지 유형으로 분류 할 수 있다. 데이터 스트리밍의 주된 이점은 한 번에 메모리 과부하가 걸리지 않고 일정량의 데이터 덩어리들을 수집하여 그룹으로 전송하기 위해 임시 버퍼를 사용하여 덩어리로써 데이터를 처리하는 것이다. 배관 메커니즘과 함께 출력 스트림을 입력으로써 다른 스트림으로 전달하여 일련의 프로세스 작업을 생성 할 수 있습니다. 이 방법은 메모리 소비량을 절감하기 위하여 데이터 세그먼트로 데이터 처리를 수행 할 수 있는 가능성을 제공한다. 데이터 변환은 한 파일에 있는 정보를 다른 형식으로 변환하는 프로세스이다. 이 유형의 처리 로직은 Lambda에서 메모리 사용을 최소화하기 위하여 스트림을 사용한다는 발상을 연구하기 위해 구현하였다. 결과적으로 스트림 기반 데이터 처리 기술을 적용하면 대형 테스트 데이터를 사용해서 메모리 사용량을 최대 30%까지 감소시킬 수 있음을 보여준다. 추가적으로 메모리 오류율은 12%내에서 안정적인 속도로 유지 되지만 단순 변환 프로세스는 최대 50%까지 오류율을 나타낸다.