엣지 환경에서의 대용량 데이터 스트리밍을 위한 아파치 카프카 성능 평가

Abstract

최근 자율 주행 모빌리티, Internet of Things, 스마트 시티, 스마트 팩토리 등 실시간으로 대량의 데이터를 생산하는 시스템이 많아짐에 따라 데이터의 실시간 처리 및 분석이 중요해지고 있다. 이를 위한 분산 데이터 처리 시스템 중 하나로 엣지 컴퓨팅이 주목받고 있다. 엣지 컴퓨팅에서의 데이터 처리를 더욱 효율적으로 지원하는 데에는 데이터 스트림 처리 기술이 중요하다. 이러한 기술 중 Apache Kafka는 높은 처리율과 낮은 지연시간을 보장하고, 분산형 아키텍처를 통한 확장성과 내구성 측면에서의 장점을 가지고 있어 엣지 컴퓨팅에 사용하는 것이 적절한 것처럼 보인다. 하지만 기존의 Apache Kafka는 엣지 환경에 맞춰 개발되지 않았기 때문에 최적화 과정 없이 엣지 환경에서 최적의 동작과 성능을 기대하기는 힘들다. 본 논문에서는 엣지 환경에서의 대용량 데이터 스트리밍을 Apache Kafka를 활용하여 처리할 때의 성능을 평가한다. 특히 엣지 환경처럼 실시간으로 대용량의 데이터가 생산될 때, Apache Kafka가 어떻게 동작하고 어떤 제약 사항이 있는지