Data Processing Optimization for Scalable Edge Computing

Abstract

Edge computing has emerged as a paradigm that brings data computation and storage closer to end-users, enabling real-time insights. The Internet of Things (IoT) is a primary domain that utilizes edge computing, and edge computing platforms play a crucial role in storing real-time sensor data gathered from multiple devices and delivering real-time analytics in an efficient and timely manner. Moreover, edge platforms also play an important role in accommodating multiple users (tenants) on a single edge server for efficient resource sharing. However, our preliminary analysis has revealed performance limitations in these platforms, underscoring the importance of optimized solutions. This dissertation initially focuses on key-value stores for processing sensor data in edge servers. Upon analyzing popular key-value stores, we discovered that none of the systems exploits the distinctive characteristics of IoT workloads—append-only and immutable—thus the systems show limitations in managing sensor data. To address this issue, we propose Indexing-of-Indexes (IoI) and LogFlush-and-Append (LFA) to exploit such characteristics. IoI is an indexing and data organization scheme designed to eliminate the notorious compaction-induced write amplification observed in legacy key-value stores, and LFA is a data ingestion scheme intended to remove double data write issues in legacy write-ahead logging implementations. These schemes are incorporated into the implementation of a prototype key-value store, Sen-Store. Furthermore, we examine containerized multi-tenant services using OverlayFS, a Linux kernel driver specifically designed for Docker containers. To enable user processes in the container to access files in the backing file system, OverlayFS temporarily overrides the credentials of a process with the mounter’s credentials whenever the process accesses a file, inode, or directory, ensuring appropriate privileges. However, we found that this mechanism incurs severe overhead owing to contention in updating a shared reference counter for the mounter’s credentials, which hinders OverlayFS scalability. To address this issue, we propose a credential caching scheme, CredsCache, which greatly relieves contention by maintaining a per-process cached version of the mounter’s credentials. In CredsCache, each process performs credential overriding and reverting using its own cached version without updating the shared reference counter. Conclusively, the evaluation results show that Sen-Store not only outperforms both industry-leading RocksDB and state-of-the-art IoTDB, but also that CredsCache achieves significantly better performance than vanilla OverlayFS, indicating a contribution towards improving service quality and scalability in edge computing platforms.|엣지 컴퓨팅은 사용자에게 데이터 연산과 저장 능력을 근거리에서 제공함으로써 실시간성을 보장하는 새로운 패러다임으로 주목받고 있다. IoT는 엣지 컴퓨팅을 활용하는 대표적인 분야로, 엣지 컴퓨팅 플랫폼은 여러 IoT 장치로 부터 생성되는 센서 데이터를 수집하고 실시간으로 분석하는 역할을 수행한다. 뿐만 아니라, 엣지 플랫폼은 하나의 엣지 서버에서 여러 사용자가 동시 효율적으로 서비스를 제공받을 수 있도록 중추적인 역할을 수행한다. 그러나, 우리의 사전 분석 결과에서 최적화되지 않은 플랫폼 구성 요소는 성능 측면에서 제한점을 보이며, 최적화된 기법 연구의 필요성을 강조하였다. 본 논문에서는 먼저 엣지 서버에서 센서 데이터를 처리하기 위한 키-값 저장소에 초점을 맞춘다. 센서 데이터를 엣지 서버에서 처리하는 과정에서 범용적인 키-값 저장소의 성능 하락에 대해 분석한 결과, IoT 워크로드의 특별한 성질로 인하여 발생한 문제임을 확인하였다. 우리는 이러한 문제를 해결하기 위하여 두가지 기법인 Indexing-of-Indexes (IoI)와 LogFlush-and-Append (LFA)를 제안한다. IoI는 IoT 워크로드 특성을 활용하여 기존의 카-값 저장소가 발생시키는 컴팩션으로 인한 쓰기 증폭을 제거하며, LFA는 Write-Ahead Logging이 발생시키는 중복 쓰기를 제거하는 방법이다. 또한, 본 논문에서는 제안한 기법을 바탕으로 개발된 새로운 형태의 키-값 저장소인 Sen-Store를 제시한다. 다음으로 우리는 리눅스 커널 드라이버인 OverlayFS를 사용하는 컨테이너 기반의 다중 사용자 서비스 분석에 초점을 맞춘다. 컨테이너 내의 사용자 프로세스는 호스트 파일시스템에 접근하기 위하여 권한 획득 과정을 거치며, OverlayFS는 컨테이너 내의 프로세스가 파일, i-node, 디렉토리에 접근할 때 마다 임시로 프로세서의 크리덴셜을 마운터의 크리덴셜로 변경하는 과정을 수행한다. 이는 마운터의 크리덴셜에 대한 공유 참조 카운터 갱신 경합으로 인해 심각한 부하를 생성하게되며, OverlayFS의 확장성을 제한하는 문제임을 확인하였다. 우리는 이를 해결하기 위하여 프로세스 단위로 캐싱된 마운터 크리덴셜을 관리하는 CredsCache를 제안한다. CredsCache에서 각 프로세스는 공유 참조 카운터를 갱신하지 않고, 자체 캐시된 버전을 사용하여 갱신 경합을 크게 감소시킨다. 제안된 기법의 성능 측정 결과, Sen-Store는 범용적인 KV-store인 RocksDB와 IoT에 특화된 IoTDB 보다 높은 성능을 보였으며, CredsCache가 적용된 OverlayFS 또한 기존의 OverlayFS 보다 크게 향상된 성능을 보였다. 본 논문에서는 이와 같이 엣지 플랫폼의 데이터 관리 최적화를 통해 서비스 성능 향상을 확인하였다.