Minimize Session Tracking on Network Load Balancers

Abstract

OSI Layer 4 (L4) load balancers have traditionally been used in data centers to distribute traffic across multiple servers or to improve reliability. They are still widely used today, and they are also a critical and essential component of future data center networks that are cloud native.

Environments where L4 load balancers are used require high processing power due to the large amount of traffic concentrated on the load balancer. However, due to the stateful nature of session-based communication, which requires continuous communication with a single physical server, it requires higher processing complexity than stateless load balancing. In order to achieve high performance, various hardware and software performance enhancement attempts have been made, but they require expensive hardware due to their complexity.

To solve this problem, this paper designs an algorithm that minimizes session tracking, so that L4 load balancing can operate with stateless processing that does not use session tracking at most moments, and session-based stateful processing for a limited period of time.

This thesis paper demonstrates, through TCP-based tests, the effectiveness of minimizing session tracking. The results showcase the potential to achieve optimal transaction per second (TPS), connection per second (CPS), low latency, and low power consumption on hardware equipped with traditional, cost-effective switching fabrics. This is accomplished by establishing streamlined packet processing conditions that prioritize simplicity and efficiency.

|L4 (OSI Layer 4) 로드 밸런서는 여러 서버에 트래픽을 부하 분산하거나 신뢰성 향상을 목적으로 데이터 센터에서 전통적으로 사용되었으며, 현재에도 널리 이용되고 있다. 클라우드 네이티브로 대표되는 미래의 데이터 센터 네트워크에서도 빼놓을 수 없는 중요한 필수 구성 요소이다.

L4 로드 밸런서가 사용되는 환경은 로드 밸런서에 많은 양의 트래픽이 집중되기 때문에 높은 처리 성능이 요구된다. 그러나 세션 기반의 통신은 하나의 실제 서버와 지속적으로 통신 되어야 하는 상태 유지(stateful) 특성 때문에 상태 없는(stateless) 로드밸런싱에 비해 높은 처리 복잡도가 요구된다. 높은 성능 달성을 위하여 다양한 방식의 하드웨어, 소프트웨어적 성능 향상 시도가 있었으나, 복잡도 때문에 고가의 하드웨어를 요구하는 문제를 가지고 있다.

본 논문은 이 문제를 해결하기 위하여 세션 추적을 극소화 시키는 알고리즘을 설계하였으며, 이를 통하여 대부분의 순간 세션 추적을 사용하지 않는 상태 없는(stateless) 처리가 이루어지고, 제한적인 기간 동안 일부에 대한 세션 기반의 상태 있는(stateful) 처리로 L4 로드 밸런싱이 동작할 수 있는 알고리즘을 설계하였다.

세션추적이 최소화됨을 TCP 기반의 테스트로 증명하였으며, 이를 통하여 단순한 패킷 처리 조건을 만들어 전통적 구조의 저렴한 스위칭 패브릭을 이용한 하드웨어에서 최고 수준의 TPS, CPS, 저지연과 저전력을 달성할 수 있는 가능성을 제시한다.