Named Data Networking에서 혼잡제어를 위한 강화학습 기반의 적응형 포워딩 전략

Abstract

NDN은 급격히 증가하는 인터넷 컨텐츠에 맞춰 대두되는 미래 인터넷 아키텍처로서 기존의 IP 기반의 인터넷 구조에서 벗어나 컨텐츠의 이름을 기반으로 한 네트워크이다. 이런 변화로 인해 NDN은 기존의 엔드 투 엔드의 방식을 사용한 TCP/IP와는 다르게 multi path, multi source와 같은 새로운 특징을 가지게 된다. 그리고 이로 인해 전통적인 TCP/IP의 혼잡제어 알고리즘을 NDN에 그대로 적용하기에는 여러 문제가 발생할 수 있다. 따라서 NDN의 새로운 특징에 맞게 혼잡제어 알고리즘을 재정의해야 한다. 본 논문에서는 NDN에 맞춰 적용할 수 있는 혼잡 제어 방법으로 multi path를 통해 혼잡한 경로를 우회하여 패킷을 전송하는 방법인 혼잡제어를 위한 강화학습 기반의 적응형 포워딩 전략을 제안한다. 제안하는 방법은 사전에 측정된 노드별 PIT entry rate를 이용해 LSTM 모델을 학습하고 이를 사용해 Interest 패킷이 수신될 때 이웃 노드들의 PIT entry rate을 예측하여 혼잡을 탐지한다. 그 후 예측된 PIT entry rate을 Q-learning의 state로 사용하여 전송 가능한 노드들의 Q-value 중 최적의 값을 선택하고 선택된 값을 가진 노드를 통해 패킷을 전송한다. 이로써 혼잡 경로를 우회하여 혼잡을 제어하고 높은 InData rate과 낮은 Packet drop rate을 달성한다. 추가로 본 논문을 검증하기 위해 NDN 시뮬레이터인 ndnSIM을 사용하여 기존의 알고리즘들과 비교 실험을 진행하였다. 실험 결과는 제안한 방법인 혼잡제어를 위한 강화학습 기반의 적응형 포워딩 전략이 기존의 알고리즘들보다 더 높은 InData rate과 더 낮은 Packet drop rate을 보여주었다.