Deep Reinforcement Learning for Grant-Free Resource Allocation in NOMA V2X Uplink Systems

Abstract

비직교 다중 접속 방식을 적용한 차량통신은 5G 및 이후 네트워크 시스템에서 대규모 연결성 요구조건을 만족시킬 수 있으나, 통신 지연시간을 최소화하고 처리량을 최대화하는 문제는 여전히 추가적인 연구가 필요하다. 상향링크 통신의 지연시간 문제를 다루고 처리량을 향상시키기 위해 본 논문에서는 hyper-fraction 채널 할당 기법을 제안한다. Hyper-fraction은 도로를 다수의 작은 구역으로 나눈 뒤, 해당 구역에 채널을 할당하는 기법이다. 그리고 해당 구역에 위치한 사용자 단말로 하여금 기지국과의 추가적인 스케줄링 프로세스 없이 곧바로 채널을 사용할 수 있게 해주기 때문에 사용자 단말과 기지국 간의 전반적인 통신 지연을 줄일 수 있게 된다. Hyper-fraction 기법을 최적화하기 위해, 제안하는 방법은 기계 학습의 일종인 심층 강화 학습을 사용한다. 사용자 단말의 위치와 hyper-fraction 할당 상황에 따른 시스템의 처리량을 관측하는 반복적인 학습 과정을 통해, 심층 강화 학습 에이전트는 시스템의 처리량을 최대화하는 hyper-fraction 구역 할당을 즉각적으로 수행하는 모델을 만들 수 있다. 그 결과, 심층 강화 학습을 이용한 hyper-fraction 기법이 비직교 다중 접속 방식을 적용한 차량통신에서 처리량을 개선시키고 지연시간을 최소화할 수 있는 효과적인 방법임을 증명하였다.; While NOMA (non-orthogonal multiple access) V2X (vehicle-to-everything) can achieve the massive connectivity requirements of 5G and beyond 5G systems, minimizing its communication latency and maximizing the throughput still remain very important challenges. To decrease the latency and increase the throughput of uplink communications, we propose a channel allocation method called hyper-fraction. Hyper-fraction divides a road into many small zones and allocates a channel to each zone. Then, it allows a user equipment (UE) located in the zone to use the channel promptly without an additional scheduling process between base stations (BSs), reducing the overall communication latency between UEs and BSs. To optimize the hyper-fraction method, one of the machine learning methods called deep reinforcement learning (DRL) is utilized. Through a repetitive training process of observing the system throughput depending on the locations of users and hyper-fraction status, a DRL agent can build a model that can instantly allocate proper channels to hyper-fraction zones in terms of maximizing the system throughput. As a result, hyper-fraction with DRL is proven to be an effective method to improve throughput and minimize the latency of systems using NOMA V2X.