Multi-Agent Reinforcement Learning-based Task Offloading for Mobile Edge Computing

Abstract

Mobile edge computing (MEC), which allows mobile terminals to offload computational operations to a server at the user's edge, is thought to be an efficient way to lessen the heavy computational burden. In this paper, we employ deep reinforcement learning to design optimal computation offloading and resource allocation strategies to minimize system total cost of the considered MEC system. To minimize the latency and energy consumption of the considered MEC system, the computation offloading, and resource allocation problem is defined as a Markov decision process. Most research on computational offloading for multi-agent reinforcement learning has been devoted to the use of the MADDPG algorithm, as well as variants of the DDPG algorithm or multi-agent variants of DQN algorithm. Therefore, we propose a multi-agent variant of the Proximal Policy Optimization algorithm, the computational offloading strategy of the Independent Proximal Policy Optimization (IPPO) algorithm, to minimize the total cost. According to the results, the proposed IPPO algorithm outperforms the PPO algorithm and full offload by 11.41% and 67.5% on average in terms of offload cost.|모바일 단말기가 사용자의 엣지에 있는 서버로 계산 작업을 오프로딩 할 수 있게 하는 모바일 에지 컴퓨팅(MEC)은 무거운 계산 부담을 줄이 는 효율적인 방법이라고 생각된다. 본 논문에서는 고려된 MEC 시스템의 시스템 총 비용을 최소화하기 위해 최적의 계산 오프로딩 및 리소스 할 당 전략을 설계하기 위해 딥 강화 학습을 사용한다. 고려된 MEC 시스템 의 총 비용을 최소화하기 위해 계산 오프로딩 및 리소스 할당 문제를 마 르코프 의사 결정 프로세스로 정의한다. 다중 에이전트 강화 학습을 위 한 계산 오프로드에 대한 대부분의 연구는 MADDPG 알고리즘뿐만 아니 라 DDPG 알고리즘의 변형 또는 DQN 알고리즘의 멀티 에이전트 변형 사용에 전념했다. 따라서, 우리는 총 비용을 최소화하기 위해 독립 근접 정책 최적화(IPPO) 알고리듬의 계산 오프로드 전략인 근접 정책 최적화 알고리듬의 다중 에이전트 변형을 제안한다. 결과에 따르면 제안된 IPPO 알고리즘은 오프로딩 비용 측면에서 PPO 알고리즘과 전체 오프로딩 성 능을 평균 11.41%, 67.5% 높다.