강화학습을 이용한 고속도로 자율주행로에서의 주행 판단 정책

Abstract

자율주행 시스템에서 주행 판단과 경로 생성은 인지 시스템과 제어 시스템을 연결해주는 매우 중요한 시스템이다. 특히 고속도로에서 자율주행을 위한 supervisor는 안전과 원활한 교통량에 직결되는 중요한 시스템이다. 기존 연구들은 rule-based 알고리즘을 통한 주행 판단 시스템을 제시한다. 하지만 차량 속도가 빠르고 주변 객체가 많은 dense-traffic 상황에선 그 규칙이 매우 복잡해져 주행 성능이 떨어지거나 규칙의 오류로 인한 사고로 이어질 가능성이 있다. 따라서 본 논문에선 Deep Reinforce-Learning을 통해 dense traffic 상황에 대해 어떤 주행 판단이 안전하고 원활한 주행이 될 수 있을지 학습하여 수행 능력을 평가한다. 이 과정에서 자율주행 환경이라는 특수한 조건에서 기존 방식보다 performance를 높이기 위해 보상의 무작위성을 고려하도록 하는 distributional reinforcement learning 알고리즘 중 quantile regression 기법과, 보상의 희소성을 극복하고 여러 탐험을 통해 학습할 수 있도록 random network distillation 기법을 사용하였다. 또한 supervisor의 강건성을 높이기 위해 curriculum learning 방식을 통해 간단한 교통 상황부터 교통량을 점차 높여가며 학습함으로써 다양한 상황에 대한 판단 성능을 확보하였다.