자율주행을 위한 deep dynamics model 기반 계획 시스템

Abstract

자율주행자동차를 위한 계획 시스템에 강화학습을 적용하는데 있어서 여러 어려움이 있다. 높은 안전성을 요구하는 자율주행 특성상 주행은 차량 동역학 관점에서 타당해야한다. 강화학습에서 계획은 가치함수로 표현되는데 명시적으로 계획을 알 수 없기 때문에 현재 행동을 구체적으로 설명하기 어렵고 일반적인 강화학습 모델은 차량 동역학 모델을 고려하지 않는다. 또한 강화학습 모델을 학습하기 위해서는 지속적인 환경과의 상호작용이 필요하다는 점에서 비효율적이다. 본 논문에서는 이러한 문제점들을 완화하기 위해서 차량 동역학 모델과 deep dynamics model을 사용한 강화학습 기반 planning system을 제안하였다. 차량 동역학 모델과 deep dynamics model을 통해 차량의 거동 및 상호작용을 모델링하여 현재 행동을 명시적으로 설명할 수 있다. 그리고 위의 두가지 dynamics를 정책으로 사용하기 위해서 Cross entropy method와 Nonlinear predictive control을 결합한 모델 기반 강화학습 알고리즘을 제안하였다. 정적인 데이터셋을 사용하여 deep dynamics model을 학습함으로써 데이터 효율을 높였다. 그리고 고속도로 주행 시나리오에서 SUMO [1]와 CommonROAD [2]을 결합한 차량간의 상호작용이 고려된 시뮬레이터를 제작하였고 해당 시뮬레이터에서 제안한 시스템의 동작을 정성적으로 분석하였다.