Deep Learning Applications to Autonomous Vehicle: Adaptive Sideslip Estimation, Personalized Trajectory Prediction and Efficient Planning for Parking

Abstract

최근에 전세계적으로 기업과 기관에서 딥러닝 기반의 자율주행 기술에 대한 연구가 활발히 진행되고 있습니다. 딥러닝을 주요 기술로 삼은 컴퓨터 비전에 많은 혁신이 일어나면서, 자연스럽게 자율주행의 다양한 분야에서 딥러닝이 사용되기 시작했습니다. 비록 인지, 측위, 판단, 모니터링, 경로생성 등의 자율주행 모듈과 관련하여, 전통적인 방식들을 이용하여도 상대적으로 간단한 시나리오에서는 충분한 성능을 내지만, 나머지 어려운 시나리오를 해결하는 데에는 많은 어려움이나 성능 향상의 가능성이 남아있습니다. 예를 들면, 모니터링 모듈의 한 파트인 사이드 슬립 추정 연구에서 주로 사용하는 물리적 모델 기반 추정 방법에는 모델의 다양한 시변 매개변수와 관련하여 어려움이 존재합니다. 슈퍼바이저와 모니터링 모듈이 혼합된 운전자 성향 기반 경로 예측 연구에서는 기존의 방식으로 광범위한 데이터 상에서 일반화된 성능을 내는데 어려움이 있습니다. 또한, 자율주행 차량의 주차를 위한 연구에서는 경로생성의 효율성을 높이는 방법에 한계가 존재합니다. 그에 따라 전통적인 방식을 이용하는 다양한 자율주행 모듈의 한계를 극복하고 성능을 향상시키기 위하여 딥러닝을 활용하는 연구가 활발히 진행되고 있습니다.

본 학위논문에서는 이러한 흐름을 반영하여, 모니터링 시스템 모듈, 슈퍼바이저 모듈과 경로생성 모듈에 대한 딥러닝 어플리케이션 내용을 다룹니다. 모니터링 시스템 관련 연구는 두개의 주제를 포함하고 있습니다. 첫 번째 주제는 차량의 안전과 관련하여 중요한 정보중 하나인 사이드슬립 각도의 추정 연구를 다루며 두 가지 접근법을 제시합니다. 첫 번째는 차량 동역학기반 모델을 사용한 하이브리드 방식을 제안합니다. 딥 앙상블 모델로부터 가상의 사이드슬립 각도 센서의 측정값과 불확실도 값을 얻어 비선형 칼만필터에 적용하여, 두 모델이 혼합된 형태로 최종 측정값을 제공합니다. 제안한 방법은 제가 아는 한 딥러닝과 기존 모델을 혼합할 때 불확실도 값을 활용하는 첫 번째 시도입니다. 두번째 접근법은 기존 역학기반 모델을 사용시 추정해야 할 파라미터가 많다는 단점을 극복하고자 간단한 운동학기반 모델을 사용합니다. 하지만 이 모델은 센서 노이즈나 바이어스값에 큰 영향을 받는다는 단점이 있어 이를 극복하고자 센서 필터링 네트워크를 제안합니다. 필터링 된 센서를 이용한 운동학모델 기반 비선형 칼만필터와 딥 앙상블 모델로부터 얻은 가상의 센서 값으로 최종 측정값을 얻습니다. 두 연구 모두 시뮬레이션과 실차 실험을 통해 검증을 수행하였습니다. 간단한 운동학기반 모델의 단점을 센서 필터링 네트워크로 극복하고자 하였으며, 기존의 복잡한 동역학기반 모델을 사용한 첫 번째 연구보다 평균 제곱근 오차와 평균 절대 오차 측면에서 더 좋은 성능을 내는 것을 확인하였습니다. 간단한 물리적 모델로 개선된 성능을 보여 향후 활용도가 높아질 것으로 기대됩니다.

슈퍼바이저 모듈과 결합된 모니터링 시스템에서 두 번째 주제는 자 차량의 경로 예측에 관한 연구입니다. 첨단 운전자 보조 시스템을 통해 다가오는 위험을 피하거나 완화하기 위한 회피 기동을 수행하려면, 자 차량의 경로를 정확히 예측해야 합니다. 하지만 사람마다 다른 운전 성향을 갖고 있으므로 이를 반영한 예측이 수행되어야 합니다. 본 주제에서는 경로 예측 모델 설계에 조건부 심층 생성 모델을 이용합니다. 이때, 슈퍼바이저에 해당하는 성향 판단 모델을 지도학습 방식으로 학습하여 이 결과를 조건으로 이용하는 경로 예측을 수행합니다. 또한, 과거 경로를 예측하여 경로 예측 모델에 추가적인 조건으로 활용합니다. 카메이커 HILS를 통해 데이터 수집 및 검증을 수행하였습니다. 제안한 모델을 기존의 물리 모델 및 다른 딥러닝 모델 기반 방식과 평균 제곱근 오차와 평균 절대 오차 측면에서 성능을 비교하였습니다. 또한, 예측된 과거 경로와 판단된 성향을 추가적인 조건으로 인가하였을 때 가장 좋은 성능을 내는 것을 확인하였습니다. 운전자 성향을 반영한 경로 예측 연구를 통해 앞으로 첨단 운전자 보조 시스템에 활용하기 위한 방향성을 제시했다고 생각합니다.

마지막 주제는 자율주차를 위한 경로생성 연구입니다. 조건부 심층 생성 모델을 사용하여, 특정 주차 공간에서 시작지점, 목표지점, 그리고 장애물 정보를 포함한 맵 정보가 주어졌을 때, 실현 가능한 궤적 분포를 제공하도록 학습시킵니다. 그 후에 제공받은 분포를 기반으로 전통적인 플래닝 방식의 상태 확장을 진행하여, 효율적인 주차 플래닝을 수행하게 됩니다. 시뮬레이션을 통해 알고리즘의 수행 시간 및 확장 노드의 갯수를 측정항목으로 삼아 효율성을 검증하였습니다. 일반적인 자율주차 시스템 뿐만 아니라 최근 많이 연구되고 있는 공장에서의 자율 주차 시스템에도 활용성이 있을 것으로 기대합니다.