단안 카메라를 이용한 실시간 딥러닝 기반 주변 차량 경로 예측

Abstract

Self-driving 및 Advanced Driver Assistance System 과 같은 충돌 방지 및 경고를 위한 많은 어플리케이션에서 Ego 차량의 인지 오류로 인한 운전자의 불편함이 증가하며 심지어 사고로 이어짐으로 신뢰성은 매우 중요하다. 본 연구에서는 주행 중 주변 차량의 의도 파악을 위해 단안카메라 센서를 활용한 Deep-learning 기반의 신경망 모델을 통해 검출 및 예측을 수행하여 단순 TTC(Time-To-Collision) 가 아닌 예측 정보를 사용하여 신뢰성을 향상하여 운전자의 불편함 감소와 신뢰성을 향상할 수 있다.

제안하는 연구는 크게 4단계로 구성된다. 첫번째는 Raw RGB data를 통해 전처리 과정을 통해 자차선을 검출하여 도로 계수를 구한다. 두번째는 주변 차량을 검출하는 딥러닝 기반의 신경망 네트워크의 정의, 세번째는 검출 된 주변차량의 위치 정보를 통한 추적, 마지막으로 추적된 주변 차량의 정보를 통해 경로를 예측하며 라이다 센서와의 결과를 비교하고 단안 카메라 센서의 한계점을 고찰한다.

본 논문은 BDD100K : A Diverse Driving Video Database with Scalable Annotation Tooling[8] 자율주행플랫폼 연구를 위해 공개한 주행 데이터셋을 활용하여 모델을 학습과 검증을 하였으며 국내의 환경에서의 검증을 위해 추가적으로 실제 국내 주행 데이터셋을 활용해 모델의 성능을 국내 주행 환경에 맞게 추가 학습 시켰다.