자율주행을 위한 센서 융합 및 딥러닝 기반의 주행 제어 알고리즘

Abstract

국문요지

본 논문에서는 완전한 자율주행을 구현하기 위해서 자율주행의 서브 시스템 중 핵심 기술에 포함되는 센싱, 인지, 판단 그리고 제어 부분에 대해서 다루어 본다. 자율주행 차량의 주변을 센싱하기 위해서 카메라, 라이다, 레이다와 같은 다양한 센서들을 사용한다. 카메라 센서는 거리 측정이 부정확하지만 물체의 종류를 인식하는데 우수하다. 레이다 센서의 경우에는 카메라 센서보다 거리 측정이 상대적으로 정확하지만 물체의 종류를 분류하지 못한다. 반면에 라이다의 경우에는 거리 측정과 물체의 종류를 인식하는데 우수하지만 가격이 비싸고 외부 환경에 취약하다는 단점이 있다. 이러한 단일 센서들이 가지고 있는 문제점들을 해결하기 위해서 본 논문에서는 Late Fusion 방식의 센서 융합을 제안한다. Late Fusion의 경우에는 센서들이 사전에 독립적으로 객체를 검출한 다음에 이를 기반으로 데이터를 융합하는 방법이다. 이러한 방식은 독립적으로 검출한 후에 융합함으로써 센서 하나가 고장이 나도 시스템의 전체에 영향을 주지 않는다. 센싱 이후 인지 영역에서는 차량의 위치를 파악하는 것과 객체를 인식하고 추적하는 역할을 한다. 객체의 인식은 YOLO v4를 사용하고 레이다로 다중 객체를 동시에 추적하기 위해서 GNN JPDA를 사용한다. 차량의 현재 위치를 파악하는 방법으로는 GPS/IMU과 카메라를 융합한 방법을 사용한다. GPS와 IMU는 EKF로 융합하며 카메라는 KLT 추적기를 이용한 옵티컬 플로우로 차량의 이동 경로를 추적한다. 판단 부분에는 동작예측, 경로계획, 모션계획이 있다. 본 논문에서는 순환 신경망을 사용해서 객체의 동작을 예측한다. 경로계획으로는 D*Lite를 사용하고 보간법으로 이동 경로를 부드럽게 보정한 후에는 지역 경로 계획을 수행한다. 생성한 경로의 궤적을 따라가기 위해서 프레네-세레 공식(Frenet-Serret formulas)을 적용하고 종 방향과 횡 방향 계획을 통해서 모션 계획을 수행한다. 마지막으로 제어 부분에서는 강화학습 기반의 DQN을 이용해서 전방 장애물과의 충돌과 회피의 의사결정을 수행한다. 회피의 결정이 나면 적응형 MPC를 이용해서 차량의 제어한다. 이와 같이 설계한 서브 시스템의 구현을 위해 본 논문에서는 CARLA라는 차량 시뮬레이터를 사용한다. 시뮬레이션은 차선 인식, 어라운드 뷰, 센서 융합 그리고 강화학습 기반의 충돌 경고 및 회피 이렇게 총 4가지의 시나리오로 구성되어 있다. 기존의 차선 인식 방법들은 비, 안개, 눈 등과 같은 날씨와 급커브 도로에서 인식률이 낮다. 본 논문에서는 악천후와 같은 외부 환경에서도 강인하게 차선을 인식하고 전방의 장애물을 회피하기 위해서딥러닝 기반의 차선 인식 알고리즘을 제안한다. CARLA 시뮬레이터로 실험한 결과 제안한 방식은 급커브 도로와 악천후와 같은 외부환경에서도 강인하게 차선을 인식하고 차량 전방의 안전한 범위를 고려하여 충돌을 회피하는 것을 볼 수가 있다. 어라운드 뷰 모니터링 시스템의 경우에는 시뮬레이션 차량의 지붕 위에 4대의 카메라 센서를 장착하여 사각지대를 제거한다. 센서 융합 시뮬레이션은 단일 센서들이 가지고 있는 단점들을 상호보완하여 해결하는 것으로 카메라, 라이다, 레이다 센서를 사용한다. 어두운 환경에 차량 2대를 전방에 두고 실험을 진행한다. 실험 결과 카메라 센서는 어두운 화경에서 1대만 인식할 수 있었으며 라이다와 레이다 센서는 2대 모두 감지할 수 있었다. 하지만 레이다는 횡방향의 인식률이 부정확한 것을 볼 수가 있다. 이러한 단일 센싱의 문제점을 해결하기 위해 제안한 Late Fusion 방식의 센서융합으로 객체를 인식한다. 최종적으로 융합한 결과 야간에서도 전방 차량들을 정확하게 인식하는 것을 볼 수가 있다. 마지막 시뮬레이션에서는 강화학습 기반의 DQN을 이용해서 전방 장애물과의 충돌과 회피의 의사결정을 수행한다. 전방에 차량이 일정한 거리 이내로 다가오면 충돌 경고를 준다. 충돌 경고를 받고 회피의 의사결정이 이루어지면 적응형 MPC를 이용해서 차량을 안전한 영역으로 이동시킨다. 시뮬레이션 결과 전방 차량을 정확히 인식하고 충돌을 예측하여 경고한 뒤에 안전하게 회피하는 것을 볼 수가 있다. 이렇게 4가지 시나리오로 구성된 실험을 시뮬레이션한 결과 설계한 서브 시스템들과 제안한 알고리즘들이 잘 동작한 것을 볼 수가 있다. 본 논문을 통해서 설계한 복합 시스템은 자율주행 차량의 개발뿐만 아니라 선박과 철도, 비행체 등 다양한 무인 분야에 응용이 가능할 것으로 본다.; This thesis deals with sensing, recognition, judgment and control that are included in the core technologies of the subsystems of autonomous driving in order to realize full autonomous driving. Various sensors such as camera, lidar and radar are used to sense the surroundings of autonomous vehicles. In order to solve the problem of a single sensor, this thesis proposes a fusion of sensors by the late fusion method. In the late fusion, sensors independently detect an object in advance and then fuse data based on it. This method independently detects and then integrates sensor data so that failure of one sensor does not affect the entire system. The recognition part identifies the location of the vehicle and recognizes and tracks the object. YOLO v4 is used as the object recognition algorithm. We use GNN&JPDA to track multiple objects simultaneously with radar. To determine the current position of the vehicle, the GPS/IMU and the camera are fused. GPS and IMU converge with EKF. The camera tracks the vehicle's moving path with an optical flow using a KLT tracker. The judgment part includes motion prediction, route planning and motion planning. In this thesis, we predict the behavior of an object using a recurrent neural network. D*Lite is used for path planning. In order to follow the trajectory of the path created by the interpolation method, the Frenet-Serret formulas are applied. Motion planning is carried out through longitudinal and lateral planning. Finally, in the control part, the decision-making of collision and avoidance is made using DQN based on reinforcement learning. When the decision to avoid is made, the vehicle is controlled using the adaptive MPC. In this thesis, a vehicle simulator called CARLA is used to implement and verify the designed subsystem. The simulations consist of four scenarios: lane recognition, around view, sensor fusion and collision warning and avoidance based on reinforcement learning. The results of implementing experiments with four scenarios show that the designed subsystems and the proposed algorithm can be successfully performed in assistance for autonomous driving. The complex system designed through this thesis is expected to be applicable not only to the development of autonomous vehicles, but also to various unmanned fields such as ships, railways and aircrafts.