Obstacle Detection by Fusing Monocular Fisheye Camera and Wheel Odometry

Abstract

차량의 자율 주행 시스템에서 장애물을 검출하고 충돌을 예측하는 일은 시스템의 중요한 문제 중에 하나이다. 최근에는 카메라, GPS 및 LIDAR와 같은 다양한 센서를 차량에 부착하여 차량 주변의 정적 장애물을 감지하고 동적 물체를 추적하여 차량의 자율 주행 시스템을 보조하는 문제를 해결하고 있다. 본 논문에서는 한 개의 어안 (Fisheye) 카메라와 휠 오도메트리(wheel odometry)를 사용하여 차량 주변의 3D 구조를 재구성하고 구성된 구조로부터 장애물을 검출하는 효율적인 시스템을 제안한다. 제안 된 시스템은 광각 카메라의 시각적 특징과 휠 주행 측정법의 속도 및 방향을 사용한 최적화 프레임 워크를 통해 정확한 차량의 에고 모션(ego-motion)을 추정한다. 동시에, 시스템은 3D 장애물의 모양을 재구성하는 데 효과적인 에피폴라 KLT 추적기(epipolar-KLT tracker)를 사용하여 시각적인 에지 점들을 추적한다. 재구성 된 세미 댄스(semi-dense) 점 들로부터 지면 기반의 높이 맵을 추정하고 견고한 장애물 탐지를 수행한다. 제안 된 시스템은 합성 및 실제 데이터 세트에서 평가된다. 시스템의 실험은 정량적 평가와 정성적 평가가 이루어지며 이를 통해 얻은 실험 결과는 우리 시스템이 실제 어플리케이션에 대해 충분한 정확도를 가지고 있음을 보여준다.; Obstacle detection and collision prediction in an autonomous vehicle system is one of the important issues of the system. In recent years, various sensors such as camera, GPS and LIDAR have been attached to the vehicle and detect the static obstacles around the vehicle and track the dynamic obstacles to support the autonomous driving system. We propose an efficient system for reconstructing the 3D landmarks around the vehicle using a fisheye camera and wheel odometry and detecting obstacles from the constructed structure. The proposed system estimates accurate ego-motion in an optimization framework using the visual features from the wide-angle camera and the speed and direction of the wheel odometry. Simultaneously, the system tracks the edge points using an epipolar-KLT tracker which are effective in reconstructing the structure of 3D obstacles. Also, we estimate the ground-based height maps from reconstructed semi-dense points and performs robust obstacle detection and tracking. The proposed algorithm is evaluated by synthetic and real datasets. The experiments in the system are performed quantitatively and qualitatively, and the experimental results show that our system has sufficient accuracy for real applications.