Probabilistic Tracking Algorithm using Multi-Sensor Fusion for Autonomous Vehicles

Abstract

With the recent development of advanced driver assistance systems, the need for reliable cognitive technology has emerged. Perception in autonomous driving is to estimate the state of motion of both static and dynamic objects, such as roads and buildings, as well as pedestrians and cars.

In object tracking research, a method that combines various sensor information, such as cameras, LiDARs, and RADARs, to obtain more accurate results is called multi-sensor fusion. This takes advantage of each sensor and excludes disadvantages, so it has higher performance than using a single sensor. It is important to specify sensor characteristics and utilize them to get optimal tracking performance. Therefore, this paper proposes a centralized dynamic object tracking algorithm using multiple sensors. We introduce a method for fusing in consideration of the measurement uncertainty of each sensor.

In addition, it is important for multi-sensor fusion technologies to keep track of continuity. Many studies are being conducted to improve tracking continuity even in situations where several objects are crossing each other or objects are temporarily occluded by obstacles during tracking. This paper utilizes the Poisson Multi-Bernoulli Mixture (PMBM) filter, which uses probability distribution for improving tracking continuity.

For the performance evaluation of this paper, open datasets and experimental data collected using an actual vehicle were used. The evaluation results show that the proposed method improved the accuracy of estimating the state of an object by considering the measurement uncertainty of the sensor and was robust in situations such as sensor failure. Furthermore, the probabilistic birth and death track management method are effective in maintaining object tracking continuity, and performance has improved when compared to existing tracking methods.|최근 첨단 운전자 보조 시스템(Advanced Driver Assistance Systems)의 발전으로 신뢰성 높은 인지 기술의 필요성이 대두되고 있다. 자율 주행에서의 인지 기술은 도로, 건물 등 정적인 물체부터 보행자, 차량 등 동적인 물체들의 운동 상태를 추정하는 것이며, 추정 성능이 자율 주행 판단 및 제어에 영향을 미친다. 따라서 인지 성능 개선을 위한 물체 추적 연구가 활발히 진행되고 있다.

물체 추적 기술 중, 카메라, 라이다, 레이더 등 여러 센서 정보를 융합하여 보다 정확한 결과를 얻는 기술을 다중 센서 융합(Multi-Sensor Fusion)이라고 한다. 이를 이용하면 센서 별 장점을 취하고 단점은 배제하므로 단일 센서 대비 성능이 높다. 따라서 기술의 핵심 중 하나는 센서 별 특성을 구분하여 활용하는 것인데, 이에 대해 본 연구는 각 센서의 측정 불확실성(Uncertainty)을 기반으로 정보의 가중치를 결정하여 물체의 운동 상태 추정 정확도를 개선하는 방법을 제안한다.

또한 다중 센서 융합 기술은 추적 연속성(Track Continuity)을 확보하는 것이 중요하다. 여러 물체가 교차 이동하거나, 추적 도중 장애물에 의해 물체가 일시적으로 가려지는 상황 등에서도 추적 연속성을 개선하기 위한 연구가 많이 진행되고 있다. 이에 대해 본 연구는 확률 분포 기반의 Poisson Multi-Bernoulli Mixture(PMBM) 필터를 활용하여 추적 연속성을 개선하는 방법을 제안한다.

본 연구의 성능 검증은 공개 데이터셋과 실차 실험 데이터를 이용하였다. 검증 결과로부터, 본 연구가 제안한 방법이 센서의 측정 불확실성을 고려함으로써 물체의 상태 추정 정확도를 개선하였으며, 센서 고장(Sensor Failure)과 같은 상황에서 강건함을 확인하였다. 또한 본 연구의 확률 분포에 기반한 물체의 생성 및 소멸 관리 방법이 물체 추적 연속성을 확보하는 것에 효과적이며, 기존 방법 대비 성능 개선이 이루어진 것을 확인할 수 있다.