라이다, 관성, 스테레오 시각 센서 기반의 극한 환경 하의 실시간 강건한 위치 추정 시스템

Abstract

높은 정확도로 위치를 추정하는 것은 자율 주행의 경로 계획 및 추종에 있 어 상당히 중요한 문제이다. 위치 추정 문제를 풀기 위해서 라이다, 카메라, 그리고 IMU를 이용한 많은 방법론들이 제안되었다. 하지만, 단일 센서만을 이 용하는 위치 추정 방법은 각 센서마다 취약한 환경에서 성능 저하가 발생한다. 이러한 단점을 보완하기 위해 다양한 센서를 결합한 연구가 활발하게 진행되고 있다. R2LIVE는 단안 카메라, 라이다 그리고 IMU 센서 퓨전 기반으로 위치 를 추정하는 시스템 중 하나이다. R2LIVE는 VIO(Visual Inertial Odometry), LIO(LiDAR Inertial Odometry) 두 개의 하위 시스템으로 구성되어 있다. 하 지만, R2LIVE의 VIO 하위 시스템은 단안 카메라 기반의 Vins-mono기반으로 구성되어 있다. 이는 초기 스케일 정보가 없어 IMU에 의존하여 초기화를 수행해 야 하기 때문에, 초기화 과정에서 IMU 잡음이 심하면 시스템 성능이 저하된다. 이에 본 연구에서는 R2LIVE의 VIO 하위 시스템을 스테레오 카메라 기반의 Vins-fusion으로 변경하여 확장한 시스템을 제안한다. 이는 스테레오 시스템으 로 베이스라인이 확보되어 있어 IMU에 의존하지 않더라도 초기에 스케일 추정 이 가능하다. 제안된 시스템을 평가하기 위해 하드웨어 시스템을 구축하고 직접 어두운 환경이나 좁은 통로 급격한 움직임과 같은 극한 상황이 포함된 다양한 환 경에서 주행 데이터를 취득하여 성능 평가를 수행했고, 그 결과 우리의 하드웨어 환경에서 베이스라인인 R2LIVE보다 더 높은 정확도와 안정성을 달성하였다.|Localization with high accuracy is critical for path planning and tracking in autonomous driving. Various methodologies have been proposed using LiDAR, cameras, and IMUs. However, single-sensor localization methods often perform poorly in environments where that particular sensor is vulnerable. To address these limitations, researchers are actively combining multiple sensors. R2LIVE is a system that estimates position using a fusion of monocular camera, LiDAR, and IMU sensors. It comprises two subsystems: Visual Inertial Odometry (VIO) and LiDAR Inertial Odometry (LIO). The VIO subsystem in R2LIVE, which is based on a monocular camera and Vins-mono, lacks initial scale information and relies on the IMU for initialization. This reliance can degrade system performance if the IMU is noisy during initialization. In this study, we propose an extended system by replacing the VIO subsystem of R2LIVE with a Vins-fusion based on stereo cameras. This approach leverages the baseline of stereo systems to estimate the initial scale without depending on the IMU. We evaluated the proposed system by building a hardware setup and collecting driving data in various environments, including challenging conditions like direct darkness and sudden movements in narrow passages. The results demonstrate that our modified system achieves higher accuracy and stability than the baseline R2LIVE in our hardware environment.