Real-time Omnidirectional VIsual-Inertial SLAM for Autonomous Robots

Abstract

시각-관성기반 동시적 자세 추정 및 매핑 (Visual-inertial SLAM) 기술은 영상 센서와 관성 측정 센서를 사용하여 자세를 추정하는 기술이다. 최근 발표된 많은 긴밀한 결합 최적화 방식의 VI-SLAM 알고리즘이 다양항 도전적인 환경에서 높은 정확도를 보여주고있다. 그러나 대부분 여전히 빠른 움직임에서 특징점 추적에 쉽게 실패하고, 매우 동적인 환경에서 잘못된 움직임을 추정한다. 이러한 VI-SLAM의 강건성을 높이기 위해서는 정확하고 충분한 양의 영상 정보를 사용하는것이 중요하고, 이는 카메라의 시야각과 매우 연관되어있다. 실제로 광각 카메라에서는 영상 특징점들이 더 길게 추적되고, 이로 인해 카메라의 자세와 3차원 랜드마크의 정확도 역시 최적화 단계이후 매우 향상된다. 이에 더 나아가, 360도 주변 환경을 모두 관측하는 다중 광각 카메라 셋업의 경우는, 인접 카메라와의 스테레오 매칭을 통하여 더 많은 특징점들이 시공간적으로 추적된다. 그러나 이러한 장점에도 불구하고 다중 광각 카메라 기반의 SLAM 시스템은 소개된 적이 없으며, 심지어 광각 카메라를 사용하는 SLAM 기술의 연구조차 많이 진행되지 않은 상황이다. 따라서, 우리는 다중 광각 카메라의 특성에 초점을 맞춘 SLAM 방범론에 대한 연구를 진행했다. 본 논문은 와이드 베이스라인의 다중 광각 카메라 시스템을 위한 전방향 visual-inertial SLAM 알고리즘을 다루며, 차례대로 visual odometry, visual SLAM 그리고 visual-inertial odometry의 총 3개의 시스템으로 구성 되어있다. 첫번째로, 우리는 특징점 기반 시간적 주행거리 측정 기술(Visual odometry) 방법론을 고안하였으며, 해당 방법론은 하이브리드 모델 및 온라인 카메라간 외부 파라미터 칼리브레이션과 같은 전방향 카메라 시스템에 특화된 기술을 포함하고있다. 두번째로, 딥러닝 학습된 거리 정보 및 루프 클로징, 그리고 덴스 매핑 모듈을 사용하는 전방향 시각기반 동시적 자세 추정 및 매핑 기술(Visual SLAM)을 제안한다. 본 시스템에서, 거리 정보는 VO 내의 특징점 정보의 매칭 및 3차원 랜드마크들의 위치 초기화에 사용된다, 또한, 전방향 루프 클로징 모듈과 덴스 매핑 모듈이 시스템에 긴밀하게 사용되어 더욱 정확하고 조밀한 3차원 모델을 구축한다. 세번째로, 관성 측정 장치 기반의 특징점 추적기(imu-aided KLT tracker) 및 이를 활용한 전방향 시각-관성 기반 자세 추정(Visual-inertial odometry) 기술을 제안한다. 본 방법론에서는 사전적분 방식(pre-integration)으로 추정된 관성 측정 장치(IMU)의 움직임을 모션 블러가 발생하는 상황에서도 좀 더 정확한 특징점의 위치를 예측하도록 사용된다. 또한 시각적 제약조건과 관성적 제약조건이 비선형적 최적화 프레임워크를 통해 긴밀결합(tightly-coupled) 되어 강건한 자세 추정이 가능토록한다. 제안된 연구들은 모두 극심한 조도변화, 다중 물체가 많은 역동적 환경, 그리고 심각한 모션블러를 포함하는 가상 및 실제 데이터셋에서 광범위하게 평가된다. 또한, 제안하는 알고리즘들은 기존 state-of-the-art 수준의 알고리즘들과 비교하였을 경우에도 양적으로 질적으로 더 우월한 성능과 강건성을 보인다.| Visual-inertial SLAM(VI-SLAM) estimates motions with visual sensor and inertial measurement units. Recent studies have shown that tightly-coupled optimization-based VI-SLAM algorithms achieve high accuracy in many challenging environments. However, most of works are still easily failed to track features in fast motion, and estimates erroneous motions in high dynamic scenes. For the robustness of VI-SLAM, providing accurate and enough visual information is important, and it depends on the field-of-view(FOV) of cameras. In fact, visual features in wide FOV cameras are longer tracked, and improve the overall quality of camera pose and 3d landmarks. In further, multi wide FOV setup, which covering the 360 \degree of surround view, provides spatiotemporally more tracked features using stereo matching with adjacent views. Despite of these advantages, SLAM using multi wide FOV setup have not been proposed yet, and even the researches about using wide FOV camera have been conducted not much. Therefore, we have researched the SLAM methodologies mainly focusing on the characteristics about the multi wide FOV cameras. In this dissertation, we mainly address a novel omnidirectional visual-inertial SLAM algorithm for multi wide-baseline wide FOV camera systems, and consists of three systems, which are VO, VSLAM, and VIO respectively. First of works, we designed the sparse feature based visual odometry(VO) with hybrid-projection model and online-extrinsic calibration, which are specialized for the novel omnidirectional camera systems. Secondly, we proposed a omnidirectional visual SLAM algorithm by fusing deep-learned depth map, loop closing and dense-mapping modules. In this system, depth information is used to guide feature matching and initialize 3d landmark positions in the visual odometry. Omnidirectional loop closing module, and dense-mapping modules are also integrated to build very accurate dense 3d models. Thirdly, omnidirectional visual-inertial odometry with imu-aided feature tracker are proposed. In here, the pre-integrated imu motion is used to predict the location of visual feature points in motion blurred situation, and the visual and inertial constraints are tightly coupled in the manner of the non-linear optimization framework. Our works are extensively evaluated in both synthetic and realworld datasets, which include illumination changes, high-dynamic environment, and serious motion blur. Compared to the state-of-the-art methods, our algorithms show superior accuracy and robustness in both quantitative and qualitative evaluations.