Visual-Inertial Odometry for Unmanned Autonomous Robotic Systems

Abstract

자체 모션 추정에 대한 연구는 컴퓨터비전를 포함한 다양한 분야에서 연구되어져 왔으며 최근 무인 자율 로봇 시스템 산업에 대한 사회적 관심으로 매우 각광받는 기술 중 하나이다. 특히, 카메라와 관성측정센서 (Inertial Measurements Unit)를 융합한 3차원 자세추정 기술은 두 가지 센서를 독립적으로 사용하는 알고리즘보다 정밀하게 카메라의 진행방향과 속도를 계산할 수 있다.

카메라로부터 취득되는 영상정보는 빠른 모션 및 조도 변화가 심한 환경에서 강건한 특징정보를 추출하기 어려우며, 관성측정센서는 짧은 시간에 대해서는 실제 미터 단위의 절대적인 이동량을 내포한 센서정보를 취득할 수 있지만, 센서가 갖는 본질적인 문제인 노이즈와 변화하는 바이어스를 계산하기 어려운 한계점이 있다. 이에, 서로 다른 센서를 융합하기 위한 다양한 방법들이 제안되고 있지만, 초기 부족한 파라메터 정보로 인한 잘못된 포즈 추정과 빠른 모션으로 인한 영상의 모션 블러 및 부정확한 영상 정보 등 시스템의 성능을 저하시키는 여러가지 문제점들이 존재한다.

본 논문에서는 다양한 모션에 제약받지 않는 강건한 시스템 초기화 방법과 내/외 창으로 구성된 이중 창 최적화 (double window optimization) 기법을 이용하여 모션 블러와 조도 변화가 큰 환경에서 강건하게 동작하는 알고리즘을 제안한다.

제안하는 알고리즘은 영상정보 기반의 포즈 추정과 스케일 및 중력벡터 추정을 점진적으로 수행하여 기존 방법들보다 빠르고 모션에 제약받지 않는 초기화가 가능하다. 그리고 3차원 자세를 추정하는 제약조건(visual constraint), 상대포즈 제약조건 (relative pose constraint)과 관성측정센서의 사전적분 제약조건 (pre-integration constraint)을 내/외측 창에 효과적으로 적용하여, 실제 환경 내 기기가 경험하게될 다양한 환경에서 강건하게 3차원 자세를 추정한다. 또한 저가의 관성측성센서의 부정확한 내부 파라메터 캘리브레이션을 보정하기 위하여 축, 스케일, g-sensitivity에 대한 보정 요소를 알고리즘에 반영하여 성능을 향상시킨다.

제안하는 방법은 visual-inertial odometry분야에서 주로 사용하는 EuRoC 벤치마크 데이터셋 (European Robotics Challenge benchmark dataset)에 대하여 기존 state-of-the-art 수준의 공개된 알고리즘보다 우수한 성능을 검증하였으며, 실제 기기가 경험가능한 도전적인 상황을 시뮬레이션한 데이터셋에서도 강건하게 동작함을 증명하였다. | 자체 모션 추정에 대한 연구는 컴퓨터비전를 포함한 다양한 분야에서 연구되어져 왔으며 최근 무인 자율 로봇 시스템 산업에 대한 사회적 관심으로 매우 각광받는 기술 중 하나이다. 특히, 카메라와 관성측정센서 (Inertial Measurements Unit)를 융합한 3차원 자세추정 기술은 두 가지 센서를 독립적으로 사용하는 알고리즘보다 정밀하게 카메라의 진행방향과 속도를 계산할 수 있다.

카메라로부터 취득되는 영상정보는 빠른 모션 및 조도 변화가 심한 환경에서 강건한 특징정보를 추출하기 어려우며, 관성측정센서는 짧은 시간에 대해서는 실제 미터 단위의 절대적인 이동량을 내포한 센서정보를 취득할 수 있지만, 센서가 갖는 본질적인 문제인 노이즈와 변화하는 바이어스를 계산하기 어려운 한계점이 있다. 이에, 서로 다른 센서를 융합하기 위한 다양한 방법들이 제안되고 있지만, 초기 부족한 파라메터 정보로 인한 잘못된 포즈 추정과 빠른 모션으로 인한 영상의 모션 블러 및 부정확한 영상 정보 등 시스템의 성능을 저하시키는 여러가지 문제점들이 존재한다.

본 논문에서는 다양한 모션에 제약받지 않는 강건한 시스템 초기화 방법과 내/외 창으로 구성된 이중 창 최적화 (double window optimization) 기법을 이용하여 모션 블러와 조도 변화가 큰 환경에서 강건하게 동작하는 알고리즘을 제안한다.

제안하는 알고리즘은 영상정보 기반의 포즈 추정과 스케일 및 중력벡터 추정을 점진적으로 수행하여 기존 방법들보다 빠르고 모션에 제약받지 않는 초기화가 가능하다. 그리고 3차원 자세를 추정하는 제약조건(visual constraint), 상대포즈 제약조건 (relative pose constraint)과 관성측정센서의 사전적분 제약조건 (pre-integration constraint)을 내/외측 창에 효과적으로 적용하여, 실제 환경 내 기기가 경험하게될 다양한 환경에서 강건하게 3차원 자세를 추정한다. 또한 저가의 관성측성센서의 부정확한 내부 파라메터 캘리브레이션을 보정하기 위하여 축, 스케일, g-sensitivity에 대한 보정 요소를 알고리즘에 반영하여 성능을 향상시킨다.

제안하는 방법은 visual-inertial odometry분야에서 주로 사용하는 EuRoC 벤치마크 데이터셋 (European Robotics Challenge benchmark dataset)에 대하여 기존 state-of-the-art 수준의 공개된 알고리즘보다 우수한 성능을 검증하였으며, 실제 기기가 경험가능한 도전적인 상황을 시뮬레이션한 데이터셋에서도 강건하게 동작함을 증명하였다. |Recent visual-inertial odometer (VIO) algorithms adopt non-linear optimization with tightly coupled visual and inertial constraints for higher accuracy and robustness. Recent studies have shown that optimization-based algorithms achieve typically high accuracy when given enough amount of information, but occasionally suffer from divergence when solving highly non-linear problems.

However when visual feature tracking becomes unstable due to motion blur or sudden illumination change, the estimated trajectory may drift largely.

Further, their performance significantly depends on the accuracy of the initialization of inertial measurement unit (IMU) parameters.In this dissertation, we address a novel VIO algorithm of estimating the motional state of UAVs with high accuracy.

Firstly, we designed the fusion of visual information and pre-integrated inertial measurements in a joint optimization framework and the stable initialization of scale and gravity using relative pose constraints. Secondly, we propose a visual-inertial odometry using double window optimization which maintains reprojection constraints by all landmark observations in the inner window and only relative pose constraints by marginalizing the landmarks in the outer window, while the pre-integrated inertial constraints connects all keyframes.

In our formulation, axis misalignment, scale factors and g-sensitivity are included in the pre-integrated inertial constraints to cope with uncertain measurements from low-cost inertial sensors.

In relative pose constraints the pose covariance matrices are properly computed and they are utilized in the further optimization. Compared to the local bundle adjustment, the double window optimization with the estimated pose covariance can handle much more active keyframes for the same computation budget, thus it achieves higher accuracy and reliability in uncertain situations.

Our algorithm shows superior performance in the EuRoC dataset compared to the state-of-the-art algorithms, and it handles very challenging scenarios with significant noise or completely blind segments robustly where the other algorithms fail.; Recent visual-inertial odometer (VIO) algorithms adopt non-linear optimization with tightly coupled visual and inertial constraints for higher accuracy and robustness. Recent studies have shown that optimization-based algorithms achieve typically high accuracy when given enough amount of information, but occasionally suffer from divergence when solving highly non-linear problems.

However when visual feature tracking becomes unstable due to motion blur or sudden illumination change, the estimated trajectory may drift largely.

Further, their performance significantly depends on the accuracy of the initialization of inertial measurement unit (IMU) parameters.In this dissertation, we address a novel VIO algorithm of estimating the motional state of UAVs with high accuracy.

Firstly, we designed the fusion of visual information and pre-integrated inertial measurements in a joint optimization framework and the stable initialization of scale and gravity using relative pose constraints. Secondly, we propose a visual-inertial odometry using double window optimization which maintains reprojection constraints by all landmark observations in the inner window and only relative pose constraints by marginalizing the landmarks in the outer window, while the pre-integrated inertial constraints connects all keyframes.

In our formulation, axis misalignment, scale factors and g-sensitivity are included in the pre-integrated inertial constraints to cope with uncertain measurements from low-cost inertial sensors.

In relative pose constraints the pose covariance matrices are properly computed and they are utilized in the further optimization. Compared to the local bundle adjustment, the double window optimization with the estimated pose covariance can handle much more active keyframes for the same computation budget, thus it achieves higher accuracy and reliability in uncertain situations.

Our algorithm shows superior performance in the EuRoC dataset compared to the state-of-the-art algorithms, and it handles very challenging scenarios with significant noise or completely blind segments robustly where the other algorithms fail.