Effect of Data Representation in Deep Neural Network-based Visual Odometry

Abstract

로봇이 높은 수준의 자율성을 얻기 위해서는 실내외 환경에서 외부 인프라 장치에 의존하지 않고 정확한 위치를 파악하는 기능을 갖춰야한다. Simultaneous Localization and Mapping (SLAM)은 센서 기반 위치 추정 기술로 최근 로봇 분야에 널리 적용되고 있다. SLAM을 통해 로봇은 내장된 센서를 이용하여 지도를 생성하면서 자신의 위치를 정확히 추정한다. SLAM은 크게 Odometry, Mapping, Loop Closure 3가지 요소로 구성되어 있다. Odometry에서 로봇은 센서를 사용하여 이전 위치로부터 이동거리와 회전각도를 계산한다. 매 순간마다의 이동거리와 회전각도를 누적하여 로봇은 자신의 이동경로를 생성해내어 위치를 추정할 수 있게 된다. 하지만 센서와 이동에서 발생하는 노이즈로 인해 경로 추정을 하면서 오차가 누적된다. 오차 보정이 없다면 시간이 지날수록 Drift가 발생하여 경로와 위치 추정결과가 실제 경로와 많이 벗어나게 되면서 신뢰성이 매우 낮아진다. 오차 누적에 의한 Drift를 해결하기 위해 SLAM은 Mapping과 Loop Closure를 통해 전체 경로를 최적화한다. Visual SLAM (VSLAM)은 로봇 위치 추정을 위해 카메라를 주로 사용하는 SLAM 기법이다. VLSAM의 성능은 Odometry 추정 정확도에 직접적으로 의존한다. VSLAM의 위치 추정 정확도를 개선하기 위해 Visual Odometry (VO) 성능을 높이려는 여러 연구가 있어왔다. 전통적인 VO 알고리즘은 Feature 추적, Multi-view Geometry, Bundle Adjustment와 같은 기법을 사용했다. 하지만 VO가 Feature 추적 성능에 크게 의존하게 되면서 광원 환경이 변하게 되면 VO는 일관적인 위치 추정 정확도를 가질 수 없게 된다. 그러므로 일반화가 잘 안 된다는 점이 VO에서 항상 심각한 문제였다. 심층 신경망 (Deep Neural Network)은 이미지 기반 응용 분야에서 높은 정확도와 일반화 성능을 보여줬다. 심층 신경망의 제일 큰 장점은 좋은 데이터셋과 적절한 학습 전략으로 학습된 신경망은 일반화가 잘 된 기능 블록으로서 사용될 수 있다는 것이다. VO의 일반화 문제를 해결하기 위해 VO에 심층 신경망을 적용하는 여러 연구가 있어왔다. 신경망 학습에서 제일 신경써야하는 것은 Overfitting이다. 이는 신경망이 목표하는 Task에 대해 관련 없거나 불필요한 정보를 중점적으로 학습하면서 발생하는 현상이다. Overfitting은 네트워크의 일반화 성능을 감소시킨다. Overfitting은 주로 데이터셋에서 목표하는 Task을 일관적으로 표현하지 못하거나 노이즈가 많이 있을 경우 발생한다. 다른 종류와 형태의 입력 센서 데이터가 심층 신경망 기반 VO 학습 성향에 어떤 영향을 주고, 어떻게 안 좋은 결과를 초래하는 지에 대한 연구는 저조한 편이다. 본 논문에서는 입력 및 출력 데이터의 형태가 심층 신경망 학습 결과에 어떠한 영향을 주는지에 집중하였다. 다양한 센서의 특성을 분석하였으며, 각각의 센서 종류에 대해 어떤 네트워크가 적절한지를 결정하였다. 간단한 데이터 과학 기법을 적용하여 학습 데이터셋을 분석하였으며, 분석 결과를 기반으로 현재 Groundtruth 셋팅으로 학습이 가능한지를 판단하였다. 심층 신경망의 학습에 대한 데이터 형태의 영향을 분석하기 위해 다양한 셋팅에서의 Loss Function 그래프를 비교 분석하였다. 본 논문은 데이터 형태 및 심층 신경망 선택이 Ovefitting와 같은 원하지 않은 학습 결과로 이어지는 지를 다루고자 한다.| For a robot to acquire high level of autonomy, it has to possess the capability to localize its precise position in both indoor and outdoor environment without relying on external infrastructures. Simultaneous Localization and Mapping (SLAM) has been widely used as sensor-based localization technique for robots. In SLAM, a robot uses its on-board sensors to identify its precise location while building the map of the environment. SLAM consists of three major components: odometry, mapping, and loop closure. In odometry, a robot uses its sensors to calculate its translation and rotation from previous position. By accumulating these, the robot can build its trajectory and localize its position in the environment. However, since there is always noise in the sensor and motor motion, error will also be accumulated along with trajectory estimation. As a result, without error correction, over time, pose estimation from odometry will drift away from its groundtruth and become unreliable. In order to solve the drift by error accumulation, SLAM applies global trajectory optimization through mapping and loop closure. Visual SLAM (VSLAM) is a SLAM technique that mainly uses camera sensors for robot localization. Performance of VSLAM is directly related to odometry accuracy. As a result, there has been many attempts to improve the accuracy of VSLAM by improving Visual Odometry (VO) algorithms. Classical VO algorithms utilize feature tracking, multi-view geometry, and bundle adjustment to calculate odometry. However, since VO heavily relies on feature tracking performance, under different illumination conditions, VO cannot operate with consistent accuracy. Therefore, lack of generalization has always been a critical issue in VO. Deep neural network has shown high accuracy and generalization performance in image-based applications. Its greatest advantage is that it can be well-generalized function block if it is trained with quality dataset and appropriate training strategies. In order to solve generalization issue of VO, there have been many researches that apply deep neural network for VO problem. Greatest challenge in deep neural network training is to avoid overfitting. It is the an undesirable phenomenon that the network focuses on learning unrelated and unnecessary features for its task. Overfitting degrades network’s generalization. It is often caused by the inconsistency and noise in the dataset. A few researchers focus on how different representations of input sensor data and groundtruth data affect the training of deep neural network-based VO and cause undesirable training outcomes. This thesis focuses how the representation of input and output data affects deep neural network’s training results. It observes the characteristics of various sensor data types and determines what type of neural network will be appropriate for each sensor type. It utilizes basic data science techniques in order to analyze the dataset and figure out whether it is possible to train the network with current groundtruth setup. Then, it proposes a strategy for stable training of deep learning-based VO. Effect of data representation is displayed through the comparison of loss function graphs under various training setups. This thesis discusses how different data representation and neural network selection lead to undesirable outcomes, such as overfitting.