Deep local features robust to scale changes

Abstract

Deep learning-based local features show higher performance than hand- crafted local features. In particular, they are robust to illumination changes compared to traditional methods, but they do not show significant performance differences in view-point changes. This is because traditional local features are extracted considering scale and rotation, but deep learning-based methods do not consider them. In this thesis, we propose a network for extracting local features based on deep learning that is robust to scale changes. It extracts an interest point robust to scale changes from one image using a scale pyramid composed of several heatmaps with different receptive fields and simultaneously computes a descriptor of the interest points. When training, instead of using only the ground truth(g.t.) feature points at one view-point, all the features of the image obtained by homography transformation of one image are used. Here, g.t. feature points are constructed to have a high score for feature points extracted multiple times at various points by weighting feature points extracted multiple times at the same location. Three experiments show that the proposed model shows poor detection performance compared to other deep learning-based local features, but the reliability of descriptor is improved more. If the performance of the detector is further improved in the future, it is considered that there is a sufficient possibility that it will become a state-of-the-art deep learning-based local feature. |기존 딥러닝 기반의 local feature들은 전통 local feature 대비 높은 성능을 보여주고 있다. 특히, 이들은 전통 방법 대비 조명 변화에 매우 강인한 모습을 보여주지만, view-point 변화에서는 큰 성능 차이를 보여주지 못하고 있다. 이는 전통 local feature의 경우 scale과 rotation을 고려하여 추출되지만, 딥러닝 기반의 방법은 이들을 고려하지 않기 때문이다. 본 논문에서는 이 중 스케일에 강인한 딥러닝 기반의 local feature를 추출하는 네트워크를 제안한다. 이는 각기 다른 receptive field를 가지는 여러 개의 heatmap으로 구성된 스케일 피라미드를 이용하여 하나의 이미지로부터 스케일에 강인한 interest point를 추출하는 것과 해당 interest point의 descriptor 계산을 동시에 수행한다. 학습할 때 하나의 시점에서의 정답 특징점만을 이용하는 것이 아닌 하나의 이미지를 여러번 Homography Transform 하여 얻은 이미지의 특징점을 모두 이용한다. 이 때 동일한 위치에 여러번 추출되는 특징점에 대해 가중치를 주어 다양한 시점에서 여러번 추출되는 특징점에 대해 높은 스코어를 가지도록 정답 특징점을 구성한다. 3가지 실험을 통해, 제안된 모델이 다른 딥러닝 기반 local feature 대비 저조한 detection 성능을 보여주는 것과 달리 descriptor의 reliability가 더 향상됨을 확인할 수 있다. 추후 detector의 성능이 더 향상된다면 최첨단 딥러닝 기반 로컬 기능이 될 가능성이 충분히 있다고 생각된다.