질감 정보가 부족한 객체에 강건한 6-자유도 객체 자세 추정 모델

Abstract

6-자유도 객체 자세 추정(6-DoF Object Pose Estimation)은 객체의 3차원 공간상의 6-자유도(Degree of Freedom, DoF) 자세를 RGB 이미지에서 추정하는 작업이다. 컴퓨터 비전에서 6-자유도 자세는 객체의 3차원 위치(Position)와 3차원 방향(Orientation)을 포함하는 개념이다. 물체와의 상대적인 거리 및 방향 정보를 추정할 수 있으므로 객체와 상호작용하는 여러 분야에서 활용되고 있으며 대표적으로 로봇공학, 증강현실(Augmented Reality), 자율주행 등에서 핵심적인 역할을 하고 있다[6, 14, 16]. 최근에는 컴퓨터 하드웨어와 딥러닝의 발전으로 인해 인공신경망을 사용하여 RGB 이미지만을 가지고 6-자유도 객체 자세 추정 연구가 활발히 이루어지고 있으나 이러한 연구들에서는 보통 추정하고자 하는 객체의 3차원 CAD 모델을 사전에 주어지는 것을 가정으로 하고 객체마다 모델을 학습해야 괜찮은 성능이 나온다는 단점을 가지고 있다. 이러한 문제점을 해결하기 위해 OnePose[13]와 OnePose++[3] 연구에서는 여러 방향에서 촬영된 객체의 RGB 이미지를 가지고 Structure from motion(SfM) 기술을 통해 객체의 3차원 포인트 클라우드 모델을 자체적으로 추정하고 이를 예측하고자 하는 객체가 담긴 이미지와 3D-2D 매칭을 통해 객체의 자세를 추정하는 구조를 제시하였다. 그러나 여전히 3D-2D 매칭을 학습하는 과정에서 카메라의 시점에 따라 발생하는 자기 폐색(self-occlusion)을 고려하지 않아 질감 정보가 부족한 개체에서는 좋지 않은 성능을 보여주었다. 따라서 본 논문에서는 자기 폐색을 고려하기 위해 기존의 SfM 과정에서 의사 법선 벡터(pseudo normal vector)를 계산하고 이를 학습 단계에서 Visible Ground Truth로 활용하는 OPP-VGT 모델을 제안한다. 본 논문에서 제안한 OPP-VGT 모델의 성능을 측정하기 위해 질감 정보가 부족한 객체들로 이루어진 OnePose-LowTexture dataset에서 기존의 모델들과 실험한 결과 OPP-VGT 모델이 모든 지표에서 가장 높은 성능을 달성하였다. 또한, 일반적인 객체에 대해서도 평가하기 위해 OnePose dataset에서 실험을 진행하였으며 모든 영역에서 기존의 모델에 비해 비슷하거나 소폭 향상된 성능을 보여주었다. 이는 OPP-VGT가 모든 객체에 대해 일반적으로 사용 가능함을 의미하며 향후 SfM을 활용하는 여러 model-free 모델에서도 활용 가능함을 보여준다.