Dense Non Rigid Object 3D Reconstruction using Unsupervised Deep Learning

Abstract

비강체 복원(NRSFM)은 컴퓨터 비전의 고전적인 문제로써, 이미지로부터 비강체 변환하는 문제를 복원하는 것을 목표로 한다. 비강체 복원은 변형하는 옷이나 걸어가는 보행자와 같이 일반적인 장면을 처리하는 것이 가능하기 때문에 증강현실이나 가상현실 같은 3 차원 응용에 2 차원 이미지로부터 3 차원 형상을 생성하는데 이용될 수 있다. 잘 알려진 강체복원(SfM)과 다르게 문제의 조건이 나빠(ill-posed) 비교적 적은 관심을 받아 왔다. 몇 년간의 진척에도 불구하고 수백만의 점을 복원하는 고밀도 복원은 정사영 모델에 제한되어 알고리즘의 응용을 제한하였다. 이 논문에서는 원근사영 모델아래에서의 2 차원 궤적으로부터 깊이지도를 복원할 수 있는 알고리즘을 제안한다. 우리는 이를 위해 이미지들로부터 얻은 궤적을 이미지로 대응 지도라고 부르는 이미지 형태로 표현하여 고밀도 대응을 나타내어 컨볼루셔널신경망(CNN)을 활용가능하게 하였다. 이 이미지 표현형을 기반으로 우리는 깊이 지도와 포인트클라우드를 조합하여 최종 결과를 출력하는 새로운 네트워크를 제안하여 두가지 표현형의 표현형적 강점을 융합한다. 최종적으로 기존의 존재하는 희소한 궤적을 위한 비강체 복원 지식들을 고밀도 복원에 사용하는 방법을 제시하여 추가적인 정보 없이 궤적정보만을 이용하여 고밀도 복원을 가능하게 한다. 본 알고리즘의 효과를 보이기 위해 실제 데이터와 인공 데이터에 대하여 정량적, 정성적 실험을 진행하였다.; Non-rigid structure from motion (NRSfM) is a fundamental problem in computer vision, which aims to reconstruct non-rigidly deforming objects from their images. Since NRSfM models can handle general non-rigid objects such as weaving clothes or walking pedestrians, it can be applied to many 3d related tasks of augmented reality (AR) and virtual reality (VR) to produce 3D content from 2D images. Unlike the well-known problem of Structure-from-Motion (SfM), it has gained little attention due to its ill-posed nature. Despite decades of progress, dense reconstruction of a scene involving millions of points still is largely restricted to orthographic projection models, limiting its applications. In this paper, we propose a deep network for dense NRSfM that can reconstruct depth maps from dense 2D trajectories obtained from an image sequence under a perspective projection model. We do so by encoding the trajectories as image representations that we call correspondence maps, expressing the dense identity function as an image, and allowing an efficient application of CNN in the reconstruction process. Based on this map representation, we present a novel architecture that estimates both a depth map and a point cloud, which are combined to produce a final reconstruction. By doing so, we harness the representational strength of both representations and therefore achieve high accuracy and training stability. Finally, we provide a method that can impose existing NRSfM priors designed for sparse trajectories on the reconstructed depth maps. This allows us to learn dense reconstruction without any depth supervision. To show the method's effectiveness, we provide experiments on synthetic and real datasets, both qualitatively and quantitatively. Our method shows competitive performance over all of the comparing methods.