Neural Implicit Surfaces for Large Scenes using Valid Region Sampling

Abstract

In this thesis, I propose the valid sample region approach on neural implicit surfaces for large scenes. Previous neural 3D reconstruction algorithms query the deep neural network based on uniformly sampled positions. Recent methods exploit the inverse CDF of the coarse network to adapt to the scene using a two-stage strategy. However, these mechanisms come at the cost of excessive reconstruction time and suffer from noisy outputs. Meanwhile, improved single-stage sampling strategies remain to be investigated. The proposed method progressively adapts the queries to the scene surfaces during optimization. In the discrete volume rendering process, this method introduces the sampling range proposal of possible surface existence. Moreover, with the observation that most areas of the inside-out scenes are empty spaces, the proposed formulation enables sample suppression for regions repeatedly diagnosed as non-surface. Also, since the algorithm adapts to the distance between the camera and the object, a memory reduction of 40% is made possible for the same reconstruction quality. Through experiments on both synthetic and real-world datasets, the proposed framework significantly outperforms the geometric results of the latest surface reconstruction approach by using the valid region sampling algorithms. The proposed method is up to four times faster, with comparison to the state-of-the-art surface reconstruction baseline. Furthermore, the proposed approach achieves substantially more reliable mesh outcomes than the Instant-NGP, both from small-scale synthetic data and from challenging large scenes captured from the real world.|본 학위 청구 논문은 큰 장면에서의 신경망 암시적 표면을 위한 유효한 샘플 범위 분석을 제안한다. 기존의 신경망 3차원 복원 알고리즘은 학습 진행과 사전 지식에 상관 없이 균일하게 샘플링한 위치에 일관적으로 기반하여 인공 신경망 쿼리를 진행한다. 심화된 방법으로서 기존 접근법들은 coarse 네트워크에서 얻은 가중치의 누적 밀도 함수의 역함수를 이용해 2-stage 또는 그보다 많은 반복문을 이용해 장면에 적응적인 샘플링을 시도한다. 하지만 이러한 방법은 표면이 아닌 곳에서의 불필요한 쿼리를 필수적으로 많이 생성하여 장면의 모델링 시간을 늘리고 볼륨 렌더링에서 잡음이 개입되기 쉽게 한다. 1-stage로 유효 범위를 제안 및 제한하는 샘플링 방법은 신경망 radiance장 연구에서 아직까지 심도 있게 다뤄지지 않았다. 본 논문은 기존에 광범위하게 사용되고 있는 깊이 가이드 프레임워크에서 추가 비용 없이 얻을 수 있는 기하학적 사전 지식을 이용하는 한편 최적화가 진행됨에 따라 물체 표면의 위치에 대해 추출할 수 있는 정보를 이용하여 보증된 유효 쿼리 범위를 좁혀나간다. 먼저 볼륨 렌더링의 이산화된 근사치 계산에서 실제 쿼리를 하기 전 지도학습의 부산물로 발생하는 깊이 정보를 이용해 표면이 있을 만한 곳에 1차원 범위 제안을 제시한다. 또한 반복적으로 비 표면 지역으로 투표된 이산 지역을 여러 뷰에서의 결과를 학습 과정 동안 통합하여 만든 3차원 격자에 캐싱하여 추후의 샘플링을 효과적으로 억제한다. 이는 장면에서 대부분의 위치는 빈 공간이나 물체 내부로, 모델링의 대상이 되는 물체 표면은 공간의 적은 부분을 차지한다는 휴리스틱에 기반한 것이다. 본 논문에서 제안하는 방법은 특징 그리드 인코딩 시 카메라 중심으로부터 샘플까지의 거리에 따라 불필요하게 높은 주파수를 가지는 것으로 계산된 해상도의 피처의 신호 세기를 낮추기도 하는데 이는 같은 복원 성능에서 40 퍼센트의 메모리 절감 효과를 가져올 수 있다. 합성 데이터셋과 실제로 촬영된 데이터셋에서 시행한 실험에서 기하학적 성능은 제안하는 표면 적응적 유효 샘플 영역 기법을 사용할 시 유의미하게 향상되었다. 최신 장면 복원 접근 방법에 비해서도 디자인 선택에 따라 최대 4배 빠른 학습 시간을 가졌다. 뿐만 아니라 제안하는 모델을 사용하여 합성 데이터셋과 실제 세계의 큰 규모 장면에서 촬영한 어려운 데이터셋 모두에서 뚜렷한 질적 차이를 가지고 iNGP에 비해 더 복원 대상의 기하와 색깔에 가까운 메쉬를 생성할 수 있었다.