SDF를 이용한 자동 스키닝 웨이트 페인팅 신경망

Abstract

컴퓨터 그래픽스 및 컴퓨터 비전 분야의 발전에 따라 삼차원 물체를 다양한 표현 방식으로 나타내고 있다. 이에 따라 여러 표현 방식을 사용하는 캐릭터의 애니메이션 제작에 대한 수요 또한 증가하고 있다. 캐릭터 애니메이션 제작에 주로 사용되는 스켈레탈 애니메이션의 경우 캐릭터 표면이 어느 관절로부터 영향을 받는지를 정하는 스키닝 웨이트 페인팅 작업이 필요하다. 본 논문은 삼각형 메시를 비롯한 여러 표현방식으로 나타난 캐릭터에 대한 스키닝 웨이트 페인팅 과정을 자동화하는 방법을 제안한다. 우선 다양한 표현 방식을 사용한 삼차원 캐릭터에 대해 일반적으로 사용할 수 있도록 SDF를 이용한다. 이후 그래프 신경망과 다층 퍼셉트론 계층 구조를 활용하여 주어진 위치에서의 스키닝 웨이트를 예측할 수 있다. 본 논문에서 제안한 방법은 입력으로 SDF로 표현된 캐릭터 메시와 스켈레톤 정보, 스키닝 웨이트를 구할 좌표만을 입력으로 받기 때문에 삼각형 메시뿐만 아니라 다양한 표현 방식으로 나타낸 캐릭터에 대한 스키닝 웨이트를 예측할 수 있다. 신경망 학습 및 실험을 위해서 RigNetv1 데이터셋을 이용하였다.|In computer graphics and computer vision research and its applications, various representations of 3D objects, such as point clouds, voxels, or triangular meshes, are used depending on the purpose. The need for animating characters using these representations is also growing. In a typical animation pipeline called skeletal animation, "skinning weight painting" is required to determine how joints influence a vertex on the character's skin. In this paper, we introduce a neural network for automatically performing skinning weight painting for characters represented in various formats. We utilize signed distance fields (SDF) to handle different representations and employ graph neural networks and multi-layer perceptrons to predict the skinning weights for a given point.