가상 회의 시스템을 위한 3D 아바타 얼굴의 텍스처 전이 방법

Abstract

공간 제약이 없는 비대면 온라인 활동의 편리함에 가상 회의 시스템에 대한 수요가 점점 증가하고 있다. 가상 회의 시스템을 비롯하여 사용자를 대변하는 아바타를 사용하는 대부분의 비대면 서비스들은 사용자들에게 원활한 서비스를 제공하고자 만화화 또는 경량화된 아바타 모델을 사용한다. 그러나 최근 아바타의 사실감 표현 또한 시스템의 몰입도를 결정하는 중요한 요소 중 하나로 주목받고 있다. 본 논문에서는 텍스처의 사실감이 부족한 아바타 얼굴 모델에 대하여 고해상도 3차원 얼굴 모델을 이용해 텍스처의 품질을 개선하는 방법을 제안한다. 제안 방법은 총 4단계로 나누어 아바타 얼굴의 3차원 텍스처 전이를 수행한다. 1단계에서는 입력 얼굴 모델에 대하여 안면 표면을 제외한 나머지 부분은 모두 제거하는 전처리를 한다. 2단계에서는 전처리를 거친 두 안면 모델에 대하여 대응점 쌍을 이용해 정합한다. 3단계에서는 정합된 아바타 안면 모델의 각 폴리곤에 대하여 광선 투사를 통해 고해상도 3차원 안면 모델과 대응되는 영역을 매핑한다. 마지막 4단계에서는 3단계의 영역 매핑 정보를 기반으로 워핑으로 텍스처 전이를 수행한다. 총 5가지의 얼굴 모델에 대하여 난반사 텍스처 전이 실험을 진행하였는데, 5가지의 모델 모두 작은 유클리디안 거리 오차값을 보이며 두 안면 모델이 잘 정합되었음을 확인하였다. 또한, 육안으로 보았을 때 기존 아바타 얼굴 모델의 랜드마크를 크게 벗어나는 것 없이 고해상도 3차원 얼굴 모델의 텍스처가 잘 전이된 결과를 확인했다. 본 논문에서 제안한 방법은 사용하는 아바타 모델이나 플랫폼에 상관없이 텍스처를 전이 가능하므로 종속성에서 벗어난다는 장점을 갖는다. 향후에는 난반사를 포함한 다양한 텍스처의 전이와 함께 스킨 톤을 맞추는 연구도 진행할 계획이다.