多重 媒質 텍스처링을 利用한 自然 客體의 事實的인 實時間 再照明

Abstract

영상기반 라이팅(IBL)은 (실제 또는 합성의) 객체를 실제 세계의 라이트 영상으로 화면을 밝게하는 과정을 뜻한다. 이것은 흔히 컴퓨터 그래픽 모델에 실제 및 합성 환경을 반영하는 음영 객체를 보여주기 위해 파노라마 이미지를 택스처 맵으로 활용하는 반사 맵핑 기법을 이용하여 합성된다. 자연객체의 라이팅 (또는 재조명)은 영화 및 게임 산업에 의해 수십 년간 다양한 어플리케이션으로 더욱더 관심을 얻고 있다. 궁극적인 목표는 누가 보더라도 실제 생활에서 볼 수 있을 정도로 유사한 장면을 만드는 것이다.

본 논문에서는 자연 객체의 실시간 사실적인 재조명에 관해 논의할 것이다. 그동안 많은 연구 그룹들에 의해 수많은 재조명 방법들이 연구되었다. 대체로 대부분 연구들은 고품질의 영상 기반 재조명 결과를 도출하기 위하여 다수의 조명 시스템으로부터 라이트 필드 효과를 활용하였다. 그러나 이 방법은 거대한 조명 장치들이 구성되어야 하므로 상용화에 적용하기 충분하지 않았다. 고품질 라이팅 혹은 재조명은 4가지 핵심 요소가 필요하다. 그 요소들은 세밀한 기하학정보, 객체 표면의 매질 특성정보, 주위 환경의 조명정보, 그리고 실시간 처리이다. 그중에서 본 논문은 고품질성과 실시간 처리능력의 방법에 관해 논의한다.

그리고 본 논문에서는 두 가지 형태, 즉 일반적인 사람 얼굴과 생물학적 이리데센스(iridescence) 객체의 재조명 객체를 설명한다. 사람 얼굴에 대해서는,기하학 정보가 중요하다. 그리고 생물학적 이리데센스 객체는 표면상의 매질 특성의 측정이 중요하다. 이리데센스 객체는 다른 빛을 차단한 상태에서 넓은 각도 범위로 빛을 강하게 (혹은 다양한 스펙트럼의 분포로) 반사한다.

첫째, 본 논문은 사람 얼굴에 최소화된 조명 장치를 사용하여 캡쳐된 음영영상으로부터 실시간으로 기하정보를 모델링하는 방법을 제안한다. 제안하는 방법은 퐁의 반사모델을 기초로 한다. 그리고 광선 추적법을 역이용하여 실시간으로 3차원 표면 법선 벡터를 추정한다.

둘째, 간략화된 이성질체 이리데센스 양방향성 반사 분포 함수(BRDF: bidirectional reflectance distribution function)로부터 공간적 스펙트럼 분포 필터링(SSDF: spatial spectrum distribution filtering)을 적용하여 이리데센스 텍스처 기반의 실시간 재조명 방법을 제안하다. 그리고 객체의 매질 특성이 균일하지 않다는 점에서 이방질체인 이리데센스 BRDF를 고려한다. 본 논문에서는 이리데센스 BRDF를 7차원의 공간적 스펙트럼 변화 BRDF(7D SSVBRDF: 7D spatial spectrum varying BRDF)로 명칭을 부르도록 한다. SSDF는 반사 빔 패턴의 스펙트럼 분포를 고려하기위해 특별히 제안하는 알고리즘이다.

제안된 두 가지 타입의 방법은 다양한 자연 객체들에 대하여 보다 사실적이고 효과적인 재조명을 가능하게 한다. 일반적인 사람의 얼굴과 생물학적인 이리데센스 객체를 이용하여 유효한 실험적 재조명 결과를 입증하였다. 그리고 실시간 렌더링을 위하여, 프로그래밍 가능한 GPU 환경에서 다중 매질 텍스처링 파이프라인을 설계하였다. 객체 고유색상, 기하 법선, 그리고 SSDF 기반의 이리데센스 텍스처들이 다중 매질 텍스처링 파이프라인에서 렌더링 된다. 제안하는 방법은 병목현상 없이 효율적인 영상처리가 가능하다.

본 논문에서는 사람 얼굴 재조명 결과로서 실시간 3차원 모델링과 환경맵에 의한 재조명을 보여준다. 이리데센스 재조명 결과에서는 실시간으로 동적인 환경에서 영향받는 다양한 스펙트럼 분포를 보여준다. 결과적으로, 제안하는 실시간 재조명 방법은 상업적 그리고 사실적인 가상 스튜디오 시스템 등에서 폭넓게 사용될 것이다.; Image-based lighting (IBL) is a process for illuminating scenes and objects (real or synthetic) with light images from the realistic world. It is often synthesized using reflection-mapping techniques, which utilize panoramic images as texture maps for computer graphics models to show shading objects that reflect real and synthetic environments. Lighting (or relighting) of natural objects has gained the attention of cinema and game industries for decades due to its numerous applications. The targeted goal is to create scenes that are similar to what users or viewers can see in real-time with their eyes.

This dissertation will discuss real-time photorealistic relighting of natural objects. Although many relighting methods had been previously studied by other groups, most of the previous studies generally used a light field effect from multiple light systems to obtain high quality image-based lighting results. However, this approach requires massive lighting systems and the quality is not good enough for commercial applications. For high-quality lighting or relighting concepts, four key elements need to be considered. These elements include: detailed geometry, surface material property, environment light, and real-time processing. This dissertation will focus on a real-time geometric and radiometric modeling method, which provided both high quality and real-time capabilities.

Two types of relighting objects are presented in this dissertation: general human faces and biological iridescence objects. With regard to human faces, geometry model information is more important than surface material property. And the biological iridescence object method is effective for measuring the surfaces of material properties. The iridescence object reflects surprisingly intense light (or various spectrum distributions) in a wide range of angles, whereas, in other cases, it prohibits any reflection of light.

First, this dissertation proposes a real-time geometry modeling method to shade images lit by a field-capturing system using minimized light to relight the human face. This proposed method is based on the Phong's reflection model and a 3D surface normal vector estimated in real-time using inverse ray tracing.

Secondly, this dissertation utilizes a real-time iridescence texture based relighting method, derived from a simplified anisotropic iridescence bidirectional reflectance distribution function (BRDF), which is based on spatial spectrum distribution filtering (SSDF). The anisotropic iridescence BRDF takes into consideration that the object material property is not homogeneous. In this dissertation, the iridescence BRDF is identified as a 7D spatial spectrum varying BRDF (7D SSVBRDF). SSDF is a unique algorithm based on a spectrum distribution of reflection beam patterns.

The two proposed methods enable more realistic and efficient relighting for various natural objects. Valid experimental relighting results, using general human faces and biological iridescence objects, were verified for this study. And to render real-time processing, a multi-material texturing pipeline on the programmable GPU framework is designed. The diffuse, geometric surface normal vector and SSDF based iridescence textures are rendered on the proposed multi-material texturing pipeline. The proposed method enables efficient image processing without bottleneck.

In this dissertation, the proposed human face relighting results show a real-time 3D shape modeling and relighting with environment. The iridescence relighting results show a variety of realtime-varying spectrum distribution, which is affected by dynamic environment. In conclusion, the proposed real-time relighting method can be widely used in commercial and realistic (image) contents production system.