비율 최적화를 이용한 2차원 얼굴 영상의 실감적인 재조명

Abstract

2차원 영상에서 임의의 조명 상태를 추정하고 복원해 내는 기법은 어려움에도 불구하고 최근 많은 연구가 진행되고 있다. 2차원 얼굴 영상에서는 조명의 분석이 난해하기 때문에 이를 해결할 만한 적절한 조명 처리 기법이 개발되어 있지 않은 상태이다. 이에 2차원 컬러 얼굴 영상에서 조명 분석과 재조명(relighting) 기법에 대한 연구가 필요하다. 본 논문에서는 2차원 컬러 얼굴 영상에서 조명의 방향을 추정하고, 이를 현실적으로 재조명하는 기법에 대해서 제안한다. 실제 모든 방향에서 들어오는 전역 조명을 표현하기 위해서는 컴퓨터상에서 적분 연산을 수행하기 때문에 많은 시간이 필요하다. 이를 해결하기 위한 방법으로는 제한된 조건하에서 조명 기저 함수(lighting basis function)를 사용하여 조명을 근사하는 기법이 있다.[3][4] 조명을 근사할 때 가장 많이 사용되는 기저 함수로는 spherical harmonics(SH) 기저 함수가 있고, 이를 사용하여 irradiance environment map(IEM)을 근사할 수 있다. IEM은 모든 방향에서 들어오는 조명에 대한 반사광을 나타낸다. 조명의 방향을 추정하기 위해서 본 논문에서는 reference data set을 사용한다. Reference date set은 3차원 상의 57개의 방향에서 조명이 비추어진 영상들의 SH 계수를 미리 구해 놓은 것이다. Reference data set에서 입력 영상의 SH 계수와 가장 유사한 방향을 구하고, 구해진 방향에서의 SH 계수값과 입력 영상에서의 SH 계수값 사이의 비율을 이용해서 최적화된 조명의 방향을 구한다. 최종적으로 구해진 조명 방향에 조명 함수(lighting function)를 적용하여 2차원 영상에서 재조명을 수행한다.; Generating 2D realistic images of human face under arbitrary lighting conditions has been a fascinating yet challenging problem. Despite its difficulty, great progress has been made in the past a few years. Since it is difficult to analyze illumination in 2D facial images, proper techniques for illumination control have not been developed. Therefore, it is necessary to work for lighting analysis and relighting technique. In this thesis, we deduce the lighting direction in 2D human facial images, and propose a realistic relighting technique by deducing lighting direction. Because calculating all lighting directions takes a long time, we use irradiance environment map. Irradiance environment map is reflected lighting that is approximated by spherical harmonic lighting basis. We use reference data set to deduce a lighting direction from 2D images. Reference data set are composition of SH coefficients that are computed by SH projection from 3D lighting of 57 directions. We search a direction of SH coefficient from precalculated reference data set, which is most similar to the SH coefficient of input image. Then, we calculate the optimal lighting direction by using the ratio of SH coefficient of the searched direction to SH coefficient of the input image. Finally, we relight a 2D facial image using lighting function by calculated optimal lighting direction.