Selective Editing of Multiple Facial Attributes by Utilizing Guide Masks

Abstract

얼굴 속성 편집(facial attribute editing)은 얼굴 영상의 속성을 의도대로 편집하는 연구 분야이다. 최근 얼굴 속성 편집 연구에서는 GAN(Generative Adversarial Net)과 인코더-디코더(encoder-decoder) 구조를 활용한 모델들이 하나 혹은 다수의 원하는 속성을 의도대로 편집하는 것이 가능함을 보였다. 그러나 속성을 편집할 때에 의도한 속성 이외의 다른 속성, 얼굴의 세부사항, 배경 영역 등이 왜곡이 발생하는 한계가 있다. 최신 연구들은 이 문제를 해결하기 위하여 몇 가지 접근을 사용하였다. ResGAN은 변경되는 영역만을 학습하기 위하여 잔차 영상(residual image)만을 학습하는 방법을 제안하였다. SaGAN은 공간적 주의 기제(spatial attention mechanism)를 적용하여 영상 내에서 편집할 영역을 식별하여 불필요한 변화를 억제하였다. AttGAN은 복원 손실(reconstruction loss)과 속성 분류 제약(attribute classification constraint)을 적용하여 원하는 속성 이외의 변화를 억제하였다. STGAN은 AttGAN을 기반으로 변경하는 속성과 관련된 특징만을 선별적으로 전달할 수 있는 STU(Selective Transfer Unit)를 추가하여 병목 영역에서의 품질 저하를 완화하였다. SMGAN은 의미적 영상분할 신경망(semantic segmentation network)을 활용하여 원하지 않는 영역의 변경을 예방하였다. 그러나 각 모델들은 한번에 하나의 속성만 변경할 수 있거나, 여전히 일부 속성에서의 왜곡으로 인해 부자연스러운 결과가 발생한다. 이러한 왜곡은 얼굴 영역의 정보를 충분히 활용하지 못한 것을 원인으로 볼 수 있다. 본 논문에서는 기존 최신 얼굴속성편집 모델 중 하나인 STGAN을 기반으로 다각도에서 마스크 정보를 활용함으로써 기존 모델에서 발생하는 배경 영역, 얼굴 영역, 의상 영역의 왜곡을 효과적으로 억제하며 다양한 얼굴 속성을 자연스럽게 편집할 수 있는 모델을 제안한다. 제안하는 방법의 접근은 세 가지로 나뉜다. 첫째, 두 가지 다른 장점을 가진 데이터 세트를 준지도 학습(semi-supervised learning) 방법으로 활용한다. 둘째, 공간적 주의 기제를 활용하여 편집하고자 하는 속성 이외의 영역의 변화를 억제한다. 셋째, 모자 영역을 영상 분할(image segmentation) 방법으로 검출해 변경을 방지함으로써 왜곡을 개선한다. 본 논문의 평가는 크게 정성적 평가와 정량적 평가로 나뉜다. 정성적 평가는 제안하는 방법과 기존 최신기술들을 다양한 샘플에 대해 다양한 속성의 편집 결과를 보이고 장단점을 분석한다. 정량적 평가에서는 얼굴 속성 편집 정확도와 영상 보존 정도를 측정한다. 얼굴 속성 편집 정확도의 측정을 위하여 별도로 학습된 얼굴 속성 분류기(facial attribute classifier)의 결과와 편집하고자 의도한 속성이 일치하는 경우를 정확한 편집으로 간주하고, 불일치하는 경우는 부정확한 편집으로 간주한다. 또한 영상 보존 정도를 측정하기 위하여 원본 영상과 편집된 영상을 널리 사용되는 척도인 PSNR과 SSIM을 통해 측정한다. 실험 및 평가를 종합적으로 검토하여 제안하는 방법이 기존 방법에 비해 왜곡이 억제되고 더 자연스러운 얼굴 속성 편집이 가능함을 검증한다.