Pose-guided Person Image Generation using SPADE Normalization Network

Abstract

PGPIG (Pose-Guided Person Image Generation) is a task in computer vision that synthesizes photo-realistic images of individuals by transferring them from a source image to a target pose, ensuring fidelity and realism. This technology holds great promise in various applications, from virtual try-on experiences to artistic rendering. However, when these source images pass through deep and complex neural network layers, the network often fails to capture important features of the original person's image, such as hair style, clothing patterns, and color schemes. To address this issue, we introduce SPADE Person Inage Generation Network (SPIGNet), a novel PGPIG model designed to preserve key features of original source images. This model utilizes the SPADE (Spatially-Adaptive (DE)normalization) network, which is crucial for maintaining the fidelity of the input image's key features. As a result, the images generated by SPIGNet, our proposed model, consistently enhance the details and retain the original features. We conducted extensive experiments using a variety of evaluation metrics to validate the performance of our proposed model. The results of these experiments show improvements in image quality, realism, and the faithful generation of important features. Through the integration of the SPADE network, our approach effectively preserves the intricate attributes of the input images.|자세기반 사람 이미지 생성(Pose guided person image generation, 이하 PGPIG)은 주어진 사람 이미지를 임의의 자세에 맞게 변형해 새로운 이미지를 생성하는 딥러닝 기술이다. 이 기술은 온라인 쇼핑몰, 가상환경 등등 다양한 현실 어플리케이션 분야에 큰 가능성을 가지고 있지만, 주어진 사람 이미지의 중요한 특징(성별, 옷의 복잡한 디자인, 선명한 색감 등)이 다양한 네트워크 계층을 통과하면서 손실되는 문제에 직면하게 된다. 이로 인해, 원치 않는 품질의 이미지가 생성되는 경우가 잦다. 이러한 문제점을 극복하기 위해 본 연구에서는 SPADE(Spatially Adaptive Normalization) 정규화 구조를 활용한 새로운 생성 모델을 SPIGNet을 소개한다. 제안하는 모델 SPIGNet은 입력 이미지의 핵심 특징을 더욱 정확하게 보존하도록 설계되었다. 제안된 모델을 활용하면, 생성되는 이미지에서 원래의 특징이 훨씬 뚜렷하게 보존되며, 다양한 평가 지표를 기반으로 한 실험 결과로 그 성능 향상을 입증하였다.