오토 인코더와 디코더의 도메인 교차를 통한 이미지 변환 성능 향상 기법

Abstract

Image-to-Image Translation 기법은 이미지를 입력 받아 원하는 도메인의 이미지로 만들어 주는 변환 기법이다. 컴퓨터 비전 및 컴퓨터 그래픽스 분야에서 중요한 연구 분야이며 특히 이미지의 품질을 개선하기 위한 다양한 연구들이 진행되었다. 하지만 기존의 Image-to-Image Translation 분야의 연구에서는 이미지의 색상, 형태를 비롯한 전체적인 이미지 품질적인 문제를 가지고 있어 원하는 도메인의 이미지를 생성하기 힘든 문제점을 가지고 있다.

본 논문에서는 입력과 출력 도메인에 대한 각각의 오토 인코더와 디코더 네트워크를 사전 학습한 후 입력 도메인의 인코더 네트워크와 출력 도메인의 디코더 네트워크를 교차 연결하여 Image-to-Image Translation 모델의 생성자 네트워크에 적합한 새로운 구조의 신경망 모델을 제안 한다. 제안하는 네트워크의 경우 출력 도메인의 특성이 잘 드러나도록 입력 도메인의 이미지를 변환시켜줄 수 있어 성능이 뛰어나며 이를 입증하기 위해 UNIT, CycleGAN, Pix2pix와 같은 Image-to-Image Translation 모델과의 성능을 비교하였다.

성능 평가를 위해 horse2zebra, cityscapes, maps, night2day, cat2dog 데이터를 사용하였다. 비교를 위한 모델로부터 변환된 이미지 결과에 비해 정량적 측면에서 Inception score 5%, FID score 8% 향상을 비롯한 다양한 측정 기법들에 대해 우수한 성능 향상을 이루었을 뿐만 아니라 정성적 측면에서 변환된 이미지의 품질이 뛰어남을 검증 할 수 있었다. 다양한 실험에 대한 결과를 바탕으로 본 논문에서 제안하는 모델 및 기법을 사용하여 Image-to-Image Translation 분야의 목표 도메인 이미지의 품질 향상 및 목표 도메인의 특성을 반영한 이미지 변환의 성능을 입증할 수 있었다.