교차연결 오토 인코더와 디코더에서 Feature Mapping Layer 최적화를 통한 이미지-이미지 간 변환의 성능향상

Abstract

국문 요약

이미지-이미지 간 변환은 입력 이미지의 색상, 형태 또는 스타일 등의 특성들을 변환하는 문제이며, 이를 해결하는 것을 통해 컴퓨터 비전 분야의 다양한 문제를 해결할 수 있으나, 이를 위해서는 고품질의 결과물 생성이 가능한 이미지-이미지 간 변환 기법이 요구된다.

본 논문에서는 교차연결 오토 인코더와 디코더의 feature mapping layer 최적화를 통해 이미지-이미지 변환 성능을 최대로 수행하는 모델을 제안하고 실험을 통해 이를 검증하였다. 실험을 통해 확인한 본 연구의 장점은 다음과 같다. 첫 번째, 입력ㆍ출력 이미지의 특성을 각각 학습하는 오토 인코더와 디코더를 구성하고 feature mapping layer를 통해 교차연결하여 기존 연구의 문제점인 형태 변환이 제한되는 제약조건을 해결한다. 두 번째, 해당 기법을 적용하는 이미지 변환 영역에 적합하게 feature mapping layer를 최적화하여 변환의 품질이 향상된다.

해당 실험에는 Cityscapes, Cat2dog과 Summer2winter 데이터셋을 사용하였다. 그 결과, 비교 모델의 결과에 비해 본 논문에서 제안하는 방법을 적용한 모델의 결과가 정성적 평가로 FID 측정결과에서 8%의 성능향상을 보인 것을 포함해 여러 측정 방법에서 우월한 성능을 나타내었고, 정량적 측정에서도 높은 품질 차이를 보였다. 해당 실험의 결과를 통해 본 논문에서 제안하는 기법을 통해 변환하고자 하는 특성에 제약이 없이 이미지-이미지 간 변환을 수행하면서 품질을 보장하는 것이 가능함을 확인할 수 있었다.