Deep Learning based Image Inpainting Model Performance Improvement Using Fine Tuning Technique

Abstract

Recently, many image inpainting methods produce satisfactory results thanks to deep learning technology. However, most inpainting networks have limitations in utilizing the information of the input image given at test time. To solve this problem, we show a simple and effective fine-tuning method to update the parameters of a pre-trained network without a ground-truth image. We update the parameters of the pre-trained inpainting network by utilizing repeated patches of a given image without changing the network structure and improve the performance of the network. Quantitative and qualitative experimental results demonstrate the performance of the proposed algorithm, and we achieve improved inpainting results on numerous conventional benchmark datasets.|최근 딥러닝 기술의 덕으로 이미지 인페인팅 분야는 만족스러운 결과를 내고 있다. 하지만, 대부분의 인페인팅 네트워크는 테스트 타임에 주어지는 입력 이미지의 정보를 완전히 활용하지는 못하고 있다. 우리는 이 문제를 해결하기 위해 사전훈련된 네트워크의 파라미터를 ground-truth 이미지 없이 파인튜닝하는, 간단하지만 효과적인 파인튜닝 방법을 소개한다. 본 연구에서, 제시하는 방법은 네트워크의 구조적인 변경 없이 주어진 이미지의 반복되는 패턴을 활용하여 사전훈련된 인페인팅 네트워크의 파라미터를 업데이트하고, 성능또한 향상시킨다. 많은 양의 벤치마크 데이터셋을 이용한 우리의 실험 결과는 제시한 방법이 기존의 사전훈련된 네트워크의 결과보다 개선된 결과를 낼 수 있다는 것을 보여준다.