Random Prior Frame Training for Video Inpainting

Abstract

This paper proposes a training method that effectively utilizes prior frame information to enhance the performance of video inpainting. Video inpainting is a technique to visually fill damaged areas in each frame in a plausible manner. Although recent deep learning-based video inpainting shows promising results, there are difficulties in generating semantic information when information from adjacent frames is unavailable. Previous video inpainting methods further compound this challenge by operating under the presumption that certain regions are consistently corrupted in every frame. This study reinterprets this problem by defining scenarios where some frames are not damaged, rather than all damaged. Through this approach, uncorrupted original frames are used as prior information, significantly improving inpainting performance. Furthermore, we propose a learning method that randomly selects prior frames, allowing for greater utilization of the original's semantically rich information without additional computational costs. This is evidenced by improvements in both quantitative and qualitative evaluations on our experimental dataset.|본 논문에서는 사전 프레임 정보를 효과적으로 활용하여 비디오 인페인팅 성능을 향상시키는 학습 방법을 제안한다. 비디오 인페인팅은 각 프레임에서 손상된 영역을 시각적으로 그럴듯하게 채우는 기술이다. 최근 딥러닝 기반 비디오 인페인팅이 유망한 결과를 보여주지만, 주변 프레임의 정보를 이용할 수 없는 경우, 의미론적인 정보 생성에 어려움이 있다. 기존 비디오 인페인팅 방법은 모든 프레임에서 특정 영역이 손상된 상황을 가정하기에 이러한 문제가 더욱 가중된다. 본 연구에서는 문제에 대해 새롭게 해석하여, 전체 중 일부 프레임이 손상되지 않은 상황을 정의한다. 이러한 접근을 통해, 손상되지 않은 원본 프레임을 사전 정보로 활용함으로써 인페인팅 성능을 크게 높일 수 있다. 또한 사전 프레임을 무작위로 선택하는 학습 방법을 제안하여 추가적인 연산량 없이 원본의 의미론적으로 풍부한 정보를 더욱 이용할 수 있다. 이는 실험 데이터셋의 정량적, 정성적 평가에서의 성능 향상을 통해 제시한 방법이 유효함을 보였다.