자기 지도 학습을 이용한 딥 비디오 인페인팅

Abstract

최근의 비디오 인페인팅 방법은 대규모 교육 데이터 세트에서 사용할 수 있는 외부 정보를 탐색할 수 있는 딥 러닝의 힘으로 인해 유망한 결과를 보여주었다. 그러나 많은 최첨단 인페인팅 네트워크는 여전히 테스트 시 주어진 입력 비디오에서 사용할 수 있는 내부 정보를 활용하는 데 한계가 있다. 이 문제를 개선하기 위해, 우리는 손상되지 않은 실측 비디오 데이터를 사용하지 않고 완전히 사전 훈련된 인페인팅 네트워크의 매개 변수를 조정할 수 있는 새롭고 효율적인 자체 감독 미세조정 알고리즘을 제시한다. 네트워크 구조를 변경하지 않고 주어진 입력 비디오 내에서 기존의 자체 유사 패치를 활용하여 사전 훈련된 최첨단 인페인팅 네트워크의 파라미터를 갱신하고 인페인팅 품질을 크게 향상시킨다. 정성적 및 정량적 실험 결과는 제안된 알고리즘의 우수성을 입증하며, 우리는 공개적으로 사용 가능한 벤치마크 데이터 세트에 대한 최첨단 인페인팅 결과를 달성한다.