멀티 스케일 패치를 이용한 영상 인페인팅

Abstract

영상의 손상된 부분을 복원하거나 불필요한 영역을 제거하기 위해 다양한 영상 처리 기법들이 사용되고 있다. 일반적으로 영상 보간법을 이용하거나 시각적으로 자연스럽게 만들기 위하여 미디안 필터링, 블러링 등을 이용한 복원 방법을 이용한다. 하지만 제거하려는 영역이 너무 크거나 심한 손상을 입었을 경우에는 구조적으로 좋지 않은 복원 방향이나 불필요한 질감 정보를 얻게 되는 결과를 야기하여 자연스럽지 못한 결과를 얻게 된다. 본 논문에서는 구조적 복원뿐만 아니라 기존의 인페인팅(Inpainting) 보다 효과적인 영상 인페인팅 방법을 제안한다. 대표적인 예제 기반 인페인팅 방법은 질감 및 구조적 정보 복원 효과가 뛰어나지만, 복잡한 구조를 이루고 있는 영상에서는 패치 선택의 과정에서 원하지 않는 패치가 선택될 수도 있고, 선택된 패치가 원본 영상에서 구조적으로 맞지 않을 경우에 블록 현상이 발생하여 부자연스러운 결과를 얻게 된다. 본 논문에서는 이러한 문제점들을 개선하여 구조적으로 더 자연스럽게 복원하기 위하여 원본 영역 내의 후보 패치들과 채워질 영역과의 공간적인 거리 차이를 사용하여 최적의 후보 패치를 선택하고, 선택된 패치내의 에지 세기에 따른 멀티 스케일 패치를 이용하여 복원 하는 방법을 제안한다. 실험 결과 제안한 방법을 통해 기존의 예제 기반 인페인팅 방법을 이용한 결과보다 질감과 구조 정보가 향상된 보다 자연스러운 복원 결과를 얻을 수 있음을 알 수 있다.