가중치 시공간 정보를 이용한 적응적 De-interlacing 기법

Abstract

영상 보간(image interpolation)이란 적은 영상 정보의 상관관계 및 개연성을 이용하여 부족한 영상 데이터를 생성하는 기술이다. 예를 들면, 낮은 프레임 수의 영상을 두 프레임 간의 상관성을 고려하여 중간 영상 프레임을 만들어 내는 FRC(frame rate conversion) 기술, 그리고 낮은 해상도의 영상을 높은 해상도로의 변환을 하기 위한 기술, 그리고 격행주사(interlaced scan) 방식의 필드(field) 구조를 프레임 구조로 보간하는 De-interlacing 기법 등이 있다. 이런 영상 보간 방법 중 본 논문에서는 격행주사 방식의 영상 조건에 가중치를 부여한 시-공간 정보를 이용한 효율적인 De-interlacing 알고리듬을 제안한다. 제안된 알고리듬은 먼저 화면내 보간 방법인 WELA(weighted edge based line average)를 기반으로 2개 이상의 필드 정보를 이용한 MC(motion conpensation) 기반의 간 보간 방법인 WELA-ST(spatio-temporal domain information)으로 확장한 하이브리드(hybrid) De-interlacing 방법이다. 또한 보간시 영상의 특성 고려면서 에지 부분의 특색을 손실 없이 보간하기 위해 본 논문은 해당 픽셀에 대한 영상 보간시 각 에지 방향에 따라 가중치를 부여하여 각 방향의 후보값의 가중치 평균을 구하여 영상 보간에 사용하였다. 제안된 알고리듬을 다수의 실험 영상(test sequence)에서 검증한 결과, 기존의 알고리듬에 비해 높은 PSNR을 보일 뿐만 아니라 주관적 화질에서도 우수한 결과를 보였다. 또한 제안된 구조는 하드웨어(hardware) 구현에 있어 복잡도를 낮출 수 있는 형태를 가지고 있음을 확인할 수 있다.; Image interpolation is the skill of obtaining high quality data from low quality data with correlation. For example, the image interpolation is utilized in FRC (Frame Rate Conversion) that puts a new motion compensated frame data between 2 original frame data, the skill of obtaining high resolution images from low resolution images, and De-interlacing. In this thesis, De-interlacing algorithm using weighted spatio-temporal domain information in interlaced scanning is proposed among those interpolation categories. This proposal is composed of 2 methods : NO-MC using a field data and MC using three field data to interpolate. WELA (Weighted Edge Based Line Average) algorithm using NO-MC method proposes interpolation method by weighted average with three directions in a temporal space. WELA_ST (Weighted Edge Based Line Average Spatio-Temporal Domain Information) algorithm using MC is extended to temporal domain from WELA. WELA_ST proposes interpolation by weighted average with 3 directions in a temporal space and 3 directions added from previous and next field. Extensive simulations with video sequences show the efficiency of the proposed algorithm over the conventional method in terms of objective numerical value (PSNR), subjective image quality, and processing time.