Post-Processing of Video Signals Based on Geometric Analysis of Motions and Edges

Abstract

Nowadays, at the consumer end, a typical demand is the satisfactory perception of multimedia content. Post-processing is the last step to improve the perceptual quality of content. Therefore, I solve the video processing problem including error concealment and deinterlacing from geometric analysis point of view. This thesis deals with exploiting geometric constraint of motion or edge for estimating some direction vectors from available observation. Geometry plays a fundamental role in modeling multi-dimensional signals such as image and video. In other words, video processing can be viewed as a geometric inference process. Traditionally, edge and motion information have been used as an important geometric structure in video processing applications. However, since most conventional approaches utilize a simplified geometric structure in the spatial domain, they can’t treat an arbitrary edge orientation. The other approaches such as statistical inference and Projection Onto Convex Sets (POCS) have an outstanding performance, but suffer from high complexity and have some difficulty in using a duality of edge and motion. By exploiting fundamental properties of video, i.e. geometric constraint of edge and motion, we have successfully improved the efficiency of geometric inference in video processing. I firstly present a block loss recovery technique for the image block data corrupted by transmission losses through the employment of fine directional interpolation (FDI). The proposed algorithm introduces a spatial direction vector (SDV). The SDVs are extracted from the edge information of the neighboring image data. Subsequently, the SDVs are adaptively applied to interpolate lost pixels on a pixel-by-pixel basis. This approach provides the reliable capability to recover high-detailed contents in the corrupted block. Experimental results demonstrate that the FDI method outperforms as compared to previous techniques. The second proposed method is a novel intra deinterlacing algorithm (NID) based on content adaptive interpolation. The NID consists of three steps: pre-processing, content classification, and content adaptive interpolation. There are also three main interpolation methods in our proposed NID, i.e. modified edge-based line averaging (M-ELA), gradient directed interpolation (GDI), and window matching method (WMM). Each proposed method shows different performances according to spatial local features. Therefore, I analyze the local region feature using the gradient detection and classify each missing pixel into four categories. And then, based on the classification result, a different de-interlacing algorithm is activated in order to obtain the best performance. The last proposed scheme is a simple and efficient deinterlacing method based on a joint motion-edge model. The proposed method employs block matching in the spatio-temporal window. This approach uses a geometric constraint adaptively to restore edge contour and motion trajectory. Experimental results for several CIF and HD sequences show the validity of the proposed method and the feasibility for the digital TV system.; 오늘날의 멀티미디어 컨텐츠는 기본적으로 사용자를 만족시킬 수 있는 품질을 제공해야 한다. 특히, 영상 후처리는 컨텐츠의 품질을 향상시킬 수 있는 마지막 처리 단계이다. 따라서 본 논문에서는 에러 은닉과 디인터레이싱 등의 영상 후처리 문제를 기하학적 해석 관점에서 접근하여 해결한다. 즉 모션이나 에지의 기하학적 특성을 최대한 활용하여 영상 복원을 위해 필요한 방향 벡터들을 추정하는 방법론을 다룬다. 기하학적인 특성은 이미지나 비디오와 같은 다차원 신호를 모델링 할 때 매우 중요한 역할을 담당한다. 즉 영상처리를 기하학적인 분석 과정이라고 볼 수 있다. 특히, 에지와 움직임 정보는 중요한 기하학적 구조로써 사용될 수 있다. 그러나 기존의 많은 방식들이 공간적 영역에서 단순 에지 모델을 사용하기 때문에, 임의의 에지 방향에 대처할 수 없는 문제점이 있다. 또한 통계적 추정 방식이나 POCS 방식들은 높은 복잡도를 요구하고, 에지와 움직임 정보를 동시에 활용하기 어려운 점이 있다. 본 논문에서는 영상에 대한 에지와 움직임의 기하학적 특성들을 활용함으로써 영상처리의 효율성을 향상시키는 연구를 수행하였다. 먼저 전송 에러로 인해 발생하는 영상의 손실을 정밀한 방향성 보간(FDI: Fine Directional Interpolation)을 이용하여 복원하는 기법을 제안한다. 제안된 알고리즘은 공간 방향 벡터(SDV: Spatial Direction Vector)를 도입한다. 공간 방향 벡터는 손실블럭 주위의 영상 데이터의 에지 정보를 추출하여 구한다. 이 후 손실된 영상 블록은 공간 방향 벡터를 이용하여 픽셀단위로 적응적으로 보간함으로써 복원된다. 이러한 방식은 평탄한 영역뿐만 아니라 에지를 포함한 복잡한 영역도 우수하게 복원할 수 있다. 실험결과 제안된 방식은 기존의 공간적 에러은닉 방법과 비교하여 성능이 우수하다는 것을 확인하였다. 두 번째로 본 논문에서는 공간적인 디인터레이싱을 위한 컨텐츠 기반 적응적 보간 기법을 제안한다. 제안하는 알고리즘은 전처리와 컨텐츠 분석, 컨텐츠에 따른 적응적 보간의 3 단계로 구성된다. 또한 적응적 보간 방식으로써 변형된 에지기반 라인 평균 방식과 그레디언트 기반 방향성 보간, 윈도우 매칭 방식의 세 가지 보간 방식을 제안한다. 각각의 보간 방식은 공간적인 영상 특징에 따라 다양한 성능을 나타낸다. 따라서 각각의 보간할 픽셀 영역은 그레디언트 검출을 통해 영역 특징을 분석하고 네 가지 카테고리로 분류된다. 이러한 분류 결과를 기반으로 각각에 적합한 디인터레이싱 방법을 사용함으로써 최적의 성능을 구현할 수 있다. 다양한 영상에 대한 실험을 통해 제안한 방식이 기존의 방식에 비해 가장 좋은 성능을 보임을 확인하였다. 마지막으로 움직임 및 에지를 위한 공통 모델에 기반한 디인터레이싱 방식을 제안한다. 제안하는 방식은 시공간 윈도우에서 블록 매칭을 동시에 활용하는 것이다. 이러한 방식은 하나의 기하학적 조건을 활용하여 에지와 움직임을 적응적으로 복원할 수 있다. 다양한 영상 시퀀스에 대해 실험해본 결과, 제안하는 방식은 디지털 TV 시스템에 활용될 수 있는 안정적인 성능을 보였다.