블록킹 현상 제거를 위한 방향성 분석 및 적응적 사영 기반 후처리 기법

Abstract

블록기반 DCT 기법은 영상압축 방식으로 가장 널리 사용되는 방법이지만 채널 및 저장 용량의 제한으로 인해 저 비트율로 압축할 경우 블록단위의 양자화에 의해 고주파 성분이 손실되고, 이는 블록킹 현상과 같은 화질열화를 일으키는 주된 원인으로 지적되고 있다. 블록킹 현상은 크게 루프내 방식과 후처리 방식으로 제거할 수 있는데, 현실적으로 부호화 구조를 변경시키지 않고 화질을 향상시킬 수 있는 후처리 방식이 선호되고 있고, 본 논문에서도 후처리 방식의 디블록킹 방법들을 제안하고 있다. 또한 디블록킹 기법은 영상의 화질 개선 (enhancement) 관점과 영상의 신호 복원 (restoration) 관점에 따라 설계방법이 달라질 수 있어, 본 논문에서는 두 가지 관점에서 블록킹 현상을 제거하기 위한 방법을 제안한다. 블록킹 현상을 제거하기 위해서는 블록 경계에 존재하는 고주파 성분을 여러 형태의 저역 통과 필터링 기법을 이용하여 없애는데, 이때 인간 시각에 민감한 정보인 영상의 에지나 방향성 정보를 보존하는 방법은 효과적인 디블록킹 기법의 핵심요소가 된다. 본 논문에서 제안하는 여러 디블록킹 알고리듬은 이러한 영상의 에지 및 방향성 정보를 얻기 위한 효과적인 방법론을 제시하고, 그에 따라 적절한 필터링 방법을 제안하여 효과적으로 블록킹 현상을 제거하도록 한다. 먼저, 최근 여러 응용분야에서 활발하게 이용되는 MPEG-4 디블록킹 필터의 개선방법을 제안하였는데, 블록 경계를 중심으로 비대칭적으로 영상의 활동도를 분석하고 그에 따라 다른 강도의 필터를 적용하여 블록킹 현상을 효과적으로 제거한다. 또한 전처리기는 에지 근처의 불필요한 고주파 성분을 제거하여 영상의 활동도 분석 및 그에 따른 필터링의 성능을 향상시키기 위하여 전처리기를 도입하였다. MPEG-4 필터링은 1차원 필터이기 때문에 대각선 방향에 따른 신호왜곡을 처리하기 어려운 단점이 있는데 이를 해결하기 위해 2차원 필터를 도입하여 이러한 형태의 잡음을 효과적으로 제거한다. 본 논문에서는 인간 시각에 민감한 에지 및 방향성 정보를 보존하면서 블록킹 현상을 효과적으로 제거하기 위해 두 가지 형태의 공간영역 디블록킹 방법을 제안하고 있는데, 블록 구분에 의한 적응적 필터링 방법과 비등방성 확산 기법에 의한 방법이 그것이다. 영상의 방향성 정보를 얻기 위한 블록 구분은 블록의 방향성 기울기 기법 (LGC: line-gradient-based classification)에 의한 방법과 웨이블릿 변환 기법 (WTC: wavelet-transform-based classification)에 의한 방법을 제안하였다. 비등방성 확산 기법에 의한 디블록킹 방법 (DWA: diffusion-based weighted average)에서는 확산 방정식이 영상에 적용될 때 가중 평균으로 근사화될 수 있음을 보이고 이에 따라 블록 경계화소와의 가중 평균에 의해 블록킹 현상을 제거하는 방법을 제안하였다. 다양한 실험 결과로부터 LGC 기반의 방법이 PSNR 및 주관적 성능이 가장 우수하고 복잡도도 가장 낮아 현실적으로 응용 가능성이 높음을 알 수 있다. 그러나, LGC 기반의 방법은 블록의 방향성 결정을 위한 문턱값을 설정하는데 있어 경험적으로 구해야 하는 단점이 제기된다. WTC 기반의 방법은 PSNR 및 주관적 성능면에서 LGC 기반의 방법과 유사한 성능을 보이고 웨이블릿 계수로부터 문턱값이 구해지기 때문에 LCG 기반 방법의 대안이 될 수 있다. 또한 DWA 기반의 방식은 주관적 성능을 나타내는 GBIM 값이 가장 낮아 우수한 성능을 보이지만, 복잡한 영상이나 비교적 고 비트율의 영상에 대해서는 약간의 번짐 (blurring) 현상이 발생하게 된다. 따라서, LCG 기반 또는 WTC 기반 방법과 DWA 기반 방법을 영상 특성에 따라 적응적으로 적용할 수 있는 방법에 대한 연구가 필요하다. 영상 복원의 관점에서 본 논문에서는 볼록 집합 사영 (POCS: projection onto convex sets) 이론을 이용하여 적응적 사영 (HAP: HVS-adaptive projections) 기반 디블록킹 방법을 제안하였다. HAP 기반의 방법에서 SCS (smoothness constraint set)는 DCT 영역에서 정의되고, QCS (quantization constraint set)는 인간 시각 특성에 의한 영상의 활동도에 따라 적응적으로 정의된다. 영상 복원 방법의 특징에 의해 HAP 기반의 방법은 주관적 화질에 비해 PSNR 성능이 우수하게 나타난다. 또한, 제안한 HAP 기반 후처리 방식은 기존의 POCS 기반 후처리 방식에 비해 적은 수의 반복 과정으로 수렴하는 성능 향상을 보이지만, 원본 영상에 대한 선행 정보의 부족으로 인해 영상 구분 기반 및 비등방성 확산 기반의 디블록킹 방법에 비해 주관적 성능이 떨어지고 반복 과정에 의한 복잡도가 상당히 높아 실제 응용분야에 적용하기 위해서는 이를 개선하기 위한 연구가 필요하다.; With the rapid growth of multimedia services in various fields, a typical demand for the satisfactory perception of multimedia contents has been increased at the consumer end. When the visual data are highly compressed to meet the narrow communication bandwidth and the limitation of storage media, the compressed images suffer from several losses in visual quality as well as decrease in fidelity. Hence, there is a conflict between bit-rate reduction and quality preservation. Post-processing is a practical solution to this problem because it can improve image quality without changes of the encoder structure. This dissertation concentrates on the post-processing techniques for alleviating blocking artifacts in BDCT (block-based DCT)-coded images at very low bit-rates, taking into account the directional activity of images to preserve original edges and details while reducing the blocking artifacts. The proposed algorithms are derived from different viewpoints: the image enhancement such as post-filtering and the image restoration such as projection-based processing. The MPEG-4 deblocking filtering is improved by introducing the following matters: pre-processing, non-symmetric filtering, and pixel adjustment in a 2-D way. The pre-processing is performed to reduce undesired high-frequency components, which disturb the determination of adequate filtering mode before the deblocking filtering. Three filtering modes apply 1-D filters in a non-symmetric way to avoid non-filtering or over-smoothing, and a 2-D pixel adjustment is included to eliminate the corner outliers around diagonal edges. The superiority of the proposed deblocking technique is demonstrated in comparison with the conventional deblocking algorithms including the emerging H.264/AVC deblocking filter implemented as a post-filter. This dissertation proposes two kinds of spatial filtering techniques based on the block classification and the anisotropic diffusion to accomplish edge-preserving smoothing. In the classification-based deblocking algorithms, each deblocking frame is analyzed by using the line gradient technique (LGC) and the wavelet transform (WTC). The anisotropic diffusion-based method (DWA) accomplishes edge-preserving smoothing by the weighted average of boundary pixels with the adjusted weights according to image characteristics. Comprehensive experiments demonstrate that the proposed post-processing techniques outperform the existing methods in the literature in terms of the objective and subjective performance. The classification-based algorithms achieve better objective performance than the DWA-based algorithm, whereas better visual quality is observed by the DWA-based approach. The WTC-based method has an advantage over the LGC-based method in determination of a threshold value in a systematic way. The computational complexity of the proposed approaches is very low, so that they can be easily adopted to real-time applications such as mobile devices, moving picture coding, HDTV, etc. The image restoration recovers an image that suffers from noises and distortions to be close to the original image, which is an important part in many image processing fields. This dissertation proposes a post-processing approach based on the theory of projection onto convex sets (POCS) for removing the blocking artifacts. The proposed smoothness convex set (SCS) and its projector are defined in the DCT domain, and the quantization constraint set (QCS) and its projector are defined considering human visual system (HVS) to avoid blurring. It can be seen from experimental results that the proposed technique improves the objective performance and the subjective visual quality compared with the conventional POCS-based deblocking methods. Moreover, POCS cannot be adopted in real-time applications due to its iterations, but the proposed approach converges within a few iterations so that it can be adopted in real-time applications.