다중 그리드 블록 정합과 군집 필터링을 이용한 영상의 잡음 제거 기법

Abstract

본 연구는 블록 정합 및 군집화 필터링 (Block Matching 3D Filtering, BM3D)기법을 바탕으로 하여, 영상의 잡음 제거를 위한 알고리듬을 제안한다. 더욱 자세하게는, 영상 신호의 공간적 상관도를 최대한 활용하기 위하여 다중 그리드 (Multigrid) 형태로 표현되는 가변 크기의 블록을 이용한 블록 정합 방법을 제시한다. BM3D는 기본 추정과 최종 추정의 두 단계로 나누어지며, 각 단계는 블록 정합, 군집화 및 필터링 (또는 임계화), 그리고 비군집화 및 집합의 세부 세 단계로 나누어진다. 영상의 잡음을 제거하는 방법 중 하나인 BM3D는, 정지 영상에 대하여 고정된 크기의 블록을 사용하여, 지역적인 공간적 특성에 따른 필터링을 수행하여 영상의 잡음에 해당하는 성분을 제거한다. 그러나, 고정된 크기의 블록은 영상의 지역적인 공간적 특성을 반영하는 데에 한계가 있다. 제안하는 BM3D는 초기 크기의 블록 내의 화소 값에 따라서, 정사각형과 직사각형의 모양을 포함하는 하위 블록을 가지도록 하는 다중 그리드 형태의 블록 분할 과정을 포함한다. 초기 크기의 블록이 분할된 하위 블록에 따라서 주어진 탐색 범위 안에서 블록 정합을 수행하도록 한다. 블록을 분할하는 방법은 주어진 초기 블록 내의 화소 값의 히스토그램 모양이 단 개의 봉우리를 이루도록 하여, 하나의 블록이 단일한 지역적인 특징을 나타내도록 하는 것을 목표로 한다. 히스토그램 모양을 특징하는 요소로서, 평균과 분산을 활용하여 블록 분할 과정을 간단하게 하였다. 분할된 하위 블록이 단일한 지역적 특징을 나타냄으로 인하여, 푸리에 변환과 위너 필터를 수행함에 있어서 신호가 정상 (Stationary) 상태에 있을 경우라는 이론적 가정을 만족하여 신호 처리의 측면에서 이득이라고 판단할 수 있다. 제안하는 BM3D의 성능은 설계한 알고리듬에 의하여, 실제 영상에서 물체의 경계 여부에 따른 다중 그리드 형태로 블록이 분할되는 여부 및 모습의 예를 통해서 확인된다. 또한, 실험 결과의 객관적 수치를 통하여, 초기 크기의 블록을 작게 설정한 기존의 BM3D보다, 초기 크기의 블록을 크게 설정한 제안하는 BM3D가 최대 신호-대-잡음비 (Peak Signal-to-Noise Ratio, PSNR)의 측면에서 이득이 있음을 확인할 수 있다. 주관적 화질 측면에서도, 영상의 넓은 영역을 비롯하여 물체의 경계 부근에서 블록 단위의 처리로 인한 결함 현상이 적게 나타나면서 화소 값이 자주 변하는 영역 (예: 경계 부근, 섬세한 무늬)도 잘 보존되는 것을 확인할 수 있다. 이는 넓고 평탄한 영역에 대하여 큰 크기의 블록으로 처리하고, 화소 값이 자주 변하는 영역에 대하여 작은 크기의 블록으로 처리한 결과로 해석할 수 있다.|In this thesis, an improved image denoising algorithm is proposed based on block matching 3D filtering (BM3D). The study discusses a multigrid block matching approach which subdivides the block into rectangular lots of various sizes. BM3D is an image denoising algorithm which provides an outstanding objective and subjective quality. It consists of two steps: basic estimate and final estimate. Each step is divided into three sub-steps: block matching, grouping and filtering (or thresholding), and aggregation. The block matching is widely used in video compression techniques such as MPEG-2, H.264/AVC and HEVC (High Efficiency Video Coding). Among these techniques, HEVC which is the most recent video compression standard has adopted variable block size motion estimation to improve coding efficiency. In order to exploit the spatial correlation among adjacent pixels in an image, the proposed algorithm employed the concept of the variable block size in the block matching process. The block division method simply depends on the variance and the mean, which are key parameters to describe the shape of pixel histogram. By estimating the statistical value in the block, the initial block is subdivided into square or rectangular lots of various sizes. After that, the block matching is performed for each individual sub-blocks. Since this form of block division is called multigrid, the approach in this thesis is defined as the multigrid block matching. Analyzing the shape of histograms, the sub-blocks at the final division would yield the unimodal distribution. In other words, each sub-block provides a visually identical region. The Fourier transform and the Wiener filter hypothesize the wide-sense stationary (WSS) signal; thus, the histogram with a single peak would be qualified for this assumption. The performance of multigrid block matching is evaluated by objective and subjective quality measurements. We can observe that sub-blocks generated by the multigrid approach seem to be well divided along the contour of an object. In addition, the proposed BM3D provides the positive gain in terms of Peak Signal-to-Noise Ratio (PSNR) performance. In the visual assessment, edges are well preserved over the object boundaries, and blocking artifacts which are probably due to the block-based processing less appear near the large and plain areas. Therefore, the proposed algorithm efficiently reduces the noise by defining the proper size of blocks according to properties of each local area.; In this thesis, an improved image denoising algorithm is proposed based on block matching 3D filtering (BM3D). The study discusses a multigrid block matching approach which subdivides the block into rectangular lots of various sizes. BM3D is an image denoising algorithm which provides an outstanding objective and subjective quality. It consists of two steps: basic estimate and final estimate. Each step is divided into three sub-steps: block matching, grouping and filtering (or thresholding), and aggregation. The block matching is widely used in video compression techniques such as MPEG-2, H.264/AVC and HEVC (High Efficiency Video Coding). Among these techniques, HEVC which is the most recent video compression standard has adopted variable block size motion estimation to improve coding efficiency. In order to exploit the spatial correlation among adjacent pixels in an image, the proposed algorithm employed the concept of the variable block size in the block matching process. The block division method simply depends on the variance and the mean, which are key parameters to describe the shape of pixel histogram. By estimating the statistical value in the block, the initial block is subdivided into square or rectangular lots of various sizes. After that, the block matching is performed for each individual sub-blocks. Since this form of block division is called multigrid, the approach in this thesis is defined as the multigrid block matching. Analyzing the shape of histograms, the sub-blocks at the final division would yield the unimodal distribution. In other words, each sub-block provides a visually identical region. The Fourier transform and the Wiener filter hypothesize the wide-sense stationary (WSS) signal