Edge Adaptive Interpolation of Color Filter Array Images Using Taylor Series Approximation

Abstract

디지털 컬러 영상 표현하기 위해서는, 각 픽셀마다 세 가지 컬러 요소들이 요구된다. 그러나 대부분의 디지털 카메라들은 비용 절감을 위해 컬러 필터 어레이 (Color Filter Array, CFA)가 덮인 단일 센서를 사용하여 컬러 영상을 취득한다. 각 픽셀마다 한 가지 컬러 요소만을 가지고 있는 모자이크 형태의 영상은, 원본 색상 성분을 가지는 픽셀들의 정보를 활용하여 완전한 컬러 영상으로 변환되어야 한다. 이러한 색상 정보의 복원 과정을 디모자이킹 혹은 CFA 보간이라고 한다. 디모자이킹 과정의 설계는 CFA 유형에 따라 좌우된다. 보편적으로 사용되는 베이어 CFA 유형은 초록색 성분을 오점형 배열에 따라 표본 추출하고, 빨간색과 파란색 성분을 사각형 배열에 따라 표본 추출한다. 인간의 시각 체계는 초록색이 분포하는 중간 파장 영역에 가장 민감한 특성을 보이기 때문에, 초록색 성분들을 빨간색 혹은 파란색 성분보다 두 배만큼 표본 추출한다. 공간적 상관관계 (spatial correlation)와 스펙트럼 상관관계 (spectral correlation)는 CFA 보간 과정에서 중요한 역할을 한다. 많은 디모자이킹 알고리듬들이 공간적 상관관계를 고려하여 인접한 픽셀들의 지역적 특성에 따라 보간을 수행한다. 또한 색상 성분들 간의 비율 혹은 차이가 같은 물체 내에서 일정하다는 성질을 나타내는 스펙트럼 상관관계를 보간 과정에 사용한다. 일반적인 디모자이킹 방법들은 공간적 상관관계를 고려하여 윤곽선 방향에 따라 초록색 성분을 보간하고, 보간된 초록색 평면과 빨간색 혹은 파란색 성분간의 스펙트럼 상관관계를 이용하여 빨간색/파란색 성분들을 보간한다. 그러나 기존의 디모자이킹 방법들에서는 부정확한 윤곽선 특성의 결정으로 인해 원치 않는 가공물들이 발생하였다. 이로 인해 낮은 정확도의 보간 방법들은 원본과 다른 영상들을 생성한다. 본 박사학위 논문에서는, 보간 정확도가 높고 효과적으로 가공물들을 제거하는 CFA 영상에 대한 테일러 급수 기반의 윤곽선 적응 보간 기법이 제안된다. 우선, 베이지안 이론 기반의 윤곽선 맵 예측 과정 (Bayesian theorem-based edge map prediction, BTEMP)을 통해 CFA 영상의 윤곽선 맵을 생성한다. 이 과정에서 최근접, 주변 영역, 그리고 영상 전체에 존재하는 초록색 픽셀들의 윤곽선 특성을 고려함으로써, 윤곽선 맵의 정확도가 향상된다. 다음으로, 이전 과정에서 구성된 윤곽선 맵에 따라 존재하지 않는 컬러 성분들을 정확하게 예측하기 위해, 3차 테일러 근사 기반의 윤곽선 적응 디모자이킹 과정 (cubic Taylor approximation-based edge adaptive demosaicking, CTEAD)이 수행된다. 마지막으로, 차이역 (just noticeable difference) 모형 기반의 디모자이킹 가공물 검출 (demosaicking artifact detection, DAD)과 클램핑 기반의 디모자이킹 가공물 제거 (demosaicking artifact removal, DAR) 과정들을 수행하여 가공물이 제거된 컬러 영상을 얻을 수 있다. 18개의 McM (McMaster) 영상들과 36개의 LC (Laurent Condat) 영상들을 포함하는 총 54개 영상들에 대해 제안하는 윤곽선 적응 보간 방법의 실험을 수행하였다. 실험 결과를 통해 제안하는 알고리듬이 객관적 화질 평가 측면에서 가장 우수하다는 것을 알 수 있다. 또한 주관적 화질 비교를 통해 제안하는 알고리듬이 디모자이킹 가공물들을 효과적으로 제거함을 확인할 수 있다.; To represent a digital color image, three color channels are required for each pixel. However, the majority of digital cameras use a single electronic sensor, which is covered by a color filter array (CFA), to acquire images while reducing the cost. Therefore, the captured mosaic-like image with lacking information has to be converted to a full color image by exploiting color information of originally captured adjacent pixel values. This process of restoring color information is called demosaicking or CFA interpolation. The design of the demosaicking process depends on the CFA pattern used. The most common CFA pattern is Bayer CFA pattern, where green (G) components are sampled on a quincunx grid, and red/blue (R/B) components are sampled on a rectangular grid. Because the human visual system (HVS) has the highest sensitivity at medium wavelengths, which occupy the G color part, G components are sampled twice as much as R/B components. Both spatial and spectral correlations play an important role in the CFA interpolation process. Many demosaicking algorithms take a spatial correlation into consideration and perform interpolation according to local features obtained from adjacent pixels. Also, a spectral correlation, which considers that a ratio or difference between color components in the same object is constant, is also used in the interpolation process. General demosaicking methods perform G channel interpolation according to edge direction considering a spatial correlation and interpolate R/B color components using a spectral correlation between interpolated G channel and R/B color components. However, existing demosaicking methods caused unwanted artifacts in the interpolation process due to the determination of incorrect edge characteristics. In addition, the use of low-accuracy interpolation method creates an image that differs from the original full color image. In this dissertation, the edge adaptive interpolation of CFA images using Taylor series approximation is presented which shows high interpolation accuracy and is effective in eliminating demosaicking artifacts. First, the edge map of CFA image is constructed through Bayesian theorem-based edge map prediction (BTEMP) process. In this process, the accuracy of an edge map is improved by considering the characteristics of G pixels in the nearest neighbors, local regions, and entire image. Next, in accordance with the previously constructed edge map, the cubic Taylor approximation-based edge adaptive demosaicking (CTEAD) is performed for accurate prediction of missing color channels. Finally, the just noticeable difference (JND) model-based demosaicking artifact detection (DAD) and clamping-based demosaicking artifact removal (DAR) processes are performed to obtain a full color image. The proposed demosaicking system has been tested on fifty-four images, including eighteen McMaster (McM) images and thirty-six Laurent Condat (LC) images. The simulation has demonstrated that the proposed algorithm shows the best performance in terms of CPSNR, S-CIELAB , and blind/referenceless image spatial quality evaluator (BRISQUE) score. In addition, subjective image quality comparisons show that the proposed algorithm eliminates demosaicking artifacts effectively.