Bayer-like White-RGB 컬러 필터 어레이를 위한 색상 보간 방법

Abstract

This thesis proposes the color interpolation algorithm for Bayer-like White-RGB color filter array. As digital camera develops, the resolution of digital camera is increasing, even though the area of the sensor is limited. As the result of this trend, CMOS image sensor allows a huge number of pixels in it. However, the size of each pixel on the sensor becomes smaller; therefore, the amount of light absorbed in same time within a unit pixel is significantly decreasing. This degradation of light sensitivity at unit pixel can lead to deterioration in quality of images, especially in low light condition. Many blurs and noises will appear in the images taken from the digital camera using CMOS sensor above-mentioned in dim-light condition, because long-exposure time is required for aperture to gather enough light for producing acceptable images. To overcome this defection, a sensor which has better sensitivity is required. As the result of the necessity, White-RGB Color Filter Array (W-RGB CFA) is developed. Unlike Bayer CFA pattern, W-RGB CFA pattern uses four types of color filters: white, red, green and blue. White pixels of W-RGB CFA allow penetration of all color elements (red, green and blue) while other pixels allow penetration of only corresponding element. Existence of white pixels increases light sensitivity of W-RGB CFA; therefore, the quality of images captured in dim-light condition can be improved. One pixel on CFA can capture only one kind of color element, algorithm of producing full-color images using CFA images is required, called CFA interpolation. Conventional algorithms uses color ratio of neighboring pixels. However, the conventional algorithms have defect that blur cannot be removed effectively. Therefore, the proposed algorithm utilizes the all direction of edge information, interpolates all color values according to edge direction. W-RGB CFA test images which are made by eliminating particular color channels, W-RGB CFA real image captured by practical digital camera are used in order to simulate the proposed algorithm. As the result of the simulation, 15.78% of SNR and 6.69% of PSNR are improved. Therefore, the proposed algorithm can be used in practical digital camera having Bayer-like W-RGB CFA pattern.|본 학위논문은 Bayer-like White-RGB 컬러 필터 어레이를 위한 색상 보간 방법을 제안하고 있다. 디지털 카메라의 수요가 늘어남에 따라 디지털 카메라의 화소 수가 최근까지도 계속해서 증가하고 있는 추세이다. 하지만 CMOS 영상 센서의 면적은 제한되어 있는 반면 공간 해상도가 증가하면서, 컬러 필터 어레이 (Color filter array, CFA)의 각 화소의 크기는 계속해서 작아지고 있다. 그 결과 한 화소의 센서가 같은 시간 동안 받아들일 수 있는 빛의 양이 줄어들어서 CFA의 빛에 대한 민감도가 상당히 낮아지고 있다. 이러한 CMOS 영상 센서를 사용한 카메라로 저조도 환경에서 사진을 찍을 때 신호대 잡음비(SNR)을 향상시킬 수 있도록 충분한 빛을 받기 위해서는 조리개를 주변이 밝을 때 보다 오랫동안 열고 있어야 한다. 하지만 이러한 오랜 시간 동안의 노출시간은 불가피한 손의 떨림이나 물체의 움직임 때문에 모션 블러를 많이 발생시키게 된다. 저조도 환경에서 블러와 노이즈에 약한 단점을 극복하기 위해서는 빛에 더욱 민감한 센서가 필요로하게 되었는데, 그 결과로 White-RGB Color Filter Array (W-RGB CFA) 가 개발이 되었다. 기존 CFA는 빨강, 파랑, 초록의 세 가지 조합의 색상 필터를 사용한 반면에 W-RGB CFA는 흰색, 빨강, 파랑 그리고 초록의 네 가지 조합의 색상 필터를 이용해서 만들어 졌다. W-RGB CFA의 흰색 픽셀은 모든 파장의 빛을 다 통과시킨다. 이 흰색 픽셀이 빛에 대한 민감도를 향상시키기 때문에 저조도 상황에서 찍은 이미지의 품질이 더욱 좋아 지는 결과를 얻을 수 있다. 풀 컬러 이미지를 만들기 위해서는 W-RGB CFA에서 감지된 각각의 색상정보를 이용한 색상 보간이 필요 하다. 기존의 방법들은 주변 픽셀의 색상 비 (Color ratio)를 사용한 보간 방법을 사용하는데, 해당 방법은 엣지에서 블러를 효과적으로 제거할 수 없다는 단점이 있다. 따라서 제안하는 방법은 색상의 상하좌우 및 대각선의 네 가지 방향의 엣지 정보를 사용하여, 엣지의 방향에 따라 색상를 추정하고, 추정된 색상 값과 서로 다른 채널에 속한 색상 값의 차이를 이용한 중복적인 추정 방식을 통해 보다 정확한 색상을 보간 하는 방법을 제안한다. 제안하는 알고리즘을 검증하기 위해서 풀 컬러 이미지에서 강제로 특정 채널의 색상정보를 삭제하여 W-RGB화 시킨 이미지와 실제 W-RGB CFA를 이용하여 찍은 샘플 이미지를 사용하여 시뮬레이션을 시행 하였고, 그 결과SNR은 평균15.78%, PSNR은 평균 6.69% 증가하는 것을 확인할 수 있었다. 결과적으로 제안하는 방법을 활용하여 Bayer-like W-RGB CFA pattern이 사용되는 모든 카메라에 활용될 수 있을 것으로 기대된다.; therefore, the quality of images captured in dim-light condition can be improved. One pixel on CFA can capture only one kind of color element, algorithm of producing full-color images using CFA images is required, called CFA interpolation. Conventional algorithms uses color ratio of neighboring pixels. However, the conventional algorithms have defect that blur cannot be removed effectively. Therefore, the proposed algorithm utilizes the all direction of edge information, interpolates all color values according to edge direction. W-RGB CFA test images which are made by eliminating particular color channels, W-RGB CFA real image captured by practical digital camera are used in order to simulate the proposed algorithm. As the result of the simulation, 15.78% of SNR and 6.69% of PSNR are improved. Therefore, the proposed algorithm can be used in practical digital camera having Bayer-like W-RGB CFA pattern.