국부적 변화도 특징에 기반한 에지 보존 기법을 이용한 고해상도 영상 보간

Abstract

대부분의 전자 영상 어플리케이션은 고해상도의 영상을 원하거나 자주 필요로 한다. 그러나 상업적인 전자 영상 장치의 한계와 비용 때문에 디지털 영상 카메라 또는 비디오 카메라는 기대했던 것보다 낮은 해상도의 영상을 기록하게 된다. 이는 제한된 셀 크기나 제한된 조리개 시간과 같은 영상 센서의 물리적인 한계와도 관련이 있다. 고해상도 영상 센서가 발전할 지라도, 가격이 너무 비싸거나 모바일 영상 어플리케이션과 같은 작은 전자 영상 장치에는 부적합할 수도 있다. 초해상도 혹은 고해상도 영상 보간은 장면을 기록하는데 사용되는 카메라 센서보다 더 높은 해상도의 영상이나 비디오를 획득하는 것을 일컫는다. 고해상도 영상 보간은 디지털 카메라, 영상 재생, 의료 영상, 위성 영상, 비디오 어플리케이션과 같은 많은 분야에서 유용하게 사용된다. 영상 보간은 해상도 향상의 중요한 부분을 차지한다. 에지(edge)는 자연 영상에서 대부분의 중요한 정보를 포함하고 있기 때문에, 영상 보간을 비롯한 상당수의 영상 처리 어플리케이션에서 에지와 세세한 부분을 보존하는 것은 중요하다. 기존의 많은 접근 방법들은 공간적 영역에서의 단순한 기하학적 구조를 활용한다. 그러나 임의 방향의 에지의 특성을 파악하는 것은 쉽지 않다. 또한 통계적 추정이나 POCS (projection onto convex sets) 같은 방식은 두드러진 결과를 보이지만, 에지의 이중성을 사용하는데 어려움이 있고 높은 복잡도를 요구한다. 본 논문은 국부적 변화도 관점에서 에지의 기하학적 구조를 이용하여 문제를 해결하는 방법을 제안한다. 본 논문은 에지 보존 기법에 기반하여 영상 보간, 디인터레이싱(deinterlacing), 그리고 디모자이킹(demosaicking) 알고리듬을 제안한다. 먼저 고해상도 디스플레이 장치를 위한 에지 보존 영상 보간 알고리듬을 소개한다. 제안한 방법은 수평 및 수직 변화도를 이용하여 에지 방향을 찾고 에지 방향의 정확도를 향상시키기 위해서 보간하려는 화소 주변의 에지를 이용하여 지배적인 에지 방향을 구한다. 그리고 나서 그 지배적인 에지 방향으로 보간을 수행한다. 실험 결과에서 제안한 방법은 에지를 잘 보존해서 높은 시각적 화질을 가지는 고해상도 영상을 생성한다. 두 번째로 격행 주사 영상으로부터 고품질의 결과물을 얻기 위한 디인터레이싱 알고리듬을 기술한다. 디인터레이싱은 크게 화면 내 알고리듬과 화면 간 알고리듬으로 구분된다. 디인터레이싱 방법은 화면 내 알고리듬만 단독으로 사용하거나 화면 간 알고리듬과 같이 사용되므로, 제안한 디인터레이싱 방법은 새로운 화면 내 방법을 개선하는데 초점을 맞춘다. 국부적 변화도 특징에 기반해서 에지 방향을 찾고 비어 있는 주사선의 각 화소를 네 개의 카테고리로 구분한 후, 그 카테고리 결과에 따라 비어 있는 화소를 채운다. 실험 결과는 제안한 방법이 기존 방법들보다 성능이 우수함을 보이고 경쟁적인 방법들보다 낮은 계산 복잡도를 갖는 것을 보인다. 마지막으로 디모자이킹이라고 불리는 단일 센서 영상을 위한 색 필터 배열(color filter array, CFA) 보간 방법을 제안한다. 상당수의 디지털 카메라 제작사들은 비용과 복잡도를 줄이기 위해서 색 필터 배열을 가진 단일 CCD (charge-coupled device)나 CMOS (complementary metal oxide semiconductor) 를 사용하기 때문에, 디모자이킹 과정은 단일 센서 카메라 영상 처리 경로에서 필수 불가결한 처리 단계이다. 본 논문은 단일 센서 단색 영상으로부터 전체 색 영상을 얻기 위해서 에지 보존 기법과 스펙트럼 모델을 고려하는 디모자이킹 알고리듬을 제안한다. 자연 영상에서 세 개의 색 채널은 높은 연관성이 있기 때문에, 제안한 방법은 에지 방향과 채널간 상관 관계에 기반해서 색 채널 보간을 수행한다. 실험 결과는 제안한 방법이 높은 객관적 화질을 가지고 주관적 화질에서 시각적 왜곡을 줄이는 것을 보여준다.; In most electronic imaging applications, images with high-resolution are desired and often required. However, because of the limitation and cost of a commercial electronic imaging device, most available digital image or video cameras can only record images at a resolution lower than desirable. This is related to certain physical limitations of the image sensors, such as finite cell size and finite aperture time. Although high-resolution imaging sensors are advancing, they may be too expensive or unsuitable for small electronic imaging devices, such as mobile imaging applications. Super resolution or high-resolution image interpolation refers to obtaining an image or video at a resolution higher than that of the camera sensor used for recording a scene. High-resolution image interpolation has proven to be useful in many practical cases, including digital camera, image display, medical imaging, satellite imaging, and video applications. Image interpolation is an important branch of resolution enhancement. Since it has been well-observed that edges contain the most important information of a natural image, the preservation of edges and fine details is important in the most digital image application, including image interpolation. Many conventional approaches utilize a simplified geometric structure in the spatial domain. However, it is not easy to capture the characteristics of arbitrarily oriented edge. The other approaches such as statistical inference and projection onto convex sets (POCS), have remarkable performance, but have some difficulty in using a duality of edge and suffer from high complexity. This dissertation is proposed to solve the problems of exploiting the geometric structure of edges from a local gradient feature point of view. Three proposed algorithms, based on the edge-preserving technique, are presented as each topic: image interpolation, deinterlacing, and demosaicking. Firstly, this dissertation introduces an edge-preserving image interpolation algorithm for high-resolution display devices. The proposed method finds an edge direction using horizontal and vertical gradient operators and determines a dominant edge direction using the surrounding edges of the interpolating pixel to increase edge direction accuracy. Then we perform an interpolation according to the dominant edge direction. In the experimental results, the proposed method better preserves the edge and, thus, generates high-resolution images with higher visual quality. This dissertation depicts secondly a deinterlacing algorithm to obtain a high-quality output from an interlaced video. Deinterlacing can be roughly divided into two types: intra-field algorithms and inter-field algorithms. Since deinterlacing methods primarily utilize intra-field methods, both alone and in conjunction with inter-field methods, the proposed deinterlacing method focuses on enhancing intra-field method. The proposed method finds edge direction based on local gradient features, classifies each pixel of the missing lines into four categories, and fills the missing pixel based on the classification results. Experimental results demonstrate that the proposed algorithm outperforms the conventional methods and achieves lower computational complexity than competitive methods. Lastly, this dissertation proposes a color filter array (CFA) interpolation method, called demosaicking, for single-sensor camera imaging devices. Since most commercial digital camera manufacturers reduce cost and complexity using a single-sensor, such as charge-coupled devices (CCD) or complementary metal oxide semiconductor (CMOS) sensor with a color filter array, demosaicking process is the most integral processing step in the single-sensor camera image processing pipeline. This dissertation proposes a demosaicking algorithm considering the edge-preserving technique and the spectral modeling to obtain a full-color image from a single-sensor monochrome image. Since the three color channels of natural image are highly correlated, the proposed method performs color channel interpolation based on edge direction and interchannel correlation. Experimental results show that the proposed method achieves greater objective quality and reduces visual artifacts in subjective quality.