히스토그램 변형을 이용한 적응적인 대비 향상 및 동적 영역 압축 기법

Abstract

최근에 스마트 폰, 휴대용 미디어 플레이어, 소형 디지털 카메라와 같은 배터리로 작동하는 휴대용 전자기기는 급속한 성장을 이루었다. 이러한 휴대용 전자기기는 영상 획득 및 디스플레이, 비디오 녹화 및 재생, 영상통신과 같은 다양한 영상 및 비디오 처리 기능을 수행한다. 또한 대부분의 전자 영상 어플리케이션은 고화질의 영상을 필요로 한다. 영상 화질을 향상시키는 하나의 방법은 고해상도 영상을 획득하는 것이다. 하지만 대부분의 휴대용 기기는 영상 장치의 한계와 비용 문제 때문에 고해상도 영상을 획득하기 어렵다. 따라서 획득한 영상을 개선시키기 위한 화질 개선 알고리듬을 사용한다. 화질 개선 기법의 주 목적은 실제 영상에서 구분할 수 있는 특징들의 차이를 증가시킴으로써 영상의 해석능력을 향상시키는 것이다. 지난 수십 년간 영상의 대비 및 동적 영역 향상, 노이즈 제거, 에지 향상 기법 등 다양한 화질 개선 기법이 연구되어 왔다. 하지만 이러한 방법들은 영상을 획득한 이후에 적용하는 후처리 기법이기 때문에 영상을 획득했을 때 원 정보를 사용하지 못할 뿐만 아니라 별도의 처리 과정을 수행해야 한다. 영상의 동적 영역의 조절은 영상 화질을 향상시키는 중요한 요소이다. 영상의 대비 향상 기법 역시 로우 다이나믹 레인지 (low dynamic range: LDR) 영상의 동적 영역을 조절하는 한 방법이라 할 수 있다. 실제 영상을 볼 때 영상의 대비는 같은 영역 안에 있는 한 물체와 다른 물체간의 색깔이나 밝기의 차이로 결정할 수 있다. 즉, 영상의 최대대비가동적 영역이라 할 수 있다. 영상이 디스플레이 장치의 모든 동적 영역을 사용하면 대비 역시 향상되지만 낮은 대비를 갖는 영상은 주어진 동적 영역을 모두 활용하지 못하고 따라서 모든 디테일을 나타내지 못하고 부자연스러운 영상이 된다. 그러므로 적절한 대비 향상 기법은 더 많은 시각적 만족감과 영상의 정보를 얻기 위해 필요하다. 하이 다이나믹 레인지 (high dynamic range: HDR) 영상의 경우에는 HDR 영상을 일반적인 디스플레이 장치에 표현하기 위해서 적합한 값으로 변환하기 위한 방법이 필요하다. 이러한 방법을 톤 재생 (tone reproduction), 또는 톤 맵핑 (tone mapping) 이라 한다. HDR 영상은 사람이 인식할 수 있는 실제 영상의 빛의 세기나 그 이상을 표현할 수 있다. 단순한 톤 재생 방법은 영상에서 밝고 어두운 부분의 세부 정보가 손실될 가능성이 있다. 따라서 톤 재생된 영상이 실제 영상과 가깝게 표현하기 위해서 HDR영상의 특성을 고려해서 변환할 수 있는 기법이 필요하다. 본 논문에서는 낮은 동적 영역을 갖는, 즉 일반 영상의 화질 개선 방법 및 HDR 영상의 효과적인 톤 재생 방법을 제안한다. 먼저, 인간 시각 특성을 이용한 대비 향상 기법을 제안한다. 이 기법은 카메라 모듈의 이미지 처리 프로세서 (image signal processor: ISP) 에서 감마 보정 (gamma correction) 과 대비 향상 과정을 통합해서 수행할 수 있다. 인간 시각 특성을 적용하기 위해서 logarithmic mapping 함수를 이용하고, 원 영상의 특성에 따른 파라미터로 영상의 대비를 조절할 수 있다. 두 번째로 원 영상의 특성을 보존하고 낮은 복잡도를 갖는 HDR 영상을 디스플레이 하기 위한 적응적인 톤 재생 기법을 제안한다. 제안하는 방법은 시각 특성에 기반한 톤 맵핑 함수와 히스토그램 변형 기법을 사용해서 최적의 톤 재생 연산자를 구한다. 이 과정은 인지기반 톤 맵핑 함수의 형태를 유지할 수 있고 과도한 대비 개선 효과를 방지한다. 그리고, 대비 향상의 정도와 최적의 톤 맵핑 함수를 구하기 위해서 히스토그램 변형 기법을 수행한다. 마지막으로 영상의 지역적인 세부정보를 이용한 톤 재생 기법을 제안한다. 먼저, HDR 영상의 히스토그램을 기반으로 전역적 톤 맵핑 함수를 구한다. 다음으로 영상을 부 블록으로 나누고 각 블록에 적응적인 톤 재생 기법을 적용한다. 본 논문에서 주요 기여한 점은 간단한 히스토그램 변형을 이용해서 대비 향상과 동적 영역 압축 기법을 위한 적응적인 방법을 제안한 것이다. 이 방법들은 인간 시각 특성 (human visual system: HVS) 에 기반해서 개선하는데 초점을 두었다. 따라서, HVS의 맵핑 함수의 형태를 유지함으로써 자연스러운 영상을 얻을 수 있고, 과도하게 향상되는 것을 방지할 수 있다. 그리고 주어진 디스플레이 장치의 동적 영역을 모두 사용할 수 있기 때문에 영상의 대비도 향상됨을 볼 수 있다. 실험 결과를 통하여 제안하는 방법이 기존의 방법들과 비교해서 좋은 주관적 화질을 가진다는 것을 검증하였다.|In the last few years, there has been an explosive growth in mobile handheld and battery-operated consumer electronic devices such as smartphone, portable media players, and compact digital cameras. Each of these devices carries out one or more of following image processing functions: image capture and display, video capture and playback, and video communication. In addition to this, images with high visual quality are desired and often required in most electronic imaging applications. One way to improve visual quality is to use higher resolution images. However, most digital cameras cannot provide high resolution images because of the physical limitation and cost of a commercial electronic imaging device. For this reason, image enhancement issues have been raised in many consumer photos. The objective of image enhancement procedures is to improve the visual interpretability of any image by increasing the apparent distinction between the features in the scene. Over the past few decades, many studies have been conducted for image enhancement, such as contrast and dynamic range modification, noise reduction, and edge enhancement. Dynamic range management of image is an important branch of image enhancement. Contrast enhancement techniques can be regarded as dynamic range management of low dynamic range (LDR) images. In visual perception of the real world, contrast is determined by the differences in the color and brightness between the object and other objects within the same field of view. The maximum contrast of an image is the contrast ratio or dynamic range. When the image utilizes the full dynamic range of display, contrast is enhanced. On the contrary, poor contrast results in under-utilization of the offered dynamic range. The acquired images may not reveal all the details and have unnatural phenomena and noise. Therefore, a proper contrast enhancement technique is necessary to obtain a more visually pleasing image. In the case of high dynamic range (HDR) images, to present HDR images for displaying on conventional display devices, the dynamic range of images must be compressed into a displayable range, a process called tone reproduction or tone mapping. HDR images can describe the range of light intensities in the natural world and can even record much broader range of luminance than the human eye can recognize. The details of extremely dim and bright regions may be lost in common LDR images when simple tone reproduction is applied. Therefore, in order to guarantee a perceptual match between the real scene and the tone reproduced image in conventional display devices, proper tone reproduction techniques are required by considering the characteristics of the original HDR image. This dissertation is proposed to control the dynamic range of LDR images and compress the dynamic range of HDR images for the visual quality improvement. The first part of this dissertation considers a contrast enhancement method using logarithmic mapping. This method integrates contrast enhancement and gamma correction procedures in image signal processor (ISP) of a camera module. The proposed algorithm is based on the bin underflow and bin overflow method and achieves contrast enhancement by putting constraints on each histogram component differently. To incorporate characteristics of the human visual system (HVS) into the proposed algorithm, the logarithmic mapping function is used as constraint function. The rate of contrast enhancement is controlled by determining the control parameters with the characteristics of the original image. In the second place, this dissertation presents an adaptive tone reproduction technique for displaying HDR image which is a simple transformation preserving original scene characteristic. The proposed method obtains a tone reproduction curve using the perception-based tone mapping function and histogram modification. A derivative of perception-based tone mapping function is used as constraint function of the original histogram. Then, histogram modification technique is applied to acquire adaptive tone mapping curve and control the rate of contrast. Lastly, a local tone reproduction technique is presented. We first present a global histogram adjustment-based tone mapping operator, which well reproduces global contrast for HDR images. We then segment images and carry out adaptive contrast adjustment using global tone mapping operator in the local regions to reproduce local contrast. The main contribution of this dissertation is a flexible approach to achieve contrast enhancement and dynamic range compression through simple histogram modification. The proposed methods basically focus on enhancing visual fidelity of reproduced image through the use of HVS. These methods not only maintain a shape of perception-based mapping function well but also prevent over-enhancement. Also, the proposed methods can better utilize the full dynamic range of the display while avoiding noise artifacts. The experimental results show that the proposed algorithms produce better visual quality images compared with conventional algorithms.; In the last few years, there has been an explosive growth in mobile handheld and battery-operated consumer electronic devices such as smartphone, portable media players, and compact digital cameras. Each of these devices carries out one or more of following image processing functions: image capture and display, video capture and playback, and video communication. In addition to this, images with high visual quality are desired and often required in most electronic imaging applications. One way to improve visual quality is to use higher resolution images. However, most digital cameras cannot provide high resolution images because of the physical limitation and cost of a commercial electronic imaging device. For this reason, image enhancement issues have been raised in many consumer photos. The objective of image enhancement procedures is to improve the visual interpretability of any image by increasing the apparent distinction between the features in the scene. Over the past few decades, many studies have been conducted for image enhancement, such as contrast and dynamic range modification, noise reduction, and edge enhancement. Dynamic range management of image is an important branch of image enhancement. Contrast enhancement techniques can be regarded as dynamic range management of low dynamic range (LDR) images. In visual perception of the real world, contrast is determined by the differences in the color and brightness between the object and other objects within the same field of view. The maximum contrast of an image is the contrast ratio or dynamic range. When the image utilizes the full dynamic range of display, contrast is enhanced. On the contrary, poor contrast results in under-utilization of the offered dynamic range. The acquired images may not reveal all the details and have unnatural phenomena and noise. Therefore, a proper contrast enhancement technique is necessary to obtain a more visually pleasing image. In the case of high dynamic range (HDR) images, to present HDR images for displaying on conventional display devices, the dynamic range of images must be compressed into a displayable range, a process called tone reproduction or tone mapping. HDR images can describe the range of light intensities in the natural world and can even record much broader range of luminance than the human eye can recognize. The details of extremely dim and bright regions may be lost in common LDR images when simple tone reproduction is applied. Therefore, in order to guarantee a perceptual match between the real scene and the tone reproduced image in conventional display devices, proper tone reproduction techniques are required by considering the characteristics of the original HDR image. This dissertation is proposed to control the dynamic range of LDR images and compress the dynamic range of HDR images for the visual quality improvement. The first part of this dissertation considers a contrast enhancement method using logarithmic mapping. This method integrates contrast enhancement and gamma correction procedures in image signal processor (ISP) of a camera module. The proposed algorithm is based on the bin underflow and bin overflow method and achieves contrast enhancement by putting constraints on each histogram component differently. To incorporate characteristics of the human visual system (HVS) into the proposed algorithm, the logarithmic mapping function is used as constraint function. The rate of contrast enhancement is controlled by determining the control parameters with the characteristics of the original image. In the second place, this dissertation presents an adaptive tone reproduction technique for displaying HDR image which is a simple transformation preserving original scene characteristic. The proposed method obtains a tone reproduction curve using the perception-based tone mapping function and histogram modification. A derivative of perception-based tone mapping function is used as constraint function of the original histogram. Then, histogram modification technique is applied to acquire adaptive tone mapping curve and control the rate of contrast. Lastly, a local tone reproduction technique is presented. We first present a global histogram adjustment-based tone mapping operator, which well reproduces global contrast for HDR images. We then segment images and carry out adaptive contrast adjustment using global tone mapping operator in the local regions to reproduce local contrast. The main contribution of this dissertation is a flexible approach to achieve contrast enhancement and dynamic range compression through simple histogram modification. The proposed methods basically focus on enhancing visual fidelity of reproduced image through the use of HVS. These methods not only maintain a shape of perception-based mapping function well but also prevent over-enhancement. Also, the proposed methods can better utilize the full dynamic range of the display while avoiding noise artifacts. The experimental results show that the proposed algorithms produce better visual quality images compared with conventional algorithms.