전역적 및 지역적 특성을 이용한 패치 기반의 다중 노출 영상 융합

Abstract

사람들은 화면을 통해 보게 되는 영상과 눈으로 직접 보는 세상이 다를 수밖에 없는지에 대한 의문을 가져본 적이 있을 것이다. 이런 차이를 극복하기 위해 많은 영상 및 디스플레이 업체들은 오랜 기간 기술 개발에 집중했고 최근 HDR(High Dynamic Range) 기술을 개발하였다. 가장 밝은 영역부터 가장 어두운 영역까지의 범위를 DR(Dynamic Range)이라고 하는데, 기존의 디스플레이 장치에 입력되는 영상소스는 SDR(Standard Dynamic Range)로, 밝음의 범위가 사람의 눈으로 보는 범위보다 좁아 실감화질을 구현하는데 한계가 있었다. 하지만, 밝은 곳은 더 밝게, 어두운 곳은 더 어둡게 만들어 사람이 실제 눈으로 보는 것과 유사하게 밝기의 범위를 확장시키는 HDR 기술이 등장하기 시작하면서 소비자들은 디스플레이 장치를 통해 실감나는 영상을 제공 받고 있다. 기존의 디지털 영상 포맷과 출력 장치 등에서 제한된 동적 영역이 있기 때문에 SDR 영상을 HDR 영상으로 변환하는 과정에서 다양한 잡음 및 왜곡 현상이 발생한다. 이러한 문제를 해결하고자 여러 장의 노출이 다른 일반 영상을 융합시켜 HDR 영상처럼 표현하는 MEF(Multi-Exposure Image Fusion)기법에 대해 제안하고자 한다. MEF 기법은 크게 Pixel 기반의 방법과 Patch 기반의 방법으로 나뉜다. 본 논문에서는 Patch 기반의 기존 알고리듬에서 영상 내 잡음을 최소화하고 밝기의 부조화를 조절하기 위한 개선된 가중치 맵을 제안하고자 한다. 첫 번째, 영상의 대비를 높이기 위해 최댓값을 이용한 순위 통계 필터 제안한다. 두 번째, 영상의 윤곽선과 같은 세부정보를 보존 및 강조하기 위하여 Laplacian을 이용한 언샤프 마스킹 필터를 제안한다. 세 번째, 영상의 전체적인 밝기의 분포를 조정하기 위하여 감마변환을 이용한 선형 결합을 제안한다. 실험 결과에 대한 신뢰성을 확보하기 위해 객관적 화질 평가 및 주관적 화질 평가를 통해 비교 및 분석하였다. 객관적인 화질 평가에서는 MEF-SSIM (Multi-Exposure Image Fusion – Structural Similarity Index Measure)의 척도를 통해, 제안하는 알고리듬의 평균적인 수치가 기존 알고리듬 대비 낮은 성능을 나타냈지만 영상 내 관심영역을 설정하고 그 부분에 MEF-SSIM을 수행한 결과 수치에서는 우수한 성능을 나타냄을 확인하였다. 주관적 화질 평가 측면에서는 제안하는 알고리듬을 통하여 기존 알고리듬 대비 과포화 및 저포화 된 영역의 전체적인 밝기의 균형을 조정하여 영상 정보의 손실을 방지하였다. 또한 영상 내 윤곽선과 같은 세부정보를 보존 및 강조시켜 선명한 영상을 생성하였으며, 대비를 강조시켜 사실적인 영상을 생성하였다. 제안하는 알고리듬의 우수성을 입증함으로써, 차세대 디스플레이의 특성에 맞게 알고리듬을 접목시켜 현실과 같이 생생한 영상을 소비자에게 제공할 것으로 예상된다.; People have wondered whether the world they see through the screen and the world they see with their eyes are different. To overcome this difference, many video and display companies have focused on technology development for a long time and recently developed HDR(High Dynamic Range) technology. The range from the brightest area to the darkest area is referred to as DR(Dynamic Range). Since the input source image to the existing display devices are SDR(Standard Dynamic Range) which the range of the brightness is narrower than the range of the human eyes, so there were limitations in implementing image quality. However, as HDR technology, which expands the range of brightness similar to what people see in real-life, becomes more brighter in the bright area and more darker in the dark area, so consumers are getting realistic images through their display devices. Due to the limited dynamic range in existing digital image formats and output devices, various noise and distortion phenomenon occur in the process of converting SDR image to HDR image. To solve this problem, we propose MEF(Multi-Exposure Image Fusion) technique in which multiple exposure are fused with other general SDR images and expressed as HDR images. The MEF technique is largely classified into a pixel-wise method and a patch-wise method. In this thesis, we propose an improved weight map for minimizing the noise in the image and adjusting the unbalance brightness in the conventional patch-wise algorithm. First, we propose a order-statistic filter using the maximum value to increase the contrast of images. Second, we propose an unsharp masking filter using Laplacian to preserve and emphasize details such as edges in the image. Third, we propose a linear combination using gamma transformation to adjust the overall brightness distribution of the image. In order to secure the reliability of the experimental results, objective and subjective image quality were compared and analyzed. In the objective image quality evaluation, the average quality value of proposed algorithm by MEF-SSIM(Multi-Exposure Image Fusion – Structural Similarity Index Measure) measure showed lower than the conventional algorithm. However, the Region of Interest was set in the image and MEF-SSIM was performed in that part. So, It is confirmed that the numerical value shows excellent performance. In terms of subjective image quality evaluation, the proposed algorithm suppresses the loss of image information by adjusting the overall brightness balance of the over-saturated and under-saturated areas compared to the existing algorithm; In addition, we preserved and emphasized detailed information such as edges in the image to create a clear image, and emphasized the contrast to create a realistic image. By demonstrating the superiority of the proposed algorithm, it is expected that the algorithm will be combined with the characteristics of the next generation display to provide consumers with vivid images as in reality.