HDR 영상 복원을 위해 텍스쳐 영역 정보를 결합한 톤 매핑 기법

Abstract

국문요약 HDR 영상 복원을 위해 텍스쳐 영역 정보를 결합한 톤 매핑 기법 강 주 미 한양 대학교 지능형 로봇 공학과 영상신호처리 연구실 넓은 동적 영역(High Dynamic Range: HDR) 기술은 영상의 품질을 향상시키기 위한 많은 기술들 중에 하나로 명암을 세밀하게 분석해 사람의 눈으로 보이는 것과 유사하게 자연스럽고 생동감 넘치는 영상을 표현하기 위해 개발된 기술이다. 돌비비전 컨텐츠를 기준으로 영상의 밝기를 0.0005에서 10,000 니트까지 표현할 수 있으며 이를 통해 선명한 영상을 표현할 수 있다. 그러나 현재 HDR 영상의 넓은 동적 영역을 모두 표현할 수 있는 디스플레이는 존재하지 않으며, 일반 사용자들은 낮은 동적 영역(Low Dynamic Range: LDR) 모니터를 통해 생성된 HDR 영상을 시청해야 한다. 따라서 HDR 영상을 사용자의 디스플레이 사양에 적합하게 매핑하는 과정이 수행되어야 하며 이를 톤 매핑이라고 표현한다. 톤 매핑 기법은 목적과 적용된 기법에 따라 세분화 될 수 있지만, 크게 전역적 톤 매핑 기법(Global Tone Mapping Operator: GTMO)과 지역적 톤 매핑 기법(Local Tone Mapping Operator: LTMO)으로 분류할 수 있다. 전역적 톤 매핑 기법은 하나의 입력 값에 대해 하나의 출력이 이루어지며 단순처리로 인해 계산 복잡도가 낮고 전역적 대비를 보존할 수 있다는 장점이 있다. 그러나 지역적인 특성을 고려하지 않기 때문에 지역적 대비가 보존되지 않고 디테일이 손실되어 영상의 정보를 판단하기 어려운 단점이 발생한다. 일반적으로 인간이 시각적으로 볼 수 있는 동적영역은 24스탑을 초과하지만 주어진 시간 안에 볼 수 있는 동적 영역은 12스탑 미만이다. 지역적 톤 매핑 기법들은 이러한 레티넥스 이론에 근거하여 톤 매핑을 수행한다. 지역적 톤 매핑은 전역적 톤 매핑 기법의 단점을 보완하기 위해 제안된 기법으로 영상의 지역적인 대비와 디테일을 보존하기 위해 제안되었다. 지역적인 영상 처리를 수행하기 때문에 전역적 톤 매핑 기법과 비교하여 계산 복잡도가 높다는 단점이 있으며, 헤일로 열화 현상이 발생할 수 있지만 디테일과 지역적인 대비를 잘 유지할 수 있다는 장점을 갖고 있다. 본 논문에서는 앞서 설명한 기존의 전역적 톤 매핑 기법과 지역적 톤 매핑 기법 각각의 장점을 살리고 단점을 보완하기 위해 지역적 대비와 임계 값 대 밝기 값(Threshold vs. Intensity: TVI) 함수를 이용한 영상 압축을 수행하며 가이디드 영상 필터링(Guided Image Filtering: GIF)과 변화감지역(Just Noticeable Difference: JND) 모델의 공간적 마스킹 기법을 결합한 디테일 보존을 수행한다. 기존의 LTMO는 레티넥스에 기반하여 톤 매핑을 수행하는 경우가 많으며 디테일을 유지하기 위해 영상을 분리시켜 톤 매핑을 수행한다. 비교를 위해 사용된 Ashikhmin의 톤 매핑 기법은 LTMO로써 영상의 디테일을 보존하기 위해 베이스 층과 디테일 층을 분리하여 톤 매핑을 수행하는 과정에서 제안하는 톤 매핑 기법과의 유사함이 있지만 지역적인 대비를 계산하여 베이스 층과 디테일 층을 분리하기 위한 방법으로 가우시안 필터링을 수행한다. 그러나 가우시안 필터링은 영상의 디테일이 정확히 보존되지 못하며 경계 영역 또한 흐리게 하는 단점이 있다. 따라서 이러한 문제점을 개선하기 위해 우선 지역적인 평균 대비와 TVI 함수를 이용한 영상 압축을 수행하며 이를 통해 영상의 전역적, 지역적 대비를 보존할 수 있도록 한다. 다음으로 GIF와 JND 모델의 공간적 마스킹 기법을 결합하여 영상의 디테일 맵을 검출함으로써 결과 영상의 인지적 화질을 향상시키고 영상 정보를 보존한다.; ABSTRACT A Tone Mapping Operator Combined with the Texture Region Information to Reproduce the High Dynamic Range Images Kang, Ju Mi Hanyang University Dept. of Intelligent Robotics Engineering Image Communication & Signal Processing Lab. High dynamic range(HDR) technology is one of many technologies to enhance the quality of images. It is a technique developed to express natural and lively images similar to those of human eyes. Based on the Dolby Vision content, the brightness of the image can be expressed from 0.0005 to 10,000 knits, so that a clear image can be expressed. However, there is no display capable of expressing all the wide dynamic range of HDR image, and ordinary users should watch the HDR image generated through the low dynamic range(LDR) monitor. Therefore, the process of mapping the HDR image to the display specification of the user should be performed and expressed as tone mapping. The tone mapping technique can be subdivided according to the purpose and applied techniques, but can be roughly divided into global tone mapping operator(GTMO) and local tone mapping operator(LTMO). The global tone mapping scheme has a merit in that a single output is made for one input value, the computational complexity is low due to the simple processing, and the global contrast is preserved. However, since the regional characteristics are not considered, the local contrast is not preserved and the details are lost and it is difficult to judge the information of the image. In general, the dynamic range that a human can see visually exceeds 24 stops, but the dynamic range seen within a given time is less than 12 stops. Local tone mapping techniques perform tone mapping based on this Retinex theory. Local tone mapping is proposed to compensate for the disadvantages of the global tone mapping technique and is proposed to preserve the local contrast and detail of the image. It has a disadvantage of high computational complexity compared with global tone mapping technique because it performs local image processing. Halo artifact may occur, but it has the advantage of maintaining detail and regional contrast. In this paper, we use local contrast and Threshold vs. Intensity(TVI) functions to compensate for the disadvantages of existing global tone mapping and local tone mapping techniques. And performs detail preservation combining Guided Image Filtering(GIF) and Spatial Masking techniques of Just Noticeable Difference(JND) model. Conventional LTMOs often perform tone mapping based on Retinex and perform tone mapping by separating images to maintain detail. The Ashikhmin tone mapping scheme used for comparison is similar to the tone mapping scheme proposed in the process of performing tone mapping by separating the base layer and the detail layer in order to preserve the detail of the image with the LTMO, The Gaussian filtering is performed as a method for calculating the base layer and the detail layer. However, Gaussian filtering has the disadvantage that the detail of the image is not accurately preserved and the boundary region is also blurred. Therefore, in order to solve these problems, first, the local average contrast and the image compression using the TVI function are performed, thereby preserving the global and regional contrast of the image. Next, by combining the spatial masking technique of GIF and JND model, the detail map of the image is detected, thereby improving the perceived image quality of the result image and preserving the image information.