학습 패치와 웨이블릿 변환을 이용한 예제기반 초해상도 영상 복원 기법

Abstract

최근 영상 관련 장비 기술이 점차 발전함에 따라 보다 나은 품질의 고해상도 영상에 대한 요구와 관심이 증대되고 있다. 하지만 영상 획득 장치들의 하드웨어적인 문제나 비용문제, 저장 공간의 문제로 인해 고해상도 영상을 획득하는 대신에 저해상도 영상을 고해상도 영상으로 복원하는 기술 연구가 활발히 진행되고 있다. 본 논문에서는 저해상도 영상을 고해상도 영상으로 복원하기 위해서 웨이블릿 기반(wavelet based)과 예제기반(example based) 방법을 결합한 방법으로써 기존에 시도되지 않은 새로운 복원 방법을 제안한다. 기존의 영상 복원 방법으로써 보간 기반(interpolation based) 방법과 예제기반 방법 등에서 에지 방향에 적응적인 기법들이 제안이 되었지만 여전히 에지 부분에서 계단 현상(aliasing) 및 번짐(blurring) 현상이 발생하는 문제점이 존재한다. 일반적으로 영상이 확대 되는 과정에서 흐릿해지는 결과를 얻게 되는 것은 정보의 손실이 이루어지기 때문이다. 이때 발생하는 정보 손실은 주로 평탄한 영역에서의 정보 손실 보다 에지가 존재하는 고주파 영역에 대한 정보 손실이 더 큰 영향을 미치게 된다. 이것은 영상의 선명함 여부를 판단할 때, 인간의 시각이 평탄한 영역이 아닌 밝기의 차가 존재하는 영역에서의 뚜렷한 경계선에서 오히려 민감하게 작용하는 요인 때문이다. 본 논문에서는 고주파 정보 손실을 줄이기 위해서 웨이블릿 기법을 모티브로 한 초해상도 영상 생성 기법을 제안한다. 웨이블릿 기법은 분할된 각 주파수간에 상관관계가 존재하며 주로 무 손실 압축이나 전송에 의한 손실을 줄이기 위한 경우에 많이 사용된다. 1단계 웨이블릿 변환을 수행하면 1개의 저주파수 대역과 3개의 고주파수 대역으로 영상 성분이 분할된다. 이때, 고주파수 대역의 각 수평(LH : low-high), 수직(HL : high-low), 대각(HH : high-high)에 대한 성분은 물체의 윤곽선 부분에 해당하는 상세한 정보를 갖고 있으며 손실된 영역의 복원을 위한 계수를 의미한다. 따라서 본 논문에서는 웨이블릿의 특성을 이용하여 입력 영상을 고주파 성분이 손상된 저해상도 영상으로 가정하고, 손상된 고주파수 대역을 추정함으로써 영상의 선명함을 유지할 수 있는 초해상도 영상 생성 방법을 제안한다. LH, HL, HH의 고주파 부 밴드는 영상이 저해상도 영상으로 축소되면서 손실되는 가로, 세로, 대각선 영역에 대한 각 차 성분에 대한 정보를 가진다. 즉, LH, HL, HH의 고주파 부 밴드의 정보는 저주파 부 밴드의 패턴의 특징에 따라서 결정된다고 할 수 있다. 따라서 입력 영상의 패치와 데이터베이스 내의 저주파(LL)밴드와의 패턴 특징이 유사하다면 고주파 부 밴드(LH, LH, HH)의 정보 또한 유사할 것이라고 가정한다. 손실된 고주파수 대역을 추정하기 위해서 웨이블릿 패치 쌍으로부터 학습 데이터 셋을 생성하고, 입력된 저해상도 영상과 패치 쌍 내의 저주파수 대역 패치와 유사도를 비교한다. 그런 다음, 유사도가 가장 높은 패치 쌍의 고주파수 밴드 패치로부터 고주파수 밴드에 대체함으로써 계수 정보를 추정한다. 마지막으로 입력된 저해상도 영상과 추정된 고주파수 대역에 대한 역 웨이블릿 변환(Inverse Wavelet Transform)을 수행하여 고해상도 영상을 복원한다. 제안된 방법으로 복원된 고해상도 영상에 대한 화질을 정성적인 평가 외에 정량적으로 평가하기 위해서 에러 기반의 화질 측정 기법인 PSNR(peak signal-to-noise ratio), 에러기반에 인간의 인지적 시각적 판단을 포함한 VSNR(visual signal-to-noise ratio), 영상의 구조적 정보를 기반으로 화질을 측정 하는 SSIM(structural similarity), 다중 스케일 정보를 이용하는 확장된 MS-SSIM(multi-scale SSIM), 영상의 위상정보와 기울기 크기 정보를 기반으로 화질을 측정하는 FSIM(feature SSIM)의 측정 기법을 이용하여 각 방법들에 대한 성능을 평가한다. 실험 결과, 기존의 고해상도 영상에 대한 복원 기법들에 비해서 제안한 방법으로 복원한 영상에 대해서 PSNR이 25.9%, VSNR이 53.3%, SSIM이 11.3%, MS-SSIM이 1.6%, 그리고 FSIM이 7.6% 향상된 결과를 보여줌으로써 본 논문에서 제안하는 방법이 시각적으로, 구조적으로 그리고 위상정보에 기반으로 화질을 측정 했을 때 기존 방법보다 우수함을 입증한다.