반복적인 업-다운 샘플링 구조를 이용한 단일 영상의 초해상도 기법

Abstract

현재 디스플레이 산업이 발전하면서 디스플레이의 해상도가 나날이 높아지 고 있다. 하지만 고해상도 콘텐츠의 수요에 비해 공급이 부족한 상황이다. 그 래서 과거에 배급된 저해상도의 콘텐츠를 고해상도 디스플레이 장치에서 시 청하면 해상도가 부족해 검은 여백이 발생할 수 있다. 또한 수학적 모델링을 통해 해상도를 높일 수 있지만 에지 성분인 세세한 부분을 잘 표현해내지 못 한다. 이러한 한계를 해결하기 위해 해상도를 높이면서 영상의 미세한 부분까 지 생생하게 표현하며 화질을 개선하는 초해상도(Super-Resolution) 기법에 대한 연구가 활발히 진행되고 있다.

최근 단일 영상 초해상도 기법은 영상의 내부 유사성 정보를 활용하는 방 법과 외부 데이터의 유의미한 정보를 활용하는 방법을 벗어나, 합성 곱 신경 망(Convolutional Neural Network: CNN)을 기반으로 연구되어 왔다. 합성 곱 신경망 기반의 초해상도 기법은 데이터 정보를 학습하여 저해상도의 영상을 고해상도로 매핑하는 연관성과 선명한 에지 성분 특징을 추출하는 필터를 스 스로 설계하여 뛰어난 성능 향상을 이루어냈다. 그리고 대부분의 합성 곱 신 경망 구조를 이용한 초해상도 기법은 피드포워드(feed forward)를 통해 저해 상도에서 단번에 고해상도로 매핑을 한다. 이러한 구조는 낮은 배율의 업 스 케일링 결과에서 효율성을 보여준다. 하지만 현재 디스플레이 장치의 해상도 가 점점 높아짐에 따라 낮은 배율의 효율성보다 높은 배율에서 효율성을 가 지는 초해상도 기법이 필요해지고 있다. 그래서 높은 배율에서 효율성을 가지 는 반복적인 업-다운 샘플링 구조가 제안되어 높은 배율에서 높은 성능을 보 여주지만 단순 반복적인 업-다운 샘플링 과정을 통해 기존의 학습된 에지 정 보를 잃어버리는 한계가 있다.

본 논문에서는 높은 배율의 업 스케일링에서 효율성을 가지며 기존의 기법 이 가지는 비효율적인 매핑 구조의 한계를 보완하기 위해 DBPN의 반복적인 업-다운 샘플링 구조를 기반으로 한 단일 영상의 초해상도 기법을 제안한다. 제안하는 기법은 이전의 특징 맵 정보를 각 계층에서 재사용하여 다양한 미 세한 정보를 추출하도록 하였고 정보의 흐름을 유연하게 흐르게 함으로써 깊 은 네트워크에서 학습의 안정화를 갖추었다. 그리고 채널 어텐션 알고리듬을 사용하여 각 특징 맵들의 중요도에 따라 서로 다른 웨이트 값을 매핑하였다. 이를 통해 반복적인 업-다운 샘플링 네트워크 구조를 깊은 신경망 구조에서 효율적으로 학습하게 되어 높은 배율의 업 샘플링에서 더욱 향상된 성능을 보여준다.

제안하는 기법의 객관적인 성능 평가를 위해 최대 신호 대 잡음비(Peak Signal to Noise Ratio: PSNR)와 구조적 유사도(Structural SIMilarity: SSIM) 를 사용하여 비교 및 분석을 진행하였다. 그리고 실험 결과를 통해 제안하는 기법의 PSNR 수치가 기존의 기법에 비해 최대 0.14dB까지 증가한 것으로 확 인하였다. 또한 주관적인 성능 평가에서도 제안하는 기법이 기존의 기법에 비 해 높은 배율의 업 샘플링 결과에서 영상의 미세한 부분까지 선명하게 표현 을 하여 향상된 성능을 확인하였다.