Single Image Super-Resolution using Dense-In-Dense Model

Abstract

초해상도 기법은 최근 심층 신경망을 사용한 딥러닝 모델을 활용하여 기존의 보간법보다 우수한 성능을 보이며 집중적으로 연구된다. Dense Connection 방식을 적용한 RDN은 추출한 초기의 피쳐 맵들을 출력 값에 연결하여 정보가 소실되는 것을 방지하며 고해상도 영상 복원에 필요한 더 많은 특징들을 찾았다. 본 논문에서는 Dense Connection 방식을 이중으로 사용하여 소실되기 쉬운 낮은 계층의 피쳐 값에 작은 규모의 지역적 Dense Connection을 실행하는 이중 밀집 모델 구조를 소개한다. 채널 집중 모듈(Channel Attention Module)은 더 많은 정보가 담긴 피쳐 맵에 더 높은 가중치를 부여하여 차별적으로 집중하여 초해상도 기법에서 자주 사용되며 RCAN은 채널 집중 모듈을 초해상도 기법에 적용하여 성능적인 향상을 보여준다. 하지만 채널 집중 모듈은 계층 간의 상관도를 계산할 수 없었고 이를 위해 HAN에서 계층 집중 모듈(Layer Attention Module)을 도입한다. 계층 간의 상관관계를 계산하여 계층 간의 가중치를 부여하지만 모든 계층 내의 요소를 곱하기 때문에 많은 계산시간과 메모리가 필요하다. 이러한 단점을 개선하기 위해 본 논문에서는 전역 평균 풀링(Global Average Pooling)을 사용하여 모든 피쳐 계층을 평균값 스칼라로 압축한다. 전체 값 대신에 평균값으로 상관관계를 계산하는 계층 평균 집중 모듈(Layer Average Attention Module)을 사용한다. 이중 밀집 모델을 사용한 본 논문의 방식은 DenseNet 구조를 사용한 RDN 보다 높은 PSNR 수치를 보이면서 동시에 더 낮은 파라미터를 학습한다. 파라미터 대비 PSNR을 비교하였을 때 RDN 보다 더 효율적이다. 반면 RCAN에 비해 PSNR, 파라미터 대비 효율성 모두 낮은 값을 보이지만 시각적인 이미지 비교에서 수직 성분을 복구하는 능력이 더 뛰어나다. 몇몇 이미지를 비교하였을 때 RCAN으로 복구한 이미지는 수직 성분이 대각선 성분으로 변질된다. 도시 혹은 건물의 이미지에서 창문이 수직방향이 아닌 대각선 형태로 변형되며 건물의 문양이 변형되고 블록모형이 밀집된 이미지에서 수직성분이 소실된다. 하지만 SRDID는 이러한 대각선 변질이 RCAN보다 적게 발생하며 시각적으로 더욱 완성된 이미지를 생성한다.