Single Image Super-Resolution Method Using Improved Residual Network

Abstract

고해상도(High-Resolution) 이미지에는 저해상도(Low-Resolution) 이미지보다 자세한 정보가 있으며 최근에는 고해상도 이미지에 대한 요구가 증가하고 있다. 이러한 이유로, 많은 단일 이미지 슈퍼 레졸루션(Single Image Super-Resolution: SISR) 복원 기법이 많은 분야에서 연구되어 있다. 특히, 최근에는 깊은 학습 기반 방법으로 낮은 수준의 시각 성능이 크게 향상되었다. 딥 러닝 기반 모델은 기존 알고리즘보다 적은 계산 복잡성으로 더 나은 결과 품질을 보여준다. 최근에는 합성곱 신경망(Convolutional Neural Network: CNN)을 사용하는 모델이 SISR에서 성공적으로 활용되었다. CNN은 감독 학습을 통해 저해상도 이미지와 고해상도 이미지 간의 비선형 매핑을 직접 학습한다. 네트워크 깊이가 증가함에 따라 네트워크 정확도도 향상된다. 그러나, 깊은 CNN 모델이 SISR 방법에서 큰 성공을 거두었음에도 불구하고 많은 수의 파라미터로 인해 여전히 성능이 제한되어 있으며 사라지는 그라디언트 문제를 방지 할 수 없다. 더욱이, 깊은 CNN 모델을 기반으로 하는 SISR 방법 중, 대부분은 원래의 저해상도 이미지의 계층적 특징을 충분히 활용하지 못한다. 그래서, 본 논문에서는 컨볼루션 방법의 한계를 극복하기 위해 회귀 잔차 네트워크와 고밀도 스킵 연결 구조를 기반으로 한 SISR 방법을 제안되었다. 컨볼루션 방법의 한계는 사라지는 그라디언트 문제와 신경 회로망의 높은 계산 복잡성을 포함한다. 재귀적 구조에 기반하여, 제안된 방법은 잔여 학습 전략을 이용하여 네트워크의 성능 및 수렴 속도도 향상시킨다. 이 과정을 통해 제안된 방법은 깊은 네트워크의 사라지는 그라디언트 문제를 완화 할뿐만 아니라 이전 SISR 방법보다 뛰어난 성능을 가질 수 있다. 제안된 방법의 객관적인 성능 평가를 위해 PSNR (Peak Signal-to-Noise Ratio)과 SSIM (Structural Similarity)의 두 가지 화질 측정 기준으로 사용되었다. 실험 결과는 제안된 방법이 객관적 및 주관적 평가에서 기존 방법보다 성능이 우수함을 보여준다.; High resolution (HR) images have more detail information than low resolution (LR) images, and demand for high resolution images is increasing recently. For this reason, many Single Image Super-Resolution (SISR) restoration methods have been studied in many fields. Recently, deep learning-based methods have led to a dramatic improvement in low-level vision performance. Deep learning-based models show a better quality of results with less computational complexity than conventional algorithms. In recent times, models using Convolutional Neural Network (CNN) successfully utilized in SISR. CNN directly learns nonlinear mapping between LR images and HR target images through supervised learning. As the network depth increases, the network accuracy is also improved. However, although the deep CNN model achieved great success in the SISR method, it still has a limited performance due to the large number of parameters, and can not prevent the vanishing-gradient problem. Moreover, most of the SISR methods based on deep CNN model do not make full use of the hierarchical features from the original LR images. In this thesis, SISR method based on recursive residual network and dense skip connection structure is proposed to overcome the limitations of convolutional methods: the vanishing gradient problem and the high computational complexity of neural network. In this dissertation, we introduce recursive learning method to the residual learning network, in addition, we adopt the dense network structure for our proposed network. Based on recursive structure, the proposed method utilizes the residual learning strategy to boost the performance and convergence speed of the network. Through this process, the proposed method not only alleviates the vanishing gradient problem of a deep network but also get the outstanding performance than previous SISR methods. For the objective performance evaluation of the proposed method, two image quality metrics have been taken: Peak Signal-to-Noise Ratio (PSNR), and Structural Similarity (SSIM). The experiment results demonstrate that the proposed method outperforms conventional methods in objective and subjective evaluation.