Iterative Down-Up Convolutional Neural Networks for Image Restoration

Abstract

디지털 카메라 시스템에서 영상을 획득하는 과정에 많은 열화와 잡음이 발생하고, 열화와 잡음이 발생한 영상을 복원하기 위한 영상 복원은 고품질의 영상을 얻기 위해서 필수적인 기술이다. 영상 복원에는 많은 세부 분야가 있지만, 본 박사학위 논문에서는 영상 잡음 제거와 압축 영상 복원에 대해 다룬다. 영상 잡음 제거에서는 카메라 센서 잡음을 포함한 일반적인 영상에서의 잡음을 모델링한 가우시안 (Gaussian) 합성 잡음과 실제 카메라를 이용해 촬영된 실제 잡음 (real-world noise)을 대상으로 실험한다. 특히, 제안하는 모델들을 이용하여 NTIRE 실사 영상 잡음 제거 챌린지 (NTIRE real-world image denoising challenge)에 참가하였으며 본 논문에서 그 결과를 소개하고 분석한다. 또한 영상 압축에서 발생하는 열화를 가정하기 위해 다양한 품질 값 (quality factor)으로 압축된 JPEG 압축 영상의 복원에 대해 실험한다. 최근에는 영상 복원을 위한 많은 딥러닝 모델들이 제안되었다. 그 중에서, 특징 맵 (feature map)의 다운샘플링 (down-sampling)과 업샘플링 (up-sampling)을 사용하는 모델 구조에 대한 연구가 다수 진행되었으며, 이는 효율적인 GPU 메모리 사용과 큰 수용 영역 (receptive field)을 가지는 특성이 있다. 본 박사학위 논문에서는 합성곱 신경망 (convolutional neural network)을 기반으로 특징 맵의 반복적인 다운-업 샘플링 (down-up sampling)을 사용하는 두 개의 딥러닝 모델을 제안한다. 첫 번째 모델은 DIDN (deep iterative down-up neural network)이고 두 번째 모델은 UIUN (deep iterative U-in-U network)이다. 두 네트워크를 구성하는 기본적인 아이디어는 특징 맵의 반복적인 다운-업 샘플링이고, 개선된 U-Net 구조가 기본 구성 블록으로 사용된다. 이 블록들이 연속적으로 연결되어 반복적이 다운-업 샘플링 구조를 완성한다. 두 개의 모델은 블록 구조와 블록 연결에서 차이점이 있다. DIDN은 U모양의 블록들을 나란히 연결하여 모델을 구성하지만 UIUN은 몇 개의 U모양의 유닛들을 한 단계 높은 수준의 U모양의 블록 내에 배치하여 계층적으로 블록을 연결하고, 결과적으로 U블록 내에 U유닛들이 배치된 U-in-U 구조를 가진다. UIUN은 DIDN을 기반으로 개발되었으며 더 적은 파라미터 (parameter)와 더 낮은 복잡도 (complexity)를 가지면서 향상된 영상 복원 성능을 보이기 때문에 DIDN의 발전된 모델이라고 볼 수 있다. 또한, 본 논문에서는 다중 잡음 (multi-level noise) 처리가 가능한 단일 모델을 학습시키기 위한 효과적인 학습 방법을 제시한다. 특정 레벨의 잡음 제거를 위해 미리 학습된 모델의 파라미터들을 다중 잡음 모델의 초기 파라미터로 사용하여 학습의 안정성과 성능을 높였으며, 이렇게 학습된 다중 잡음 모델은 단일 잡음 (single-level noise)제거를 목표로 학습된 단일 모델보다 비슷하거나 향상된 성능을 보인다. 이는 가우시안 잡음 제거와 압축 영상 복원 모두에서 적용 가능한 기술로써, 추가적인 네트워크 입력이나 파라미터의 증가 없이 모델의 성능을 향상시키는 기술이기 때문에 그 활용도와 실용성이 높다. 실험은 가우시안 잡음과 실제 잡음, 그리고 JPEG 압축 영상 복원의 세 가지 환경에서 진행되었으며 제안하는 모델들은 세 가지 부분에서 모두 기존의 방법들보다 향상된 객관적 및 주관적 성능을 입증하여 새로운 최고 성능 수치 (state-of-the-art)를 달성하였다. 특히 JPEG 압축 영상 복원에서는 제안하는 모델들이 객관적 지표 값 (PSNR: peak signal-to-noise ratio)을 크게 향상시켰으며, NTIRE 2019와 2020 실사 영상 잡음 제거 챌린지에 출전하여 상위권 순위를 차지하며 실제 잡음 제거에서도 우수성을 객관적으로 입증하였다.; Various noises and artifacts are generated to capture and acquire images in a camera system, and image restoration is an indispensable process to obtain high-quality images. There are many techniques in image restoration; in this thesis, image denoising and compression artifacts reduction are considered. In image denoising, Gaussian noise and real-world noise are experimented to model general image noise including camera sensor noise caused by poor illumination and/or high temperature conditions and to include real-world noise conditions, respectively. In particular, the models developed in this thesis are submitted to NTIRE real world image denoising challenge, and the final results are analyzed. To address compression artifacts, JPEG compression is experimented with various compression quality factors. Recently, many deep-learning based approaches have been developed for image restoration. Among them, there are several studies that consider networks using down-scaling and up-scaling of feature maps owing to its efficient GPU memory usage and the capacity to yield large receptive field. In this thesis, two deep-learning models are developed that exploit iterative down- and up-sampling of the feature maps based on convolutional neural network: deep iterative down-up neural network (DIDN) and deep iterative U-in-U network (UIUN). The basic idea supporting the structures of proposed networks is iterative down- and up-sampling of the feature maps. Modified U-Net structure is used as a basic building block of the proposed models, and it is sequentially arranged to construct iterative down- and up-sampling. Two proposed network structures differ in their block structure and block connections. While DIDN concentrates on plain connections of several small U-shaped blocks, UIUN has more hierarchical network structure by placing several U-shaped units in higher-level U-shaped block, thus achieving U-in-U structure. UIUN is the advanced version of DIDN because it has more complicated block structure and block connections, which are developed upon DIDN structure, and shows superior performance with less parameters than DIDN. An efficient learning technique to train a single model that can handle multi-level noise without any additional information is also presented, and proposed networks demonstrate its strength in processing multi-level noise owing to their network structures. Pre-trained weight initialization method, which is proposed in this thesis, improves performances of single-level models and multi-level models in image denoising and JPEG artifacts reduction; therefore, proposed multi-level models show competitive performance with single-level models that are trained separately for specific target artifact level. The experiments are conducted on Gaussian noise, real noise, and JPEG-compression artifacts. State-of-the-art performances are achieved by outperforming all existing methods in all the three tasks. In JPEG artifacts reduction, proposed models increase objective quality measures by a large margin, and in particular, proposed DIDN and UIUN proved their superior image denoising performances by achieving top rankings in NTIRE 2019 and 2020 image denoising challenges.