합성곱 신경망 기반의 단일 영상 내 균일 모션 블러 제거 기법

Abstract

영상 블러(Blur) 현상은 디지털 카메라를 사용하여 사진을 촬영하는 과정에서 발생하며 영상 열화(Degradation)의 주요한 원인 중 하나이다. 영상 블러의 주된 원인은 아웃포커싱(Out-focusing), 물체의 움직임 및 카메라의 흔들림이 있다. 이 중에서 카메라의 흔들림은 모션 블러에 포함된다. 모션 블러는 저조도 환경에서 사진을 촬영할 때 발생한다. 블러 현상이 발생한다면 재촬영을 통해 영상을 얻으면 된다. 하지만 생방송과 같이 특정 순간은 재촬영 하는 것이 불가능하기에 영상 디블러링(Deblurring) 기술을 이용하여 해결해야 한다. 이를 위해 단일 영상(Single Image) 내에서 모든 픽셀에 대하여 동일한 형태로 블러된 균일(Uniform) 모션 블러를 제거하는 기법을 제안하고자 한다. 본 논문에서는 영상 내 윤곽선(Edge)을 선명하게 복원하는 합성곱 신경망(Convolutional Neural Network: CNN)을 이용하여 단일 영상 내 균일 모션 블러 현상을 제거하는 알고리듬을 제안하고자 한다. 먼저 합성곱 신경망에 블러된 영상을 입력하여 블러 커널(Blur Kernel)을 얻는다. 최종적으로 블러된 영상과 추정한 블러 커널을 통하여 블러가 제거된 영상을 얻는다. 제안하는 알고리듬의 우수한 성능을 증명하기 위하여 객관적 화질 평가 및 주관적 화질 평가로 나누어 비교 및 분석을 진행하였다. 객관적 화질 평가에서는 최대 신호 대 잡음비(Peak Signal to Noise Ratio: PSNR)와 구조적 유사도(Structural SIMilarity: SSIM)를 사용하였다. 모든 영상 시퀀스(Sequence)에서 두 지표 모두 제안하는 알고리듬이 기존의 비교 알고리듬보다 높게 측정된 것을 확인할 수 있었다. 주관적 화질 평가에서는 제안하는 알고리듬은 기존 비교 알고리듬 대비 영상 내 윤곽선을 잘 분리하였고 영상의 세부 정보(Detail)를 잘 복원하여 결과 영상을 생성하였다. 실험 결과를 통해 제안하는 알고리듬의 우수성을 증명함으로써, 디지털 카메라로 촬영한 영상에 제안하는 알고리듬의 적용하여 영상의 품질을 높이고 영상 인식의 전처리(Pre-processing) 알고리듬으로 사용하여 성능을 향상시킬 수 있을 것으로 예상된다.; Image blur that occurs when a digital camera is used for photographing is one of the main causes of image degradation. The main causes of image blur are out-focusing, movement of objects and camera shake. Among them, camera shake is included in motion blur. Motion blur occurs when taking pictures in low light conditions. If the blur occurs, you can obtain the image by retaking. However, it is impossible to retake certain moments such as live broadcasts. So it should be solved by using image deblurring technique. To do this, we propose the algorithm to remove the uniform motion blur that is blurred in the same form for all pixels in a single image. In this thesis, we propose the algorithm to remove uniform motion blur of a single image using convolutional neural network (CNN) that reconstructs the edge of the image clearly. First, the blurred image is input to convolutional neural network to obtain uniform motion blur kernel. Finally, the blur removed image is obtained through the blurred image and the estimated blur kernel. In order to demonstrate the excellent reconstruction performance of the proposed algorithm, we compared and analyzed the objective and subjective image quality evaluations. In the objective image quality evaluation, peak signal to noise ratio (PSNR) and structural similarity (SSIM) were used. It is confirmed that the proposed algorithm is higher than the conventional algorithms in all image sequences for both indicators. In the subjective image quality evaluation, the proposed algorithm successfully separated the edge and reconstructed the detail of the image compared to the conventional comparison algorithms. By proving the superiority of the proposed algorithm through the experimental results, It is expected that the proposed algorithm can improve the image quality by applying the proposed algorithm to the image taken by the digital camera and the performance by using it as a pre-processing algorithm for image recognition.