특징 맵의 계층적 특성에 집중한 적대적 생성 신경망 기반 블러 제거 알고리즘

Abstract

최근 화질 개선 분야의 발전으로 인하여 스포츠, 감시 영상, 자율 주행 등에서 발생되는 영상 데이터들을 활용하고자 하는 시도들이 생겨나게 되었다. 이러한 영상들이 가지고 있는 문제 중 하나로 블러(Blur) 현상이 있다. 블러 현상은 이미지 내의 객체가 흔들리거나 사진 전체의 초점이 흔들리게 되어 사진이 명확히 표현되지 않는 현상을 말한다. 이 블러 현상을 해결하기 위한 시도들이 통계적인 방법에서부터 딥러닝을 활용한 방법들로 발전되어 왔다. 합성곱 신경망(Convolutional Neural Network: CNN)을 통한 블러 제거 기법들은 통계적인 모델이나 머신 러닝 기반 모델들이 가진 주어진 블러 제거 조건을 해결하는 방식에서 이미지 내의 블러 제거 조건을 학습하는 방식으로 문제들을 효과적으로 해결했다. 하지만 기존 CNN 방식의 신경망들은 주어진 분포 내에서 최적의 값을 담는 방식으로 학습되기 때문에 실제 여러 원인으로 발생하는 블러 현상을 담지 못해 데이터 셋의 분포를 벗어나면 결과를 제대로 추론하지 못하는 문제점을 보였다. 따라서 본 논문에서는 이러한 문제를 기존의 방법보다 효과적으로 개선하기 위하여 적대적 생성 신경망(Generative Adversarial Network: GAN) 기반의 블러 제거 인공 신경망을 제안한다. 제안하는 알고리즘은 PSNR, SSIM을 비교한 객관적 평가와 주관적 평가를 통해 우수한 영상 복원 성능을 보여주었으며, 복원된 영상 중 특정 부분을 확대한 결과에서도 다른 알고리즘들에 비해 선명한 영상을 얻을 수 있었다. 추가적으로 적대적 생성 신경망 기반의 신경망이 입력 데이터셋의 분포에서 자유로움을 확인하기 위해 블러 제거 분야에서 end-to-end 방식의 SOTA CNN 신경망 알고리즘과의 비교도 진행하였으며 PSNR 대비 유의미한 결과를 보여주었다.|Recent developments in the field of image quality improvement have led to attempts to utilize video data generated by sports, surveillance video, and autonomous driving. One of the problems with these images is the Blur phenomenon. Blur phenomenon refers to a phenomenon in which an object in an image is shaken or the entire focus of the picture is shaken, so the picture is not clearly expressed. Attempts to solve this blur have evolved from statistical methods to methods using deep learning. Blur removal techniques via convolutional neural networks (CNNs) have effectively solved problems by learning the removal conditions within the image from a method that solves the given blur removal conditions that statistical models or machine learning based models have. However, there was a problem in which a given dataset failed to contain blurring phenomena that occur due to multiple real causes, and existing CNN-style neural networks were trained in an optimal manner within a given distribution, resulting in poor inference of results when out of the distribution of a given dataset. Therefore, in the paper, we propose a blur-free artificial neural network based on Generative Adversarial Networks (GANs) to improve these problems more effectively than existing methods. The proposed algorithm showed excellent image restoration performance through objective and subjective evaluations comparing PSNR and SSIM, and the results of zooming in on certain parts of the restored images were also able to obtain clearer images than other algorithms. Additionally, we also conducted a comparison with the end-to-end CNN neural network SOTA algorithm in the blur removal field to confirm that GAN-based networks are free from the distribution of input datasets and show significant results.