흐림 영역 분리 전처리를 기반으로 한 흐림 제거 신경망 설계에 대한 연구

Abstract

영상 흐림 제거(Image Deblurring) 기법은 영상을 촬영할 때 노출 시간 동안의 카메라의 떨림, 객체의 움직임에 의해 발생하는 흐림 현상을 제거하는 기술이다. 과거에는 흐림 제거를 수학적 회귀 분석 방식으로 해결하는 연구가 수행되었지만, 연산에 대한 시간 소요가 많고 부정확성을 갖는다는 단점이 존재하여 최근에는 합성곱 신경망 기반의 딥 러닝 흐림 제거 기법이 제안되고 있다. 본 논문에서 제안하는 신경망 구조는 신경망의 파리미터 개수 감소를 통한 속도 개선, 신경망의 학습을 보조하는 흐림 검출 기반 전처리 기법에 대한 연구를 포함한다. 파라미터 개수 감소를 고려한 제안하는 흐림 제거 신경망 LDU-Net(Light Dense U-Network)은 기존에 제안된 U-Net 구조의 신경망이 영상의 겹침(overlap)을 줄여 적은 연산량으로 영상 내 잡음을 효과적으로 제거한다는 특징을 활용해 속도를 개선한다. 또한 깊은 신경망에 대한 효과적인 학습을 위해 각 합성곱 층을 밀집 블록(Dense Block)으로 대체한 흐림 제거 신경망인 구조를 제안한다. 뿐만 아니라, 본 논문에서는 LDU-Net의 학습을 보조하기 위한 흐림 검출 기반 전처리 기법을 제안한다. 제안하는 전처리 기법 BS-Net(Blur Separation Network)은 총 두 가지 단계로 이루어져 있으며, 첫 번째 단계를 구성하는 신경망 구조는 입력 영상에 대하여 흐림 영역을 검출하여 흐림 영역 매핑(Blurred Area Mapping) 영상을 출력한다. 두 번째 단계에서는 흐림 영역 검출 신경망을 통해 얻어진 흐림 영역 매핑 영상에 대하여 이진화와 형태학 기반 연산을 거쳐 잡음 및 오차를 제거하여 흐림 영역 탐색의 정확도를 높인다. 최종적으로 제안하는 전처리 구조 BS-Net은 LDU-Net이 합쳐져 정교하고 빠른 학습이 가능한 BSLDU-Net(Blur Separation based Light Dense U-Network)을 제안한다.

제안하는 전처리 기법인 BS-Net은 객관적 평가를 위해 정밀도, 재현율, F1 점수를 이용해 기존 흐림 검출 기법과의 성능을 비교했다. BS-Net에 대한 객관적인 평가 결과 가장 높은 F1 점수를 기록해 정확도 높은 흐림 영역 검출 결과를 확인했다. 또한 제안하는 흐림 제거 기법의 성능 평가를 위해 신호 대 잡음비(Peak Signal to Noise Ratio; PSNR)와 구조적 유사도(Structural Similarity Index Mearue; SSIM)를 평가 지표로 선택했다. 흐림 제거에 대한 실험 결과 LDU-Net을 단독으로 사용해도 기존 흐림 제거 기법에 비해 빠른 실행 시간 대비 높은 신호 대 잡음비와 구조적 유사도를 기록하는 것을 확인했다. 이에 더해 흐림 영역 비율과 비-흐림 영역 비율이 균등한 데이터 셋에 대하여 전처리 과정이 포함된 BSLDU-Net이 LDU-Net에 비해 0.2 dB 높은 신호 대 잡음비를 기록하는 것을 확인함으로써, 흐림 감지 기반 전처리의 활용이 신경망의 성능을 개선한다는 실험적 결과를 얻었다.| The image deblurring problem removes the blur caused by the camera shake and the movement of the object during the exposure time when taking an image. In the past, studies about deblurring have been conducted to solve the blur removal using a mathematical regression analysis method, but there are disadvantages in that the calculation takes a lot of time and has inaccuracies. Recently, image deblurring based on convolutional neural networks has been proposed since the GPU performance improved. The proposed neural network structure in this paper includes research on the speed improvement through decreasing the number of parameters of the neural network, and the blur detection-based preprocessing technique that aids the learning of the neural network. The deblurring neural network considering the reduction of the number of parameters improves the speed by utilizing the feature that the previously introduced neural network of the U-Net structure reduces image overlap and effectively removes noise in the image with a small amount of computation. In addition, for effective learning of deep neural networks, we propose a LDU-Net(Light Dense U-Network), which is the deblurring neural network in which each convolutional layer is replaced with a dense block. In addition, in this paper, we propose a blur detection-based preprocessing method to aid the learning of LDU-Net. The proposed preprocessing technique BS-Net(Blur Separation Network) consists of a total of two steps, and the neural network structure constituting the first step detects a blurred area with respect to the input image and blurred area mapping image is obtained as an output image. In the second step, the accuracy of the blur region search is improved by removing noise and errors through binarization and morphology-based operations on the blurred area mapping image. Finally, the proposed preprocessing structure, BS-Net, is combined with LDU-Net to propose a BSLDU-Net(Blur Separation based Light Dense U-Network) that enables sophisticated and fast learning. The proposed preprocessing method, BS-Net, used precision, recall, and F1 score for objective evaluation and compared its performance with the existing blur detection technique. As a result of the objective evaluation of BS-Net, the highest F1 score was recorded, confirming the high-accuracy blur region detection result. In addition, in order to evaluate the performance of the proposed deblurring methods, Peak Signal to Noise Ratio (PSNR) and Structural Similarity Index Mearue (SSIM) were selected as evaluation indicators. As a result of the experiment on deblurring, it was confirmed that even when LDU-Net was used alone, it recorded a low execution speed and high PSNR compared to the existing deblurring technique. In addition, we obtained experimental results that the preprocessing based on the blur region detection increases the learning efficiency of LDU-Net when learning on an image with a low blur region ratio.