객체검출 정확도 향상을 위한 엣지를 활용한 블러 제거 신경망 알고리즘

Abstract

Recently, in order to improve the accuracy of object detection, not only the performance of the object detection algorithm but also image quality improvement research is needed to improve the object detection accuracy. In particular, as research related to autonomous driving is actively conducted, research such as lane detection and object detection based on images obtained through a camera is being continuously conducted. In this process, it is required to remove the deterioration of the image obtained through the camera (rainwater, soil contamination, fog, noise, blur, etc.). Even for an object detector with excellent performance, if there is insufficient information about the object due to deterioration or low resolution, the accuracy is lowered. Autonomous driving is achieved through data obtained from sensors such as cameras, radar and lidar. Advanced Driver Assistance Systems (ADAS), in which the vehicle recognizes the situation on its own based on data obtained through sensors, is an important technology to achieve safe and fully autonomous driving. In particular, blurring is inevitable in a fast-moving vehicle, and research using deep learning to remove the blur has been steadily conducted. From basic deep learning network structure using U-Net to deep learning network structure using Multi-Stage Network, various studies are being conducted. In this paper, we propose a deep learning network using edge modules and Deformable Convolution to efficiently and clearly restore objects in images with blur. The edge module gives an image with deterioration (blur) as an input, and uses the output through the module to obtain the ground-truth edge of the image and an edge image from which deterioration is removed through learning. Through this, objects can be clearly restored using sharper edge information during learning. In addition, as the overall deep learning network structure, the structure of the Multi-Stage Network, which divides the input image into , and learns the divided 4 and 2 images as a sub-network is used. The number of learned channels is 128 for the original network and 96 for the lightweight version of the network. As a sub-network within the Multi-Stage Network, DC-CAB, which combines Deformable Convolution and Channel Attention Block, is used as Skip-Connection to focus on important channel information in objects and weighted channels. Additionally, RDFB (Residual Dense Feature Block) is used to learn features at the original resolution, and RDFB is the end of the training for the entire network. The proposed deep learning network showed higher values than previous studies in PSNR and SSIM, and showed clearer results than existing studies in the reconstructed image with blur removed. In addition, we propose the performance efficiency of PSNR and SSIM compared to parameters through a lightweight deep learning network that learns channels from 128 to 96. After removing the blur, the blur image and the blur-removed image are checked to improve the accuracy of object detection using YOLO v3. As a result of object detection using YOLO v3, people and vehicles cannot be detected in the blur image, but after the blur is removed, people and vehicles are effectively detected. Through the study, the possibility of contributing to safe autonomous driving in the autonomous driving situation was confirmed. In addition to blurring, it is expected to contribute to improving object detection accuracy in drones and cctvs along with safer autonomous driving if object detection is performed after restoring deteriorated images obtained through cameras such as contamination of lenses and weather (fog, rain, snow, etc.).| 최근 객체검출의 정확도 향상을 위해 객체검출 알고리즘의 성능뿐만 아니라 객체검출 정확도 향상을 위한 화질개선 연구도 필요로 하고 있다. 특히, 자율주행과 관련된 연구가 활발하게 이루어지면서 카메라를 통해 얻는 영상을 바탕으로 차선감지 및 객체검출과 같은 연구가 꾸준히 이루어지고 있다. 이 과정에서 카메라를 통해 얻는 영상의 열화현상(빗물, 흙 오염, 안개, 잡음, 블러 등) 제거가 요구되고 있다. 성능이 뛰어난 객체 검출기일지라도 열화현상 혹은 저해상도의 문제로 인해 객체에 대한 정보가 부족하다면 정확도가 낮아지기 때문이다. 자율주행은 카메라, 레이더, 라이다와 같은 센서를 통해 얻는 데이터를 통해 이루어진다. 센서를 통해 얻은 데이터를 바탕으로 차량이 스스로 상황을 인지하는 첨단 운전자 지원 시스템(Advanced Driver Assistance Systems; ADAS)은 안전하고 완전한 자율주행에 도달하기 위해 중요한 기술이다. 특히, 빠르게 움직이는 차량에서 블러 현상은 필수적으로 발생할 수밖에 없고 최근에 블러 현상을 제거하기 위해 딥러닝을 이용한 연구가 꾸준히 이루어지고 있다. U-Net을 이용한 기본적인 딥러닝 네트워크 구조에서 Multi-Stage Network를 이용한 딥러닝 네트워크 구조까지 다양하게 연구되고 있다. 본 논문에서는 블러가 존재하는 영상에서 객체를 효율적으로 선명하게 복원하기 위해 엣지 모듈과 Deformable Convolution을 이용한 딥러닝 네트워크를 제안한다. 엣지 모듈은 입력으로 열화(블러)가 존재하는 영상을 주어 모듈을 거친 출력을 영상의 원본(Ground-Truth) 엣지와 학습을 통해 열화가 제거된 엣지 영상을 얻도록 한다. 이를 통해 학습 시 더욱 선명한 엣지 정보를 이용하여 객체를 선명하게 복원하도록 한다. 또한 전체적인 딥 러닝 네트워크 구조로는 입력 영상을 각각 로 나누고 나누어진 4개, 2개의 영상을 서브네트워크로 학습하는 Multi-Stage Network의 구조를 사용한다. 학습되는 채널의 수는 원래의 네트워크의 경우 128, 경량화 버전의 네트워크의 경우 96을 사용한다. Multi-Stage Network 내의 서브네트워크로는 Deformable Convolution과 Channel Attention Block이 결합된 DC-CAB를 직접 연결(Skip-Connection)로 사용하여 객체와 가중되는 채널에서 중요한 채널정보에 집중할 수 있도록 구성하였다. 추가로 RDFB(Residual Dense Feature Block)을 사용하여 원해상도에서 특징을 학습하도록 구성하였고 RDFB를 끝으로 전체 네트워크의 학습이 마무리된다. 제안하는 딥러닝 네트워크는 PSNR과 SSIM에서 기존의 연구보다 높은 수치를 보였고 블러를 제거한 복원 영상에서도 기존의 연구보다 선명한 결과를 보인다. 또한 채널을 기존 128에서 96으로 학습하는 경량화 딥러닝 네트워크를 통해 파라미터 대비 PSNR과 SSIM의 성능 효율을 제안한다. 블러를 제거한 후 블러 영상과 블러가 제거된 영상을 YOLO v3를 사용하여 객체 검출의 정확도 향상을 확인한다. YOLO v3를 사용하여 객체 검출을 진행한 결과 블러 영상에서는 사람과 차량을 검출하지 못하지만 블러가 제거된 후에는 사람과 차량을 효과적으로 검출하는 결과를 보인다. 연구를 통해 자율주행 상황에서 안전한 자율주행에 기여할 수 있는 가능성을 확인하였다. 또한 블러 현상뿐만 아니라 렌즈의 오염, 날씨에 의한 열화(안개, 비, 눈 등)와 같은 카메라를 통해 얻을 수 있는 열화 영상에 대해 복원 후 객체 검출을 진행한다면 더 안전한 자율주행뿐만 아니라 드론, cctv 등에서 객체검출 정확도 향상에 기여할 것으로 기대된다.