Real-Time Image Fusion using Multi-Guided Filter and Deep Learning

Abstract

가시광 적외선 영상 융합은 두 영상을 결합하여 시인성을 개선한다. 이는 특히 두 영상의 상보적인 속성 때문에 유용하다. 적외선 영상은 열원의 추적에 장점이 있고 가시광 영상은 선명한 영상에 장점이 있다. 두 영상의 결합은 침입자 감시, 물체의 이동 추적과 같은 감시와 군사적 목적으로 유용하다. 그 유용함으로 인해 가시광 적외선 영상 융합은 많은 연구가 있었다. 그러나 기존 방법은 복잡한 알고리즘으로 인해 계산시간이 늘어나는 문제가 있었다. 이는 감시와 군사 목적으로 중요한 실시간 모니터링 기능에 문제를 야기한다. 따라서 본 논문에서는 실시간 가시광 적외선 영상 융합 방법을 제안한다. 기존 방법을 분석하여 두 영상을 빠르게 융합하는 멀티 가이디드 필터를 제안하고 이를 이용한 영상 융합 방법을 제안한다. 기존 가이디드 필터는 가이던스 영상이 1개로 제한되어 있다. 멀티 가이디드 필터는 가이던스 영상을 2개 이상으로 허용하고 텍스쳐가 전달되지 않는 문제를 해결하였다. 그리고 제안하는 영상 융합 방법을 딥러닝 기술로 가속하였다. 이를 위해 멀티 가이디드 필터와 동일한 작업을 수행하는 네트워크를 설계하였다. 네트워크는 우선 영상을 분할하고, 그 뒤 재구성을 위한 계수를 학습한다. 그리고 분할된 영상에 계수를 곱하고 더하여 결과영상을 생성한다. 네트워크는 멀티 가이디드 필터와 유사한 영상을 생성하였으며 이를 실험으로 확인하였다. 실험을 통해 제안하는 방법을 평가하였다. 제안하는 방법은 영상을 올바르게 융합하였고 치명적인 결함을 만들어 내지 않았다. 그리고 1280×720 영상을 37.7 fps로 처리했다. 게다가 제안하는 방법은 연속영상처리 알고리즘이 때때로 만들어내는 플리커 현상을 만들지 않았다.; Visible and infrared image fusion improves visibility of information by fusing the two images. This is particularly useful because of the complementary properties of the images. The infrared image is advantageous for tracking thermal sources, and the visible image is advantageous for capturing details of the surroundings. Image fusion is useful for surveillance and military purposes, such as intruder surveillance or object tracking. Because of its usefulness, there have been many studies on visible and infrared image fusion. However, the conventional method has the problem of long calculation times due to a complicated algorithm. This has been a problem with real-time monitoring function of surveillance and military systems. This paper proposes a real-time visible and infrared image fusion. A multi-guided filter is proposed for fast fusion, and a multi-guided filter based image fusion method is described. Conventional guided filter is limited to one guidance image when fusing images. The multi-guided filter solves the problem by using multiple guidance images and transferring texture. The proposed image fusion method is accelerated by deep learning technology. For this purpose, a network is designed to simulate the multi-guided filter. The network, first, decomposes the image and then learns recomposition coefficients. Finally, the network recomposes a resulting image form the images and coefficients. The generated images are similar to a results from the proposed multi-guided filters. The proposed method was evaluated experimentally. It was found to correctly synthesize the images without generating any critical defects. It processed 1280×720 images at a rate 37.7 frames per second. In addition, the proposed method did not generate flickering artifacts that are sometimes generated by sequential image processing algorithms.