Single Image Dehazing Based on Depth Map Estimation via Generative Adversarial Networks

Abstract

연무가 있는 상황에서 촬영된 영상은 낮은 대비로 인해 시인성이 낮아지는 문제가 있다. 이렇게 연무로 인해 흐릿한 영상에서 연무의 효과를 제거하는 과정을 연무제거라고 한다. 연무제거에서 가장 중요한 문제 중 하나는 전달지도 (transmission map) 또는 깊이지도 (depth map)를 정확하게 추정하는 것이다. 본 논문에서는 정확한 깊이지도 추정을 위해 생성적 대립쌍 신경망 (Generative Adversarial Network: GAN)을 이용한 정확한 깊이 영상 추정 방법을 제안한다. 제안된 GAN 모델은 흐릿한 입력영상과 이에 상응하는 깊이지도 간의 비선형 매핑을 학습한다. 그리고 연무제거단계에서는 훈련된 모델을 사용하여 입력영상의 깊이지도를 추정하고 이것을 전달지도를 계산하는데 사용한다. 이어서 guided filter를 사용하여 전달지도를 다듬는다. 마지막으로 대기 산란 모델을 기반으로 연무가 제거된 영상을 복원한다. 제안된 GAN 모델은 합성실내영상으로 훈련되었다. 하지만 실제 연무영상에 대해서도 적용할 수 있다. 이를 실험을 통해 증명하였다. 또한 실험에서 제안된 방법이 이전에 연구된 방법에 비해 시각적 및 정량적 측면에서 우수한 결과를 나타냈다.

Images taken in haze weather are characteristic of low contrast and poor visibility. The process of reconstructing clear-weather image from a hazy image is called dehazing. The main challenge of image dehazing is to estimate the transmission map or depth map for an input hazy image. In this paper, we propose a single image dehazing method by utilizing the Generative Adversarial Network(GAN) for accurate depth map estimation. The proposed GAN model is trained to learn a nonlinear mapping between the input hazy image and corresponding depth map. With the trained model, first the depth map of the input hazy image is estimated and used to compute the transmission map. Then a guided filter is utilized to preserve the important edge information of the hazy image, thus obtaining a refined transmission map. Finally, the haze-free image is recovered via atmospheric scattering model. Although the proposed GAN model is trained on synthetic indoor images, it can be applied to real hazy images. The experimental results demonstrate that the proposed method achieves superior dehazing results against the state-of-the-art algorithms on both the real hazy images and the synthetic hazy images, in terms of quantitative performance and visual performance.