이중 피라미드 풀링 신경망을 이용한 단일 영상 안개 제거 기법

Abstract

영상 안개 제거 기법은 영상에서 나타난 안개를 제거하는 기술이다. 최근 안개뿐만 아니라 미세먼지 등으로 인해 카메라로 얻은 영상에서 물체를 파악하기 어려울 정도로 영상의 화질이 저하되는 일이 많아졌다. 또한 기술의 발전으로 도로교통카메라나 자율주행차의 인식카메라 등 일상생활에서 카메라를 통해 얻은 영상을 활용하는 기술이 보편화 되었다. 따라서 빛의 산란을 통해 일어나는 영상 화질 저하를 극복하는 것은 중요한 기술이 되었다. 다양한 방법을 통해 영상에서 안개를 제거하기 위해 오늘날 연구가 매우 활발하게 진행되고 있다.

단일 영상에서 안개를 제거하는 기법은 통계적인 방법을 통해 추론된 상관함수를 이용하여 안개를 제거하는 방법에서 합성곱 신경망(convolutional neural network; CNN)을 이용하여 제거하는 방향으로 발전되었다. 합성곱 신경망을 통해 안개가 제거된 영상과 안개가 포함된 영상 간의 연관성을 학습하여 안개를 제거할 수 있다. 하지만 전체적인 영상 속 넓은 특징을 파악하지 못하여 전체적으로 색 복원도가 떨어지고, 세부 영역 복원 역시 떨어지는 문제점이 존재한다. 또한 신경망의 복잡도 증가에 따라 성능은 향상되지만 복잡도가 증가할수록 하드웨어 의존도가 높아지고 실행시간에 제약이 생기는 등 한계점도 존재한다.

본 논문에서는 영상 속 넓은 영역 특징을 파악하고 신경망의 복잡도 증가에 따른 한계점을 극복하기 위해 이중 피라미드 풀링 신경망을 제안하였고, 제안된 신경망을 기반으로 한 단일 영상 안개 제거 기법을 소개한다. 제안하는 기법은 공간 피라미드 풀링 기법을 이중으로 적용하여 보다 효과적으로 특징을 추출하여 안개를 제거하고자 하였다. 그리고 전체적인 복잡도를 낮추기 위해 Atrous 합성곱을 사용하여 동일한 수용 영역(receptive field) 대비 낮은 연산량을 가지도록 하였다. 결과적으로 상대적으로 낮은 복잡도를 가지면서 기존의 기법들보다 우수한 성능을 나타내는 것을 객관적, 주관적 화질 평가를 통해 확인하였다.