Image Pre-processing Techniques for Improving Object Detection Performance under Various Weather Conditions

Abstract

본 논문에서는 물체 감지의 성능을 향상시키기 위해 디레이닝, 톤 매핑 등의 영상 전처리 기법이 제안되었다. 비가 오는 이미지에는 다양한 모양, 치수 및 밀도가 있는 빗줄기가 포함될 수 있기 때문에 단일 이미지 디레인은 매우 어렵다. 이러한 문제들을 다루기 위해, 우리는 빗줄기를 제거하기 위한 새로운 다중 스트림 연결 신경망을 제안한다. 서로 다른 조건에서 빗줄기를 더 잘 추출하기 위해, 우리는 서로 다른 밀도의 빗 정보를 효율적으로 포착할 수 있는 서로 다른 커널 크기를 가진 세 개의 네트워크를 사용한다. 빗줄기를 제거하기 위해 하이패스 필터를 활용해 빗줄기의 구조에 초점을 맞추고 이미지의 배경을 무시하는 우량영역 피쳐 맵을 생성한다. 실험은 제안된 방법이 합성 이미지와 실제 이미지 둘 다에서 빗줄기의 제거를 상당히 개선한다는 것을 보여준다. 이 연구는 또한 물체 감지 시 낮은 조도가 미치는 영향에 대해서도 설명한다. 입력 영상에 톤 매핑을 적용한 다음 3D 검출기를 사용하여 물체를 검출한다. 실험 결과는 톤 매핑을 적용함으로써 KITI 데이터 집합의 검출 정확도를 높일 수 있다는 것을 보여준다.; In this thesis, image pre-processing techniques like de-raining and tone mapping have been proposed to improve the performance of object detection. Single image de-raining is extremely challenging because rainy images may contain rain streaks with various shapes, scales, and densities. To deal with these issues, we propose a new multi-stream connected neural network for removing rain streaks. In order to better extract rain streaks under different conditions, we use three dense networks with different kernel sizes that can efficiently capture the rain information from different densities. To guide the removal of rain streaks, we utilize a high pass filter to generate a rain region feature map, which focuses on the structure of rain streaks and ignores the background in the image. Experiments illustrate that the proposed method significantly improves the removal of rain streaks both in synthetic images and real-world images. This research also describes the effect of low illumination on object detection. Tone mapping has been applied on input images and then the 3D detector is used to detect the object. Experimental results show that detection accuracy on the KITTI dataset can be increased by applying the tone mapping.