Multiscale Feature Aggregation and Sensor Fusion Techniques for Deep Learning-based Object Detection

Abstract

본 학위 논문에서는 딥러닝을 활용한 다중 물체 검출 기법을 연구하였다. 제2장에서는 다중 특징지도(multiscale feature map)를 활용하여 다양한 크기의 물체를 검출하는 2차원 다중 물체 검출기 기법에 있어 양방향 LSTM (long short term memory)를 활용한 다중 특징지도 생성 구조에 대해 연구하였다. 기존의 다중 특징지도 활용 기법은 CNN 구조에서 얻어진 계층적 다중 특징지도를 활용하거나, 간단한 상하 연결 구조를 활용한 기법을 이용하므로, 특징지도 간의 정보의 불균형이 발생한다. 본 연구에서는 양방향 LSTM 구조를 통해 딥러닝 구조의 연산량 증가를 최소화하며 LSTM 구조 내의 게이팅(gating) 구조를 통해 다중 특징지도 간 정보를 선택적으로 융합하고 재분배하는 구조를 통해 기존 기법의 한계를 극복하고자 하였다. 제3장에서는 3차원 물체 검출 구조에서의 멀티모달 센서 정보 융합 기법을 연구하였다. 물체 검출 기법이 단일 센서에 의존했을 때의 다양한 한계점들을 해결하기 위해, 본 논문에서는 카메라 센서와 라이다 (LiDAR) 센서 정보를 특징 지도 단에서 융합하는 구조를 연구하였다. 본 논문에서는 2차원 물체 검출에 다양한 장점이 있지만 거리 정보 취득에 단점이 있는 카메라 센서 정보를 라이다 센서 정보와의 융합을 통해 거리정보를 활성화하여 3차원 물체 검출 성능을 높이는 연구를 진행하였다. 결론적으로, 본 논문에서는 제안하는 기법이 현존하는 최신 기법에 대한 비교 실험에서 우수한 성능을 가진다는 것을 보인다.