Anchor-Free 3D Object Detection using Camera and LiDAR Sensors

Abstract

In this thesis, we study 3D object detection task using both Camera and LiDAR sensors. After designing each modality pipeline carefully and extracting high-level activation maps, we then project RGB features onto top-down view domain in order to efficiently fuse them with point cloud features. Receiving camera and LiDAR features, the fusion network generates a single joint activation maps. Finally, our anchor-free based network heads accurately localize and classify objects with various sizes and shapes in three-dimensional space. We perform extensive experiments using nuScenes [15] public dataset and compare the performance with other prominent methods. The results show that our model significantly outperforms baselines and several state-of-the-art algorithms. |이 논문에서는 카메라와 LiDAR 센서퓨전을 사용하여 3D 물체 검출을 연구 하였다. 카메라와 라이다 파이프 라인을 구성한 후, RGB 특징맵을 하향식 뷰 도메인에 투영하여 포인트 클라우드 활성화 맵과 효율적으로 통합합니다. 이 후 융합 네트워크는 카메라와 LiDAR 통합 특징맵을 하나의 활성화 맵으로 생 성합니다. 마지막으로, 앵커가 없는 네트워크 헤드는 3 차원 공간에서 다양한 크기와 모양을 가진 물체를 분류하고 물체의 위치를 정확히 찾습니다. nuScenes [15] 공개 데이터 세트를 사용하여 실험을 수행하였고 다른 모델 들과 성능평가를 비교하였습니다. 결과는 우리 모델이 기존의 다른 최신 모델 과 비교하였을때 좋은 성능을 보이는 것을 확인하였습니다