3차원 객체 검출을 위한 포인트 클라우드 시퀀스의 시공간 표현 학습

Abstract

물체 표면에 반사된 레이저 펄스를 바탕으로 포인트 클라우드를 생성하는 라이다 센서는 정확한 3차원 공간 정보를 제공하기 때문에 자율주행과 로보틱스를 비롯한 여러 모빌리티 산업에서 인지(Perception) 기술 관련 핵심 센서 역할을 한다. 최근 딥러닝 기술이 빠르게 고도화됨에 따라 포인트 클라우드에서 특징 표현(Feature representation)을 도출하고 이를 3차원 객체 검출(3D Object detection)에 활용하는 기술이 활발히 연구되고 있다. 한편, 시퀀스 형태의 데이터에 포함된 시공간(Spatiotemporal) 정보를 활용하는 알고리즘은 행동 인식, 객체 추적을 비롯한 여러 영상 인식 분야에서 그 효용성이 증명되어왔다. 라이다 센서 또한 연속된 스캐닝을 통해 실시간으로 포인트 클라우드 시퀀스를 만들어낸다. 하지만 종래 기술들은 단일 스캔 결과 기반의 3차원 객체 검출 알고리즘을 중점적으로 다뤄왔으며, 시퀀스 데이터를 활용하더라도 단순 병합을 통해 얻은 좀 더 높은 밀도의 포인트 클라우드를 사용하는 것에 그치고 있다. 따라서 본 연구에서는 포인트 클라우드 시퀀스에 포함된 시공간 정보를 활용함으로써 라이다 센서 기반 객체 검출 성능 고도화에 한계 요인으로 분석되어 왔던 다음 두 가지 문제점을 개선하고자 했다. 첫째, 라이다 센서 해상도에 따른 포인트 데이터 희소성 문제를 개선하고자 했다. 둘째, 센서와 물체의 위치 관계에 따른 부분적 획득 문제를 개선하고자 했다. 이를 위해 본 연구에서는 포인트 클라우드 시퀀스를 단기 시퀀스와 장기 시퀀스로 구분된 계층적 구조로 바라보고, 계층적 관점에 기반해 시공간 특징 표현을 학습하고 활용할 수 있는 각각의 관점에 대한 딥러닝 알고리즘을 제안했다. 또한 포인트 클라우드 시퀀스 기반 3차원 객체 검출 파이프라인을 설계하여 각각의 알고리즘을 종래 기술에 적용할 수 있도록 했다. 대표적인 자율주행 데이터셋에 해당하는 nuScenes 데이터셋을 사용해 제안된 알고리즘들에 대한 지도학습(Supervised learning) 과 추론(Inference) 실험을 진행했으며, 실험 결과를 바탕으로 정량적 및 정성적 분석을 수행했다. 본 논문을 통해 제안된 검출 모델은 nuScenes 검증용 데이터셋에 대해 Baseline 모델인 PointPillars대비 mAP와 NDS 성능에서 각각 5.54%와 3.07%씩 성능 향상을 보임으로써 포인트 클라우드 시퀀스로부터 시공간 특징 표현을 활용하는 방식이 갖는 효용성을 증명했다. 특히 계층적 관점에 기반한 시공간 표현 학습을 통해 차량 관련 클래스에 비해 상대적으로 Bird’s-eye-view에서의 종횡비가 작고 취득되는 포인트 수가 적은 오토바이, 자전거 그리고 보행자 클래스에서 높은 검출 성능 향상을 보였다. 뿐만 아니라 정성적 분석을 통해 False positive 검출이 감소하고 객체간 중첩이 발생하는 경우에 대해서도 강건한 검출 성능을 보이는 것을 확인했다.