단안 카메라 기반 3차원 다중 객체 추적 기술

Abstract

자율주행 시스템은 인지, 판단, 그리고 제어의 3단계로 이루어져 있다. 자율주행 시스템 중 인간의 눈 역할을 하는 인지 기술은 라이다, 카메라, 레이더 등 다양한 센서를 활용하여 주변 환경을 감지하고 이해하는 역할을 한다. 인지 기술의 결과물을 바탕으로 도로 및 주변 상황을 파악하여 이후의 주행 판단을 하기 때문에 정확하고 안정적인 인지 기술이 필수적이다. 다중 객체 추적(Multi-Object Tracking, MOT)은 자율주행 시스템의 인지 기술 중 하나로서 최근 높은 정확도의 다중 객체 추적 개발을 위한 연구가 활발하게 진행되고 있다. 일반적으로 단일 프레임에서 다중 객체 검출이 선행되며, 검출 결과를 바탕으로 연속된 프레임에서 검출 결과들을 연결하는 방식으로 다중 객체 추적이 진행된다. 카메라 센서를 활용한 다중 객체 추적의 경우 ID 구분 시 Convolutional Neural Network(CNN)을 사용하여 추출한 특징 지도를 활용할 수 있다는 장점이 있다. 기존의 카메라 기반 다중 객체 추적의 경우 객체 검출과 객체 추적 시 이미지 백본 네트워크를 공유하는 방식이 일반적이다. 해당 방식은 이미지 내에 클래스를 구분하는 것이 목적인 객체 검출 과정과 클래스 내에서 서로 다른 ID의 객체를 구분하는 것이 목적인 객체 추적 과정 사이의 학습에 충동을 초래해서 결과적으로 객체 검출 및 추적 성능의 저하를 야기할 수 있다. 또한 객체 추적 과정에서 사용하는 임베딩 헤드는 객체 검출 헤드와 같이 Feature Pyramid Network(FPN)의 각 계층으로부터 임베딩 벡터를 추출한다. 위 방식은 다양한 크기의 물체를 효과적으로 찾기 위한 객체 검출 과정에서는 적절하지만, 서로 다른 장면에서 같은 ID의 객체를 매칭해야 하는 객체 추적 과정에 적용할 경우 부적절할 수 있다. 본 논문에서는 위 내용을 객체 추적 기술의 주요 문제점으로 인지하고 그

해결 방안을 제시한다. 먼저 학습 시 성능에 악영향을 막기 위해 객체 검출 모델 학습 후 객체 추적 임베딩 헤드를 학습시킴으로써 객체 검출과 객체 추적 간 학습 과정을 분리한다. 또한 객체 추적 시 백본 네트워크에서 임베딩 헤드를 위한 강화된 특징 지도를 추출하는 모듈을 추가한다. 해당 모듈은 FPN으로 부터 추출된 다중 스케일 특징 지도를 효과적으로 병합하여 이후 임베딩 헤드로부터 추출된 임베딩 벡터가 객체 추적 시 객체 간 ID 구분을 효과적으로 해줄 수 있도록 한다. 본 논문을 통해 제안된 객체 추적 모델의 nuScenes 검증 데이터셋에서 평가 결과 베이스라인 모델인 QD-3DT 대비 객체 추적 성능은 sAMOTA가 2% 향상되었고, 객체 검출 성능은 mAP와 NDS에서 각각 0.66%와 0.59%의 성능 향상을 보였다. 해당 결과를 통해 객체 검출 및 추적 간의 상관관계에 대한 정확한 분석의 필요성을 확인하였다