자율주행을 위한 온라인 다중 객체 추적 및 세그멘테이션

Abstract

자율 주행은 미래 사회를 이끌어 나갈 주요 기술 중 하나이다. 자율 주행은 인지, 제어, 판단으로 구성되며 그 중 인지는 자율 주행의 안정성과 성능에 중요한 역할을 맡고 있다. 자율 주행 인지를 통해 차량과 행인을 탐지하고 추적함으로써 현재 주행 상황을 이해하여 어떻게 주행할 것인지 판단을 내린다. 도로 주행 상황은 급격히 변화하는 상황이 많기 때문에 자율 주행 인지모델은 높은 정확도와 빠른 추론 속도가 안정성을 위해 필요하다.

다중 객체 추적 및 세그멘테이션(Multi Object Tracking and Segmentation, MOTS)은 영상에서 많은 물체를 탐지하고 추적하는 높은 수준의 인지 분야이다. 최근 몇 년간 MOTS의 중요 관심사는 탐지와 추적의 성능을 향상시키는 것이었다. 많은 모델들이 성능에 초점을 맞추어 연구되었으며 그 결과 탐지와 추적의 정확도가 비약적으로 향상되었다. 하지만 자율 주행의 인지 모델은 정확도 외에도 온라인(Online)방식과 빠른 추론 속도라는 추가적인 조건을 만족시켜야 한다. 현재까지 연구되었던 대다수의 KITTI Benchmark의 모델들은 자율 주행 인지 모델의 조건을 만족시키지 못하고 있다. 대부분 추론 속도가 20FPS이하로 동작하며 정확도를 위하여 오프라인(Offline)방식으로 연구가 많이 진행되었다. 또한 자율 주행 인지 모델의 조건을 만족했다 하더라도 자율 주행을 위한 탐지와 추적의 성능이 부족하다.

본 논문은 자율 주행을 위한 온라인 방식이면서도 빠른 추론 속도를 가지는 다중 객체 추적 및 세그멘테이션 모델에 관한 연구이다. 현재와 과거의 정보만을 사용하는 온라인 방식이며 과거의 시간적 정보(Temporal Information)를 통해 탐지와 추적의 성능을 향상시켰다. 연구는 크게 1. MOTS모델 디자인, 2. 시간적 정보를 추출하여 탐지와 추적의 성능을 향상시키는 TemporalNet 디자인 단계로 이루어진다. 첫번째 단계인 MOTS 모델 디자인에서는 이미지 인스턴스 세그멘테이션(Image Instance Segmentation) 모델 중 빠른 추론 속도와 준수한 정확도를 갖는 CenterMask[1]를 기본 모델로 선정 후 Tracker를 부착함으로써 MOTS 모델로 디자인하였다. 두번째 단계로는 탐지와 추적 성능 향상을 위하여 과거로부터 정보를 추출하는 TemporalNet을 고안하였다. TemporalNet은 과거의 탐지되었던 물체들이 현재 위치에서 어디에 존재할지 바운딩 박스(Bounding Box)와 마스크(Mask)로 예측하며 예측된 물체의 존재 확률(Confidence Score)를 재계산한다. TemporalNet을 통해 과거의 정보로부터 현재 찾지 못했던 물체를 더 찾아내고 예측된 물체들을 통해 정확한 추적을 하여 모델의 성능을 향상시킨다.

본 논문에서 연구된 모델 CTMask(Centermask +Tracking head +TemporalNet)는 KITTI Test Set에서 27.9FPS의 빠른 추론 속도를 기록하며 탐지 및 추적 정확도인 sMOTSA 점수가 자동차에선 64, 행인에서는 40.5로 준수한 탐지, 추적 성능을 갖는다. 이는 KITTI Benchmark에서 20FPS를 넘으면서 자동차와 행인 모두를 탐지, 추적하는 모델 중 균형 잡힌 성능을 보이며 CTMask가 자율 주행을 위한 다중 객체 추적 및 세그멘테이션 모델로 제시될 수 있음을 보여준다