온라인 그리고 실시간으로 동작하는 마스크 정보를 활용한 다중 객체 추적 그리고 세그멘테이션 시스템

Abstract

다중 객체 추적 그리고 세그멘테이션(Multi-Object Tracking and Segmentation, MOTS)은 영상 내에 등장한 관심있는 객체들의 마스크 정보를 뽑아내는 동시, 연속된 프레임(Frame)에서 동일한 객체들을 추적하는 것을 목표로 한다. 다중 객체 추적 그리고 세그멘테이션(MOTS)은 자율주행 및 CCTV 시스템에 주로 사용이 될 수 있는데, 이를 위해선 추적 시스템은 실시간(Real-Time) 및 온라인(Online)으로 추적이 가능해야 한다.

하지만, 최근 MOTS의 추적 성능을 높이는 연구는 활발히 이루어졌지만, 온라인 및 실시간 성능을 고려하지 않은 연구가 주를 이루었다. 본 논문은 가벼운 백본(Backbone)을 가진 딥러닝 기반 모델을 사용하여 실시간으로 동작하며, 온라인 추적이 가능한 다중 객체 추적 및 세그멘테이션 시스템을 제안하였으며, KITTI MOTS 벤치마크 중 실시간으로 추적가능한 유일한 모델임을 보인다.

또한, 기존 SOTA(State-of-The-Art) 다중 객체 추적 시스템(Multi-Object Tracking) 모델들은 객체의 외관 특징을 표현해주는 re-identification feature를 추출하여 객체간 유사도를 측정하는데, 이러한 re-identification feature를 추출할 때 입력 정보로 객체의 바운딩 박스(Bounding Box)정보를 주게 된다. 하지만, 바운딩 박스에는 배경 정보(Background)가 함께 포함되어 객체의 외관적인 특징(Appearance Feature)을 온전히 표현하는데 어려움이 존재하기 때문에, 정확한 매칭하는데 어려움이 존재한다. 이러한 모호한 매칭을 해결하기 위해, 우리는 re-identification feature를 추출할 때 입력으로 객체 바운딩 박스에 해당하는 feature를 입력으로 주지 않고, 객체 마스크(Mask)에 해당하는 feature를 입력으로 넣어 준다. 이렇게 객체의 마스크 정보로 re-identification feature를 뽑게되면 객체간 유사도를 매칭할 때 배경 정보를 제외한 뒤, 객체에 해당하는 정보 값으로 매칭이 가능해진다.

디텍션(Detection),세그멘테이션(Segmentation),재인식(Re-Identification) 3개의 각 작업은 서로 다른 Loss 스케일(Scale)을 가진다. 우리는 이 작업들간의 Loss값이 불균형하다는 것을 인지한 뒤, 동시에 3개의 작업간의 Loss를 자동으로 밸런스를 맞춰줄 수 있는 Uncertainty Loss를 제안하였다.

마스크 기반 re-identification 실험 결과, 기존 바운딩 박스 기반 re-identification 모델 보다 높은 association accuracy성능을 보이며, KITTI MOTS 벤치마크 중 온라인 작동이 가능한 모델 중에선 2위를 차지하였다. 우리의 실험은 다중 객체 추적 시스템에서 re-identification 매칭에 있어 배경 정보가 모호한 매칭을 유발시킨다는 점을 보여줌과 동시에, 모호한 매칭을 막기 위해 객체 마스크 정보가 중요하다는 사실을 보여준다.