역동적인 환경에서 다중 객체추적 성능 향상 방법

Abstract

다중 객체 추적(Multiple Object Tracking)은 동시에 여러 객체의 이동궤적을 추론하는 것을 목표로 하는 Computer Vision 분야의 중요한 과제 중 하나이다. 최신 방법론에서 심층 신경망(Deep Neural Network) 기반의 접근법에 의해 객체 추적 연구의 큰 진전이 있었다. 그러나 기존 제안된 연구들은 일반적으로 정적인 환경을 대상으로 추적을 실행하기 때문에 로봇, 자동차 등의 역동적인 환경에 적용하였을 경우 노이즈에 의해 추적 성능이 급격하게 하락하는 문제가 있다. 본 논문에서는 로봇, 자율주행 자동차 등 시점과 객체의 위치가 동시에 가변 하거나, 격렬한 흔들림이 발생하는 등의 역동적인 환경에서 다중 객체추적을 할 때 성능을 향상시키는 세 가지 방법을 제안한다. 첫 번째 방법은, 추적에 사용될 탐지성능을 향상시키기 위하여 모호한 신뢰도를 가진 탐지 결과의 이미지를 복원한 다음 재 탐지(Re-Detection) 하는 것이다. 두 번째 방법은, 객체 식별성능을 향상시키기 위하여 추적 연계(Tracking Association) 전에 노이즈를 가진 탐지영역을 복원하는 것이다. 이 두 방법에서 사용되는 이미지 복원 기능을 구현하기 위해 GAN(Generative Adversarial Networks) 기반의 이미지 추론모델을 선정하고 실험한다. 세 번째 방법은, 추적 연계 실패를 줄이기 위해 안면 이미지를 활용하여 추적을 연계할 수 있도록 안면 외관 모델을 설계하는 것이다. 또한 안면 외관 모델이 다양한 환경에 범용적으로 적용 될 수 있도록 세 가지 거리 메트릭을 제안한다. 본 논문에서 제안하는 방법들의 효과를 입증하기 위하여 실험 대상이 될 두 가지의 기준선 추적기를 선택하고, 실제 사람과 상호작용하며 서비스를 제공하는 로봇환경을 구축해 실험한다. 모델에 대한 실험 및 평가는 Ablation Study, 각 방법별 성능평가 및 미세조절, 정성적 평가 순으로 진행한다. 실험 및 평가 결과에 따르면 제안된 방법이 기존 다중 객체 추적 방법에 적용되었을 경우 역동적인 상황을 효율적으로 극복하기 때문에 MOTA, IDF1 메트릭에서 우수한 성능을 보인다. 뿐만 아니라 세 방법 중 일부만 적용하더라도 모든 경우에 대하여 향상된 성능을 보인다.; Multiple Object Tracking is one of the important tasks in the field of Computer Vision, which aims to infer the movement trajectory of multiple objects at the same time. Recently, there has been a great progress in object tracking research by Deep Neural Network based approaches. However, the existing proposed studies generally perform tracking for a static environment and consequently, when applied to a dynamic environment such as a robot or a vehicle, there is a problem that the tracking performance is rapidly decreased due to noises. To relax the problem, we propose three methods to improve the tracking performance for multiple objects in a dynamic environment such as a service robot or an autonomous vehicle, where viewpoints and objects’positions are simultaneously variable or violent shaking occurs. The first method is to restore an image of an ambiguous detection result and then re-detect it to improve the detection performance which is an important factor in tracking. The second method is to restore the noisy detection area before the tracking association to improve the performance of object identification. To implement the image restoration functions in these two methods, we use a GAN(Generative Adversarial Networks) based image inference model. The third method is to design a facial appearance model so that tracking can be associated using facial images to reduce tracking association failure. In addition, three distance metrics are proposed so that the facial appearance model can be universally applied to various environments. In order to prove the effectiveness of the methods proposed in this paper, we select two baseline trackers to be comparatively tested and perform experiments on constructed robot environments that interact with real people and provide robotic services. The evaluations of the model are conducted in the order of an ablation study, performance evaluation and fine-tuning for each method, and qualitative evaluation. According to the experimental results, the proposed method shows high performance in MOTA and IDF1 metrics because it effectively overcomes the dynamic situation when applied to the existing multi-object tracking methods. In addition, even if only some of the three methods are applied, our model outperforms the existing ones in all cases.