Temporarily Hidden Multi-Object Tracking Method for People with Visual Impairment

Abstract

ABSTRACT

Temporarily Hidden Multi-Object Tracking Method for People with Visual Impairment

Ye Jin Kim Dept. of Computer Science Graduate School of Hanyang University

Visually Impaired (VI) face challenges regarding situational awareness, particularly in ensuring pedestrian safety. To guarantee pedestrian safety, collision avoidance is an important aspect. A fundamental component of obstacle avoidance involves the continuous tracking of objects, including temporarily hidden objects (THO). Hidden objects in our context refer to objects that have temporarily exited the frame or have been occluded. In other words, they are objects that have been detected in few frames within the previous one second frame sequence. Existing object tracking methods do not effectively track THO. So, we propose a method that determines whether the currently detected object has been in the previous 20 frames based on their distance and feature similarity. Put it differently, we propose prolonged frame set management, and appearance similarity calculation for continuous tracking of THO.

The proposed method has been tested in indoor and outdoor scenarios. Indoor scenarios contain tracking of a ball, coke and two identical looking green bottles. Outdoor scenarios contain tracking of a person1, person2, and a motorcycle. Based on the test case results, our method demonstrates better tracking of THO compared to the tracking module provided in YOLOv8. Ultimately, it contribute to an overall improvement of object tracking for VI assistance system. |국문요지

시각장애인들은 상황 인지 및 판단에 어려움을 겪는데, 특히 주변 환경에 대한 부족한 정보로 보행 안전이 보장되지 않는 경우의 어려움이 존재한다. 보행 안전을 보장하기 위해서는 충돌 회피가 중요한 요소이며 충돌 회피의 결정적인 역할을 하는 물체 추적 기술이 있다. 이때 상황 인지를 위해 지속적 물체 추적이 중요할 것으로 판단된다. 현재 물체 추적 기술은 다양한 분야에서 사용되는 만큼 활발한 연구가 진행되고 있으나 시각장애인을 위한 보행안전 연구에서는 해당 기술의 부재가 존재한다.

본 논문은 지속적인 추적을 위해 숨은 물체 추적 기술을 제시하고자 한다. 논문에서 해결하고자 하는 문제는 다음과 같다. 추적하던 물체가 프레임의 범위를 벗어나거나 다른 물체에 시야가 가려진 경우에도 해당 물체가 다시 검출되었을 때, 새로운 물체로 인식하는 것이 아닌 이전에 검출되었던 물체로 지속적 추적을 하고자 한다. 검출된 물체가 이전 프레임에서 추적했던 물체일 경우 본 논문은 이를 Temporarily Hidden Object (THO)로 정의한다. 이전 20개의 프레임에서 검출된 모든 물체들에 대한 정보를 프레임셋으로 보존하고 관리하여 현재 검출된 물체와의 유사도 비교를 통해 해당 물체가 THO로 판단될 경우 이전과 동일한 식별자로 지속적 추적을 진행한다.

THO 추적 기술을 테스트 하고자 실내, 실외에서 실험을 진행하였다. 3개의 실내 시나리오에서는: 공, 콜라 병, 그리고 두개의 동일한 병들을 추적한다. 실외에서는 2개의 시나리오인 보도와 횡단보도에서 사람1, 사람2, 그리고 오토바이를 추적한다. 실험 결과, 물체 식별과 THO 추적에 대해 YOLOv8x보다 좋은 성능을 보이는 것으로 확인되었다.