비디오 객체 검출을 위한 옵티컬 플로우 불확실성 추정

Abstract

비디오는 시간적인 이미지 (프레임)의 연속이다. 비디오는 이미지와 다르게 물체의 이동이나 카메라의 포커스 조정에 의한 흐려짐 효과, 가려짐이나 물체의 희귀한 자세 등 검출을 어렵게 만드는 문제를 가진다. 따라서 하나의 이미지에서의 객체 검출 방법을 비디오 데이터에 적용하면 검출 성능 저하가 일어난다. 이를 해결하기 위해 비디오 객체 검출은 프레임 간의 시간적인 상관관계를 고려해야 한다. 옵티컬 플로우 (optical flow)는 이러한 시간적인 상관관계를 계산하는 방법 중 하나이다. 옵티컬 플로우는 연속된 이미지들의 픽셀 별 움직임 정보를 계산한다. 여러 프레임 사이의 물체의 움직임 정보를 이용하여 언급한 비디오 관련 문제가 발생해도 물체를 검출할 수 있다. 그러나 이미지 상에 존재하는 흐릿한 부분, 물체의 경계 등 다양한 특성으로 인해 모든 부분에서 옵티컬 플로우의 신뢰도 혹은 불확실성이 같지는 않다. 기존의 비디오 객체 검출 방법은 옵티컬 플로우의 불확실성을 고려하지 않기 때문에 프레임의 모든 픽셀에서 옵티컬 플로우의 불확실성이 같음을 가정한다. 이 경우 잘못된 옵티컬 플로우가 검출기로 들어와서 결국 검출에 실패할 수 있다. 본 논문에서는 옵티컬 플로우의 불확실성을 추정하고 불확실성 정보를 비디오 객체 검출에 이용하는 방법을 제안한다. 이에 따라 높은 불확실성을 가지는 옵티컬 플로우는 검출 단계에서 낮은 기여를 하도록 만들어 검출 성능을 높이고 오검출 (false positive, FP)을 낮춘다. 제안하는 방법은 불확실성을 학습하지 않는 모델과 비교하여 이미지넷 (ImageNet VID)에서 mean average precision (mAP)을 1.27% 향상시키고 FP를 10.59% 감소시킨다. 이는 비디오 인식 분야에서 물체의 움직임의 불확실성을 이용하는 것이 효과적임을 보여준다.|Video object detection (VOD) is a challenging task to resolve ambiguities owing to various issues such as motion blur, camera defocus, occlusion, and rare pose. Although various types of ambiguities will take place in an image, flow fields make equal contributions for VOD across the image. This may increase false detection (false positive, FP). In this thesis, a method that utilizes motion uncertainty for VOD is proposed. The trained optical flow estimation model helps detector to suppress unreliable flow fields to avoid misaggregation that causes mislocaliztion. Our proposed method improves mean average precision by 1.27% and decreases the FP rate by 10.59%. These results confirm that utilizing motion uncertainty for video recognition tasks is very effective.