픽셀 수준 매칭과 특징 워핑을 활용한 동영상 객체 분할 기법

Abstract

준지도 동영상 객체 분할(Semi-supervised Video Object Segmentation)은 동영상 프레임 내 객체 영역들을 배경으로부터 분할하는 기술로 객체 추적, 동영상 요약, 동영상 검색, 객체 클래스 학습 등 다양한 영역에서 활용 가능하여 다양한 연구들이 진행되었다. 기존 기법들이 준지도 동영상 객체 분할을 위해 임베딩 특징, 광류 정보 추정 등의 움직임 정보를 활용하였으나, 움직임 추정 기반 방법은 추정된 움직임 정보의 오차 정도에 따라 객체 분할의 정확도가 큰 영향을 받는 한계가 있었다. 본 논문에서는 이러한 매칭 기반 방법의 문제를 완화하기 위해, 대표적인 매칭 방식인 픽셀 단위 전역 매칭과 광류 기반 지역 매칭을 혼합하는 방식을 제안한다. 첫 프레임과 현재 프레임의 위치 관계를 전역 매칭 방법을 통해 계산하여 동영상 프레임이 진행될수록 누적되는 오차를 줄이는 것이 가능하다. 현재 프레임과 근접한 과거 프레임 간의 광류 추정을 통해 지역적인 매칭 관계를 계산하여 보다 빠른 속도로 정확한 추정가능 하도록 하였다. 이러한 모듈들은 모두 미분 가능한 형태로 설계되어, 대량 데이터로부터 더욱 개선된 성능을 낼 수 있도록 유도하였다. 성능 평가를 위해 대표적인 동영상 객체 분할의 데이터 셋인 Davis 데이터셋을 사용하였다. 제안 기법은 정확도면에서 최신 기법과 유사한 수준인 J&F 점수 70.1의 성능 결과를 보이면서도, 다수 객체 처리 속도 면에서 35% 향상된 결과인 3.8 FPS 성능을 보였다. 또한, 정성적인 측면에서도 다중 객체 처리, Occlusion에 있어서도 제안 기법을 통해 성능이 개선되었음을 검증할 수 있었다.