샷 기여도와 왜곡률을 고려한 키 프레임 추출 알고리즘

Abstract

키 프레임 추출 알고리즘은 비디오 정보 검색분야에서 중요한 연구 대상의 하나로 인식되어 왔다. 그러나 그동안의 많은 연구에도 불구하고 대부분의 방식들이 추출된 키 프레임의 중요성을 정량적인 수치로 제시하지 못하는 경우가 많으며, 복잡하거나 또는 효율적이지 못한 단점이 있다. 본 논문에서는 샷 내의 프레임들에 대해 샷 기여도와 왜곡률을 고려하여 키 프레임을 추출해내는 방식을 제안한다. 제안하는 방법은 키 프레임 후보 추출 과정과 그 후보들을 이용한 키 프레임 추출 과정으로 이루어져 있다. 키 프레임 후보 추출 과정에서는 먼저 샷 내의 인접한 모든 프레임간의 유사도를 구하여 각각의 프레임의 전체 샷에 대한 기여도를 계산하며, 이 결과로 나온 각 프레임의 기여도에 따라 상위 10% 범위의 프레임들을 키 프레임 후보로 추출한다. 키 프레임 추출 과정에서는 후보 추출 과정에서 추출된 프레임들을 대상으로 샷 전체에 대한 왜곡률을 계산하여 가장 샷에 영향력이 많은 프레임을 키 프레임으로 추출한다. 키 프레임을 평가하는 과정은 주관적인 작업이기에 이를 입증하기 위해서 통계학적 조사방법으로 제안된 알고리즘의 성능을 평가하였으며, 실제 동영상에 대한 실험을 통해 추출된 키 프레임과 다른 방식으로 추출된 키 프레임의 비교를 통해 기존의 방법들보다 13~50% 이상의 성능 향상이 있었음을 실험적으로 확인할 수가 있었다.

Key frame extraction has been recognized as one of the important research issues in video information retrieval. Although progress has been made in key frame extraction, the existing approaches do not evaluate the importance of extracted frame quantitatively, and they are computationally expensive or ineffective. In this paper, we introduce a new algorithm for key frame extraction using shot coverage and distortion. The algorithm finds significant key frames from candidate key frames. When selecting the candidate frames, the coverage rate to the total frames from each frame is computed by using the difference between the adjacent frames in the shot. The frames within 10% from the top are selected as the candidates. Then, by computing the distortion rate of the candidates against all frames, pick the frames which are most representative are selected. The performance of the proposed algorithm has been verified by a statistical test. Experiments show that more than 13-50% improvement has been obtained by the proposed algorithm compared to the existing methods.