온톨로지를 이용한 개인 맞춤형 비디오 검색 시스템

Abstract

최근 멀티미디어 정보의 양이 빠른 속도로 증가함에 따라 비디오 자료에 대한 효율적 관리는 매우 중요한 의미를 가지게 되었다. 비디오는 대용량적인 특성과 비정형적인 특성을 가지고 있어, 신속하고 효율적으로 비디오 검색을 하기 위해서는 정확한 특징 정보를 추출하여 비디오 색인 구조를 구축해 할 필요가 있다. 그러므로 비디오 색인 구조는 전통적인 데이터베이스와는 다른 모델링 방법과 검색 방법을 사용한다. 따라서 비디오 색인 구조에서 검색의 속도와 정확도를 향상시키기 위해서는 새로운 비디오 색인 구조가 요구된다. 본 논문에서는 비디오를 장면단위로 검색할 수 있는 의미적 인덱싱 구조인 비디오 온톨로지 시스템을 제안한다. 비디오 온톨로지 시스템은 장면의 내용에 대한 키워드를 구조화 시킨 장면 이름 온톨로지와 장면이 가지는 특징 정보에 대한 정보를 가지는 장면 모델 온톨로지로 구성된다. 장면 이름 온톨로지는 색인된 내용에 대한 의미적 검색이 가능하도록 단어들을 트리구조로 저장한다. 그리고 장면 모델 온톨로지는 색상, 모양, 재질 등의 저수준 정보와 객체, 이벤트를 의미하는 고수준 정보간의 의미적 차이를 줄여줌으로써 의미기반 검색이 가능하게 해준다. 제안하는 방법의 검색성능은 기존의 방법과 비교하여 정확도는 5.1%, 재현율은 12.1%, 그리고 F-measure는 8.6% 향상되었다. 제안하는 방법이 재현율에서 더 좋은 성능을 보이는 것은 키프레임 이미지만이 아니라 장면에 포함된 객체를 모두 인덱싱하여 나타난 결과이다. 그리고 사용자들이 검색 결과에 더욱더 만족하기 위해서는 비디오 색인 구조에 사용자의 선호도가 반영되어 관심 있는 콘텐츠를 효과적으로 검색할 수 있도록 지원되어야 한다. 이를 위해 본 논문에서는 사용자 선호도를 고려한 의미기반 비디오 검색 방법을 제안한다. 기존의 방법은 사용자의 선호도를 고려하지 않는 단점이 있다. 그리고 사용자의 질의에 대하여 단순히 텍스트 매칭한 결과를 보여주기 때문에 의미적 검색을 지원하지 못하는 문제점이 있었다. 이러한 한계를 극복하기 위해 본 논문에서는 사용자 선호도 분석 방법을 개발하고, 의미적 검색을 위한 비디오 온톨로지 구성 방법을 제안한다. 실험 결과 제안하는 방법은 사용자 선호도를 정확히 분석하고, 장면에 포함된 객체와 움직임 단위의 의미적 인덱싱 구조를 구성하므로, 기존의 방법 보다 정확도는 5.8%, 재현율은 14.6%, 그리고 F-measure는 10% 향상되었다. 제안하는 방법이 좋은 성능을 보이는 이유는 사용자의 선호도를 세분화하여 분석하여 기존의 방법보다 사용자의 선호도를 정확히 반영하여 검색의 결과로 하여 나타난 결과이다. 특히 재현율에서 더 좋은 성능을 보이는 것은 의미적 확장 검색을 통해 텍스트는 다르더라고 의미가 같은 장면을 검색의 결과로 포함하였기 때문이다.; To ensure access to rapidly growing video collection, video indexing is becoming more and more essential. A database for video should be built for fast searching and extracting the accurate features of video information with more complex characteristics. In this dissertation, a video ontology system for to overcome semantic gap in video retrieval is proposed. In particular, our method is feature selection for the video ontology construction. The proposed video ontology divided into the scene name ontology (SNO) and the scene model ontology (SMO). SNO is the dictionary of terms using tree structure. Through the hierarchical structure of terms, the semantic concept is defined. SMO is aimed at bridging of the gap between the semantic nature of user queries and raw video contents. Also, the results of semantic retrieval shows not only the concept of topic keyword but also a sub-concept of the topic keyword using semantic query extension. Through this process, recall is likely to provide high accuracy results in proposed method. The experiments compared with key frame-based indexing have demonstrated that this the proposed scene-based indexing presents better results in several kinds of videos. Moreover, video indexing structure supports an efficient retrieval of interesting contents to reflect user preferences. In this dissertation, semantic video retrieval method based on user preference is proposed. Unlikely the previous methods do not consider user preferences. Furthermore, the conventional methods show the result as simple text matching for the user’s query that does not supports the semantic search. To overcome these limitations, a method for user preference analysis and present a method of video ontology construction for semantic retrieval is developed. The simulation results show that the proposed algorithm yield better performance than previous methods in terms of semantic video retrieval based on user preferences.