SVM 분류기와 온톨로지를 이용한 이미지 의미 관계 자동 추출 기법

Abstract

최근 효과적인 이미지 검색을 위하여 이미지의 저수준 시각정보로부터 고수준 의미정보의 자동 추출에 관한 연구가 활발하게 이루어지고 있다. 특히, Support Vector Machine과 같은 기계 학습 방식을 이용한 자동 이미지 주석 처리 시스템의 개발이 활발히 진행중이다. 그러나 기존의 연구들은 이미지에 대한 단편적인 정보만을 추출하는데 불과하였고, 그 성능 또한 여전히 만족스럽지 못하다. 본 논문에서는 Support Vector Machine과 온톨로지를 이용하여 이미지의 다양한 정보를 효과적으로 추론 및 기술할 수 있는 새로운 방식의 2단계 프레임워크를 제안한다. 첫 번째 단계에서 이미지로부터 색상과 같은 시각 특징 정보를 추출하고, 각 정보를 중간단계 컨셉(예, 노랑, 45각도의 줄무늬)으로 변환하여 객체 SVM 분류자를 학습시킨다. 이 과정에서 객체 분류 정확도를 더욱 향상시키기 위하여 수정 모듈을 사용한다. 두 번째 단계에서는 앞서 추출된 시각 특징 정보 및 객체 분류 정보와 이미지 도메인 온톨로지에서 유도되는 의미 관계를 기반으로 객체간의 위치관계, 천적관계와 같은 의미관계들을 추출한다. 마지막으로 약 20개의 객체 컨셉을 포함하는 컬러 이미지 집합을 대상으로 제안된 시스템의 성능을 평가하고 향후 연구 계획에 대하여 기술한다.; Extracting high-level semantic concepts from low-level visual features of images is a very challenging research. Although traditional machine learning approaches just extract fragmentary information of images, their performance is still not satisfying. In this paper, we propose a novel system that automatically extracts high-level concepts such as spatial relationships or natural-enemy relationships from images using combination of ontologies and SVM classifiers. Our system consists of two phases. In the first phase, visual features are mapped to intermediate-level concepts (e.g, yellow, 45 angular stripes). And then, a set of these concepts are classified into relevant object concepts (e.g, tiger) by using SVM-classifiers. In this phase, revision module which improves the accuracy of classification is used. In the second phase, based on extracted visual information and domain ontology, we deduce semantic relationships such as spatial / natural-enemy relationships between multiple objects in an image. Finally, we evaluate the proposed system using color images including about 20 object concepts.