132 0

Image Tagging Enriched by Semantic and Social Intelligence

Title
Image Tagging Enriched by Semantic and Social Intelligence
Author
정진우
Alternative Author(s)
Jin-Woo Jeong
Advisor(s)
이동호
Issue Date
2013-08
Publisher
한양대학교
Degree
Doctor
Abstract
웹 서비스와 멀티미디어 서비스 기술이 나날이 발전함에 따라 사용자들의 정보 요구는 점점 더 다양해지고 복잡해지고 있다. 본 학위논문에서는 복잡해진 사용자들의 이미지 검색 요구를 처리하기 위하여 소셜 및 의미 지능을 활용한 통합 이미지 검색 시스템을 제안한다. 제안하는 시스템은 크게 1) 이미지의 객관적인 측면을 다루는 부분과 2) 이미지의 주관적인 측면을 다루는 부분으로 구성되어 있다. 이미지의 객관적인 측면을 다룬다는 것은 각각의 이미지 안에 어떠한 종류의 개체 혹은 개념이 존재하는지를 발견하기 위한 과정이라고 할 수 있으며, 이미지의 주관적인 측면을 처리하는 것은 사람에 따라 다르게 해석될 수 있는 정보들, 즉, 이미지에 대한 감정, 느낌 등의 정보를 해석하는 것을 의미한다. 이미지의 객관적인 측면을 이해하기 위한 연구로서, 본 학위논문에서는 폭소노미 기반의 소셜 지능과 WordNet 기반의 의미 지능을 활용한 소셜 태그 기반의 이미지 어노테이션 시스템을 제안한다. 태그기반 이미지 검색은 사용자가 이미지에 협력적으로 할당하는 태그를 바탕으로 이미지를 검색하게 된다. 따라서, 태그의 품질에 따라 이미지 검색의 정확도가 크게 달라질 수 있다. 본 학위논문에서는 태그를 할당하는 과정에서 각 태그의 중요도를 반영함으로써 태그기반 이미지 검색의 정확도를 향상시키고자 한다. 제안하는 태그 기반 이미지 어노테이션 시스템은 태그 전달 단계와 태그 랭킹 단계로 구성되어 있다. 태그 전달 단계에서는 이미지와 관련이 있는 후보 태그군들을 폭소노미로부터 수집하며, 태그 랭킹 단계에서는 이렇게 수집된 각각의 후보 태그의 중요도 (즉, 이미지와의 연관성)을 계산한다. 마지막으로, 다양한 실험 결과를 통하여 제안하는 기법의 우수성을 보인다. 이미지의 주관적인 측면을 처리하기 위한 부분으로서, 본 학위논문에서는 이미지의 감정적 측면을 예측하기 위한 확률기반의 기법을 제안한다. 기존의 감정 기반 이미지 검색 기법들은 자연 풍경 이미지나 삽화로부터 감정적인 측면을 예측하고 이를 바탕으로 검색을 수행하였다. 기존의 기법들과는 달리, 본 학위논문에서는 이미지에 존재하는 개념들에 대한 감정/느낌 정보를 예측하고 이를 기반으로 감정기반 이미지 검색을 수행하고자 한다. 이를 위하여, 개체들이 가지고 있는 속성으로부터 개체들에 대한 감정 정보를 예측하기 위한 다계층 속성기반 학습 기법을 제안하며, 다양한 사용자 연구 및 실험 결과를 통하여 제안하는 기법들이 이미지의 주관적인 측면을 효과적으로 처리할 수 있음을 보인다. |As the Web service and multimedia services advance, user’s information needs are diversifying and becoming increasingly complicated. In this thesis, we present a unified image tagging system enriched by semantic and social intelligence to support handling user’s complicated image search needs. We mainly focus on 1) how to capture objective aspects of images and 2) how to capture subjective aspects of images. How to capture objective aspects of images refers to how to detect which concept exists in each image. On the other hand, how to capture subjective aspects of images refers to how to extract feeling, emotion, attractiveness that can be differently interpreted according to person. For understanding objective aspects of images, we propose a tag-based image annotation system which exploits social intelligence from folksonomies and semantic intelligence from WordNet. A tag-based image search technique exploits social tags collaboratively assigned by users when searching for images. Therefore, the quality of tag-based image search results mainly depend on the quality of tags assigned to each image. In this thesis, we improve the quality of tag-based image search results by taking into account the importance of each tag when assigning tags to images. The proposed method consists of 1) tag propagation phase and 2) tag ranking phase. We show how these techniques can improve detecting objective aspects of images. In tag propagation phase, a set of candidate tags which are relevant to a given image are collected from the image database. In tag ranking phase, the importance of each tag (i.e., relatedness between each tag and the image) in the set of candidate tags is computed. Finally, we show the strength of the proposed method through various experiments. To support handling subjective aspects of images, we present a probabilistic-based approach which predicts affective aspects of images. The previous studies working on affective image search mainly focused on predicting affective aspects of images such as landscape images and illustrations. Compared to previous works, we focus on predicting affective aspects of the concept in images. To this end, we present a multi-layer attribute-based learning approach and then show how the proposed techniques can improve predicting subjective aspects of images through various user studies and experiments.
As the Web service and multimedia services advance, user’s information needs are diversifying and becoming increasingly complicated. In this thesis, we present a unified image tagging system enriched by semantic and social intelligence to support handling user’s complicated image search needs. We mainly focus on 1) how to capture objective aspects of images and 2) how to capture subjective aspects of images. How to capture objective aspects of images refers to how to detect which concept exists in each image. On the other hand, how to capture subjective aspects of images refers to how to extract feeling, emotion, attractiveness that can be differently interpreted according to person. For understanding objective aspects of images, we propose a tag-based image annotation system which exploits social intelligence from folksonomies and semantic intelligence from WordNet. A tag-based image search technique exploits social tags collaboratively assigned by users when searching for images. Therefore, the quality of tag-based image search results mainly depend on the quality of tags assigned to each image. In this thesis, we improve the quality of tag-based image search results by taking into account the importance of each tag when assigning tags to images. The proposed method consists of 1) tag propagation phase and 2) tag ranking phase. We show how these techniques can improve detecting objective aspects of images. In tag propagation phase, a set of candidate tags which are relevant to a given image are collected from the image database. In tag ranking phase, the importance of each tag (i.e., relatedness between each tag and the image) in the set of candidate tags is computed. Finally, we show the strength of the proposed method through various experiments. To support handling subjective aspects of images, we present a probabilistic-based approach which predicts affective aspects of images. The previous studies working on affective image search mainly focused on predicting affective aspects of images such as landscape images and illustrations. Compared to previous works, we focus on predicting affective aspects of the concept in images. To this end, we present a multi-layer attribute-based learning approach and then show how the proposed techniques can improve predicting subjective aspects of images through various user studies and experiments.
URI
https://repository.hanyang.ac.kr/handle/20.500.11754/133210http://hanyang.dcollection.net/common/orgView/200000422246
Appears in Collections:
GRADUATE SCHOOL[S](대학원) > COMPUTER SCIENCE & ENGINEERING(컴퓨터공학과) > Theses (Ph.D.)
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML


qrcode

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

BROWSE