Marking parts of an image relevant to the keyword with boxes in image retrieval systems

Abstract

The remarkable development of Internet technology has enabled humans to obtain huge amounts of information with just a few search terms. However, as the information available to be acquired explosively increases, it is also essential that obtaining only necessary information quickly. To this end, existing Internet search systems use a variety of sources, such as the title of each page and explanatory information within the meta-tag, to highlight page content that is highly relevant to the search term. These are called "snippets" to help users quickly understand the link between queries and search results. However, image retrieval systems, unlike conventional search systems, cannot leverage these meta-tags or titles of images. Therefore, users find it difficult to find a link between the query searched and the search results. To address these challenges, this work proposes a method for drawing snippets in image retrieval systems that facilitate understanding of search queries and associations between images, making it easier for users to obtain the desired information. The proposed method can use convolutional neural networks to detect the core pixels of the image, and use these core pixels to draw appropriate snippets to help users acquire the information quickly. Through experiments, we evaluate the quality of the generated snippets. We also show a real-world example of snippets generated by case studies.| 인터넷 기술의 눈부신 발달으로 인간은 몇가지 검색어 만으로도 엄청난 양의 정보를 획득할 수 있게 되었다. 하지만 획득할 수 있는 정보가 폭발적으로 증가함에 따라, 그 중 필요한 정보만을 빠르게 획득할 수 있는 방법 또한 반드시 필요하다. 이를 위해, 기존 인터넷 검색 시스템은 각 페이지의 제목과 메타 태그 내 설명 정보 등 다양한 소스를 사용하여 검색어와 관련성이 높은 페이지 콘텐츠를 강조한다. 이처럼 사용자의 질의와 검색 결과간의 연관성을 빠르게 이해하도록 돕는 것을 스니펫이라 한다. 하지만 이미지 검색 시스템은 기존의 검색 시스템과 달리 이러한 메타 태그나 이미지의 제목 등 을 활용할 수 없다. 따라서 사용자가 검색한 질의와 검색 결과간의 연관성을 찾는데 어려움을 느낀다. 이러한 문제점을 해결하기 위해, 이 연구에서는 이미지 검색 시스템에서 검색 질의와 이미지간 연관성 이해를 도와 사용자에게 원하는 정보를 쉽게 획득할 수 있게 하는 스니펫을 그리는 방법을 제안한다. 제안하는 방법은 합성곱 신경망을 사용하여 이미지의 핵심적인 픽셀을 탐지해내고, 이 핵심적인 픽셀을 사용하여 사용자의 빠른 정보 획득에 도움이 되는 적절한 스니펫을 그릴 수 있다. 실험을 통해, 제안된 방법을 통해 생성된 스니펫이 적절한지 평가하였다. 또한 사례연구로 생성된 스니펫의 실 예를 보여준다.