대표응답패턴을 활용한 질의변환 방법

Abstract

질의응답시스템(Question Answering System)은 자연어로 구성된 사용자의 질문을 분석하여 질문의도를 파악한 후, 사용자가 원하는 정확한 정보를 다양한 문서로부터 추출하여 구 또는 절단위로 정답을 제시해주는 시스템이다. 이를 위해 질의응답시스템은 질의처리 기술, 문서검색 기술, 정확한 응답을 추출하는 기술 및 추론기술 등이 사용된다. 이와 같이 질의응답시스템에 관련하여 위에서 언급한 여러 가지 기술들이 많이 연구되고 있다. 질의응답시스템은 질의를 처리하는 부분과 검색을 하는 부분으로 나눌 수 있으며 서로 밀접한 관계를 가지고 있다. 본 논문은 질의응답시스템에서 질의처리에 속하는 질의변환 방법에 초점을 둔다. 질의변환은 질의를 처리하는 기술 중 하나로 기존의 일반검색엔진을 사용하면서 질의변환방법을 통해 자연어로 구성된 사용자의 질문을 검색엔진에 적합한 질의로 변환시켜 검색함으로 전체적인 질의응답 시스템의 성능을 높이는 방법이다. 본 논문에서는 임의의 질문유형에 대한 응답을 대표하는 패턴을 추출하는 방법과 추출된 패턴을 이용하여 질의변환을 하는 방법을 제안한다. 먼저 임의의 질문유형에 대한 응답을 대표하는 패턴을 추출하기위해 N-gram을 이용하여 패턴을 생성하고 생성된 패턴들은 논문에서 제안한 패턴중요도측정척도에 의해 순위화 되어 최종적인 패턴을 추출한다. 그리고 사용자의 자연어 질문을 논문에서 제안한 질문유형 정규표현식에 의해 분류하고 해당되는 질문유형을 대표하는 패턴을 사용하여 질의변환 하는 방법을 제안한다. 본 논문에서 제안한 질의변환방법을 실험하기 위해 TREC-11과 유즈넷 뉴스그룹의 FAQ파일 940개를 데이터 집합 구축하고 사용자의 자연어 질의와 본 논문에서 제안한 질의변환 방법에 의해 새롭게 생성된 질의를 사용하여 일반 검색엔진에서 각각 비교 평가 하여 사용자의 자연어 질의보다 본 논문에서 제안한 질의변환 방법에 의해 생성 된 질의로 검색하였을 때 질의응답 시스템의 성능이 향상되었다. 그리고 의문사별로 구글 검색엔진에서 실험을 한 결과 모두 정답정확률이 향상되었고 그중 what질문에서 가장 많은 15%가 향상되었다.