TPE(Tree Pattern Expression)의 성능 분석 및 이를 활용한 질의 응답 시스템 개발

Abstract

인터넷의 발달은 여러 사용자들이 다양한 문서들을 웹 상에서 쉽게 공유할 수 있는 환경을 제공하여 형식이 정해지지 않은 일반 텍스트들의 급격한 증가를 초래하였다. 이로 인해 키워드 매칭 등과 같은 기존의 문서 검색 방법은 너무 많은 결과를 반환하여 사용자는 많은 결과들 중 관련된 정보를 찾기 위해 또 다른 노력을 필요로 하게 되었다. 이를 해결하기 위하여 기존의 일반 텍스트에 문법 구조나 품사 정보 등을 첨가한 텍스트 코퍼스를 단순 키워드가 아닌 문법 구조를 패턴으로 표현한 질의를 매칭하여 정보를 추출하는 방법이 텍스트 정보 검색 분야에서 효과적인 방법으로 인정되고 있다. 일반적으로 이를 활용한 검색 도구들은 트리 형태의 문법 구조를 각 노드간의 관계로 세분화 한 주석 텍스트와 이러한 관계를 패턴으로 표현한 쿼리의 매칭을 통해 검색 결과를 도출하는 방법을 사용한다. 이 방법은 간단한 패턴 쿼리에 대해서는 효율적으로 동작하나 쿼리가 복잡해질수록 노드 관계를 매칭하는 계산량이 급격히 증가하는 문제점이 있다. 기존 검색 도구의 이러한 비효율적인 매칭 문제를 해결하기 위하여 본 연구실에서는 Tree Pattern Expression(TPE)을 개발한 바 있다. TPE는 주석 텍스트의 트리 구조를 관계로 나누지 않고 트리 구조 자체를 패턴 매칭에 활용하여 패턴의 표현과 매칭의 계산 복잡도를 획기적으로 개선한 알고리즘이다. 본 논문에서는 TPE 알고리즘의 효율성을 검증하기 위하여 먼저 실험을 통하여 기존의 도구들과 TPE의 성능을 비교 분석한다. 또한 TPE 알고리즘의 현실적인 적용으로써 문법 구조를 질의 분석과 응답 문장의 매칭에 활용한 개선된 질의 응답 시스템을 제안한다. 이를 위하여 기존의 질의 응답 시스템의 문제점을 살펴보고 실험을 통하여 문법구조를 활용한 TPE 기반 질의응답 시스템이 현실적으로 효과적임을 보인다.