기계학습 알고리즘을 이용한 웹 페이지의 메뉴 식별

Abstract

웹 컨텐츠 핵심 요소인 웹 메뉴는 웹 사이트 구조에 관한 기본 정보를 제공한다. 웹 사이트의 분류체계와 상위 섹션을 표현하는 웹 메뉴를 분류하여 인덱서와 크롤러에게 제공하면 웹 사이트의 구조를 제공하는 것이므로 관련성 높은 페이지나 영역으로의 탐색이 가능하게 된다. 따라서 불필요한 페이지의 접근을 하지 않아서 효율적인 작업의 수행이 가능해진다. 또한 웹 메뉴의 탐지를 통해 여러 응용 프로그램의 개발이 가능하다. 본 논문은 웹 페이지 내의 웹 메뉴 컨텐츠를 자동으로 탐지하는 지도학습 분류기에 관한 연구이다. 웹 내용 마이닝의 분석 기법중 기계학습 알고리즘을 이용한 분석을 실시하였다. 기계학습은 지도학습에 해당하는 k 최근접 이웃 알고리즘, 지지 벡터 머신, 로지스틱 회귀를 이용하여 분류를 진행 하였다. 웹 페이지의 데이터를 수집하여 기계학습 알고리즘을 통해 웹 메뉴를 범주화 시키는 과정을 진행하였다. 웹 메뉴 분류기를 설계하는데 있어서 고려해야 할 문제는 알고리즘의 선택뿐만 아니라 좋은 성능을 내기 위해 데이터의 불균형 문제의 해결과 특징선택을 통한 알맞은 속성들을 선택해야 한다. 따라서 본 논문은 각각의 기계학습 알고리즘의 수행 단계에서 데이터의 불균형의 문제 해결방법과 실제 과정 그리고 특징선택의 방법과 속성집합의 선택에 따른 성능 향상에 대해 확인할 수 있다.