공공기관 웹 페이지 URL 오류 및 콘텐츠 변화 감지 시 스템 개발

Abstract

대한민국 공공기관 웹 페이지들은 정부가 시행하는 다양한 정책들에 대한 정보를 제공하고 국민들에게 필요한 다양한 공공 서비스를 제공하는 주요한 창구로써 역할을 수행한다. 그러나 공공기관 별로 방대한 콘텐츠를 포함하는 웹 페이지들은 업데이트가 반복됨에 따라 구식화되어 접근이 불가능하거나 오류를 출력하여 국민들의 공공 서비스 접근성을 해칠 뿐만 아니라 해당 공공기관들에 대한 신뢰성을 해칠 수 있다. 따라서, 발 빠른 업데이트를 통해 웹 페이지들에 대한 즉각적인 유지보수를 수행해야 하지만, 해당 웹 페이지들을 빠르게 식별하고 관리에 도움을 주는 자동화 시스템에 대한 연구는 아직까지 제한적이다. 이러한 배경을 바탕으로, 본 연구에서는 공공기관 웹 페이지의 신뢰성과 효율성 향상을 위한 URL 오류 및 콘텐츠 변경 감지 방법론을 제안한다. 본 연구에서 구현한 시스템은 HTTP 상태 코드 검사, 오류 메시지 및 단어 검사, 타임아웃 및 과도한 리다이렉트 처리를 활용해 URL의 오류를 탐지하며 HTML 코드의 한글 텍스트 추출 및 Jaccard 유사도 비교를 통해 웹페이지 속 콘텐츠의 변경을 감지한다. 우리는 프로토타입 시스템에 대한 성능 평가 결과를 통해 88.86%의 탐지율로 URL 속 오류를 탐지하였고, 71.43%의 정확도로 콘텐츠의 변경이 발생한 웹페이지를 감지하였다. 우리는 본 시스템이 가진 특성과 한계에 대해 논의할 뿐만 아니라 향후 본 연구에서 제안한 시스템의 고도화 방향에 대해서 자세히 기술한다.