Map/Reduce를 이용한 블로그 연결망 분석 시스템 설계

Abstract

최근, 인터넷의 발달로 인해 온라인 사회연결망이 증가하고 있으며 이 중 대표적인 온라인 사회연결망으로는 블로그 서비스가 있다. 블로그는 자신의 관심사에 따라 글을 올릴 수 있는 개인 홈페이지로서, 이러한 블로그간 관계를 맺어 온라인 사회연결망을 형성한다. 본 논문에서는 이러한 블로그간 사회연결망을 블로그 연결망(Blog Network) 이라고 정의한다. 본 논문에서는 이러한 블로그 연결망을 분석하기 위한 새로운 방법론을 제시하며, 대용량의 연결망 데이터를 안정적으로 분산처리 할 수 있는 방안을 제시한다. 우선, 각 연결망 데이터의 시간 경과에 따른 행위 가중치의 값을 보정하여, 최근의 행위가 과거의 행위보다 높은 연결강도를 가질 수 있도록 한다. 이는 시간의 흐름에 따라 서로간의 연결강도가 동적으로 변화될 수 있으며, 서로간의 연결 랭킹의 순위가 달라질 수 있음을 의미한다. 둘째로, 명시적으로 연결행위를 가지지 않은 블로그의 경우 블로그의 성격을 대표할 수 있는 키워드간의 유사도를 추출하여, 묵시적으로 연결망 내에 흡수하도록 한다. 따라서, 이전의 방법론과는 달리 더 많은 블로그 노드간의 연결을 분석할 수 있으며, 실제 연결행위로 이루어진 연결강도에 블로그 간의 속성이 반영된 의미적인 연결망도 포함된 분석이 가능하도록 한다. 본 논문이 제시한 블로그 연결망 분석 시스템의 설계로 기존에 제시되었던 방법론보다 약 40% 더 많은 블로그간 연결망을 추출 할 수 있음을 보였으며, 시간의 흐름에 따른 연결강도의 변화에 대한 타당성을 입증하였다.