대용량 데이터 기반의 통신망 관리 시스템의 개선 방안에 관한 연구

Abstract

시장의 변화 및 소비자의 요구 변화를 비롯한 기업 내외부의 상황변화에 대응해서 얼마나 빠르게 적응할 수 있는가 하는 것이 실시간 기업의 핵심요건이다. 이러한 실시간 기업이 가진 변화의 속도를 지원하기 위해서 최근 대용량 데이터 처리 기술이 각광받고 있다. 특히 최근 유무선 통신망의 진화 및 고도화가 가속되고 있는 상황에서 대규모 통신 트래픽을 실시간으로 처리하여 안정된 서비스를 제공하는 것과 강력한 보안 관제 기능은 매우 필요하다. 본 논문에서는 선행연구로 실시간 기업의 정의, 클라우드 컴퓨팅, 대용량 데이터 처리 기술에 대해서 고찰하고 기존 통신망 관리 시스템이 안고 있는 문제점을 정리하였다. 더불어 통신망 구축을 둘러싼 경영층의 요구사항을 정리하여 기존의 문제점을 개선하고 경영층의 요구사항을 반영한 대용량 사용자 데이터 분석 기반의 통신망 관리 시스템을 설계 및 구현하였다. 구현된 시스템은 클라우드 컴퓨팅 인프라를 기반으로 하여 오픈소스인 Hadoop 프레임워크를 적용하였다. 고속의 통계 데이터 처리를 위해서 메모리-HDD 형태를 결합한 하이브리드 DBMS를 추가 적용하였다. 기본적인 대용량 데이터 정보처리 Flow는 소스데이터 수집 -> 데이터 통합과 관리 -> 데이터 분석과 결과 제시 -> 결과의 발견과 개선으로 이루어진다. 이러한 정보처리 Flow을 지원하기 위해서 본 논문에서는 각 단계별로 솔루션을 제시하였다. 먼저 소스 데이터 수집단계를 위해서는 실시간 Packet을 수집하여 전처리 하기 위한 PCS(Packet Capture System)을 설계 및 구현하였으며 각종 교환장비 및 M2M 단말에서 전송하는 장애 이벤트 데이터를 수집하기 위한 CEP(Complex Event Processing) 서버를 구현하였다. 데이터 통합과 관리단계를 위해서는 오픈 소스인 Hadoop 프레임워크를 기반으로 컴퓨팅 자원을 가상화 시키고 분산 파일 시스템과 Map-Reduce기법을 도입한 NMS(Network Management System)플랫폼 을 구현하였다. NMS 플랫폼은 소스 데이터 수집 단계에 있는 PCS와 CEP 서버를 통해서 수집된 데이터를 실시간으로 처리하여 저장한다. 데이터 분석과 결과 제시 단계에서는 데이터 통합과 관리단계에서 저장된 데이터를 가상화된 메모리 영역으로 로딩하여 사전에 정의된 통계 스케줄링을 실행하여 데이터를 분석한다. 이 단계에서는 메모리-HDD기반의 하이브리드 DBMS 솔루션을 도입하여 처리하였다. 대용량의 데이터를 메모리 영역에서 처리하기 때문에 고속으로 처리가 가능하며 불필요한 데이터는 HDD로 파일형태로 전송하여 저장시킨다. 끝으로 결과의 발견과 개선 단계에서는 데이터 분석과 결과 제시 단계에서 분석된 데이터를 운영자 GUI을 통해서 실시간으로 제시하며 필요한 의사결정을 내릴 수 있도록 지원하는 역할을 수행한다. 운영자는 제공된 데이터를 기반으로 실시간으로 필요한 정책을 변경하여 적용할 수 있고 데이터 분석과 결과 단계에서 추출된 데이터는 기존의 경영 프로세스 및 운영 프로세스에 정확하고 유연성 있는 데이터를 제공함으로써 실시간 경영 및 데이터 중심의 BI(Business Intelligent) 시스템을 운영할 수 있는 기반을 확보하게 되었다. 구현된 시스템의 성능을 검증한 결과 NMS 플랫폼에서 처리되고 관리되는 데이터는 기존에 운영중인 경영 관리 시스템(IT-OSS)에 연동 인터페이스를 통해서 실시간으로 제공됨으로써 경영층이나 임직원들은 현재 및 과거의 통화품질 통계나 장애 알람 통계 데이터를 손쉽게 접근할 수 있게 되었다. 또한 경영상의 정책 변경이 발생한 경우 기존에는 최소 일주일 이상이 걸리던 작업이 5분 이내로 실행되어 거의 실시간으로 적용되는 효과를 거두었다. 실시간 통합 관제 기능이 적용됨에 따라서 기존에는 장비별로 개별적인 운영관리 시스템을 통해서 관제기능을 수행함으로써 장애 발생 시 영향도 파악 및 장애 감지시간이 오래 걸렸지만 제안된 시스템에서는 통합된 장비 관제 기능을 구현함으로써 장애 발생 시 영향도 및 장애 감지 시간을 기존의 60분에서 5분 이내로 대폭 낮추었다. 이러한 성능개선의 효과는 실시간 Packet을 수집, 처리, 분석하기 때문에 가능하였다. 다른 사용자의 인증정보를 이용하여 불법적으로 서비스를 이용하는 불법 호 시도는 통신사업자에게 많은 비용을 발생시켰다. 이에 통신사업자들은 다양한 불법 호 시도 검출 알고리즘을 개발하였지만 이러한 시도는 교환장비에서 15분 마다 생성하는 CDR 데이터를 기반으로 분석하기 때문에 필연적으로 늦은 대응이 될 수 밖에 없는 구조였다. 하지만 제안된 시스템은 실시간으로 모든 사용자 데이터를 수집하는 구조이기 때문에 1분이내에 불법 호 시도를 검출하고 즉시 차단하는 기능을 수행할 수 있다. 이러한 구조 덕분에 기존에는 불법 호를 탐지하는데 20분의 지연시간이 발생하였지만 지금은 1분이내로 탐지할 수 있게 되었다. 실제 이러한 기술 적용으로 A 기업은 불법 호 시도 비용을 기존대비 90%까지 낮출 수 있게 되었다. 본 논문은 기존의 통신망 관리 시스템이 가진 문제점과 경영층의 요구사항을 기반으로 클라우드 인프라 기술과 대용량 데이터 처리, 분석 기법을 적용함으로써 복잡화되고 있고 사용자 데이터가 급격히 증가하고 있는 통신사업자의 경영환경을 실시간 기업의 형태로 전환할 수 있도록 지원할 수 있게 되었다.