K-Means 알고리즘 기반의 신용거래 이상치 탐지를 위한 분산 실시간 분석 방안

Abstract

현재(2015년) 스마트 기기의 발달과 고속 통신이 보급되면서 빅데이터, 클라우드, IoT(Internet of Things) 기술들이 연계되어 활용되고 있다. 컴퓨터의 크기가 초소형화되고 네트워크가 가능해짐에 따라 각종 사물과 결합하여 통신을 하게 된다. 사물 간의 상호작용을 하면서 발생하는 대용량의 데이터는 수집 후 클라우드에 저장하여 숨겨진 패턴을 발굴하기 위해 머신런닝 알고리즘 등으로 분석할 수 있게 되었고 기업 내 의사 결정을 데이터 기반에서 판단할 수 있게 되었다. 그 어느 때 보다 포괄적인 큰 데이터 집합을 다루면서 지금까지 불가능했던 새로운 비즈니스 모델을 발굴할 수 있게 되었다. 결제 시장에서도 실사용 편의성에 중심을 둔 모바일 기반의 간편 결제 서비스와 기존 온라인/오프라인 결제와 함께 다양한 환경에서 대용량의 신용 거래 데이터가 실시간으로 발생하고 있다. 특히 VAN(Value Added Network) 시스템은 다수의 가맹점 및 카드사들을 중계하여 신속, 안전하게 결제가 이루어질 수 있도록 구성된 시스템이다. VAN 시스템에서 가맹점과 카드사와 송/수신하는 과정에서 발생하는 데이터를 실시간으로 분석하여 이상징후를 사전에 파악할 수 있다면 적시에 적절한 조치를 할 수 있으므로 장애 위험을 최소화할 수 있다. 본 연구에서는 글로벌 기업에서 사용하는 검증된 오픈 소스를 활용하여 적은 비용으로 대용량의 데이터를 실시간 분석이 가능한 분산 시스템을 설계하고 구현하였다. 실시간 분석에서는 과거 데이터의 기반에서 K-Means 알고리즘을 통해 정상적인 신용거래이지만 다양한 형태의 거래들로 군집화 시킬 수 있는데 이것은 여러 군집 중 이상치로 의심되는 군집을 발굴 후 학습하여 실시간으로 끊임없이 들어오는 거래를 입력으로 하여 학습 기반 결과를 도출해 내는 방법을 제안하였다. 성능평가에서는 실시간으로 들어오는 이상치 데이터가 학습 데이터 기반의 이상치 군집으로 소속되는지 다섯 가지의 케이스를 가지고 정확도를 평가한 결과 10만 건의 이상치 유형의 데이터를 입력으로 하여 96% 수준의 정확도를 측정할 수 있었다. 또한, 제안한 분산 시스템에서 지속해서 끊임없이 발생하는 신용거래를 학습 데이터 1,000만 건 기반에서 15,000 TPS(Throughput per Second) 를 처리 할 수 있음에 따라 K-Means 알고리즘 기반에서 실시간 분석이 가능함을 확인할 수 있었다.