머신러닝을 이용한 자연어 처리 기반의 금융사 장애 탐지 모델

Abstract

Korea is one of the nations in the world where the e-commerce market accounts for a large proportion of the total retail distribution market. The Korean e-commerce market has been growing steadily every year, and recently the growth rate has accelerated faster through a pandemic. In addition, online payment has also quickly become a mainstream payment method among methods of payment. As e-commerce becomes more active, many vendors supporting payment methods in e-commerce including banks and credit card companies are also increasing as well as source companies. However, response messages for the transaction result that each institution sends were not unified, and if the transaction messages show the same results each company uses different-typed messages. Therefore, unless a person directly checks the error message, vendors or resource companies cannot find what failure happens automatically through their system. Therefore, this study categorized what error message points out what failure contents by using natural language processing in order to resolve these problems, and depending on the results, it designed a model that can determine which payment subjects is currently in a failure and it checked the performance of the model. This study collected 11,865 messages from various vendors and financial companies, and it made a dataset by making a LSTM classifier learn and then labeling them. Later, by using the dataset, this study had Simple RNN, LSTM, and GRU models learn respectively and compared their performances. As a result, the LSTM model, which was optimized by adding Attention Layer to Dropout and Bidirectional Recurrent Layer, recorded its performance as 92% or more. This study verified that, if it is applied to e-commerce services, this model automatically determines what failure happened in which payment subjects have a failure situation on the system according to error messages of financial companies. | 대한민국은 세계에서 전자상거래 시장이 전체 소매 유통 시장에서 많은 비중을 차지하고 있는 나라 중에 하나이다. 한국의 전자상거래 시장은 매년 꾸준한 성장을 거듭해왔고, 최근에는 펜데믹을 거치면서 그 성장세가 더욱 가속화되었다. 이와 더불어 온라인 결제 또한 결제 수단에 있어서 하나의 주류로 빠르게 자리잡았으며, 이처럼 전자상거래가 활발해짐에 따라 전자상거래에서의 결제수단을 지원하는 각종 벤더사들과, 은행사와 카드사를 포함한 원천사 역시 함께 증가하고 있다. 그러나 각 기관에서 노출하는 거래 결과에 대한 응답 메시지는 하나로 통일되어 있지 않고, 같은 내용의 결과값이더라도 각각의 회사마다 서로 다른 유형의 메시지를 사용하고 있다. 따라서 사람이 직접 오류 메시지를 확인하지 않는 이상 시스템을 통해 벤더사나 원천사가 현재 어떠한 장애 상황인지를 자동으로 판단하기가 어렵다는 문제가 있다. 따라서 본 연구는 이러한 문제를 해결하기 위해서 자연어 처리를 이용하여 해당 메시지가 어떠한 오류 내용을 내포하고 있는지 분류하고, 그 결과를 통해 현재 어떠한 결제 주체가 장애 상황인지를 판단하는 모델을 설계하고 성능을 확인한다. 각종 벤더사와 금융사에서 11,865개의 응답 메시지를 수집하고, LSTM분류기 모델을 학습시켜 레이블링해서 데이터셋을 만들었다. 이후 이 데이터셋을 이용해 Simple RNN, LSTM, GRU 모델을 각각 학습시켜서 성능을 비교하였다. 결과적으로 Dropout과 Bidirectional Recurrent Layer에 Attention Layer를 추가하고 최적화시킨 LSTM 모델에서 약 92% 이상의 성능을 기록했고, 이 모델을 전자상거래 서비스에서 적용한다면 금융사의 에러 메세지를 통해 시스템 상에서 자동적으로 각 결제 주체의 장애 상황을 판단할 수 있음을 확인하였다.