빅데이터 알고리즘을 활용한 아파트 ERP 데이터 분석 기법

Abstract

우리나라에 전국기준으로 존재하는 아파트의 세 대수는 2019년 기준으로 950만을 넘었다. 또한 통계청이 지난해 발표한 '2018 인구주택총조사' 결과에 따르면 아파트에 거주하는 가구 비율이 전체 주택 가구의 50%를 넘겼다. (통계청, 2019)[1] 한국의 주거문화에서 아파트가 차지하는 비중이 상당히 크고 한국 경제의 상당부분을 차지한다.

본 연구는 아파트 ERP 빅데이터를 활용하여 기존의 관련 연구와는 차별적인 세부적인 데이터를 가지고 연구를 수행하였다. 아파트 ERP 빅데이터를 활용한 실증적인 연구이며, 전국 단위와 다년간에 쌓아온 빅데이터를 활용한 연구이다. 국토교통부에서 만든 '공동주택관리 정보시스템'에서 제공하지 않는 아파트 ERP 빅데이터를 활용하였고, 빅데이터를 MapReduce 방식과 데이터 특성 선택 기법을 통해 접근하였다.

본 논문에서는 기존의 MapReduce의 특징을 기반으로 맵(Map)과 리듀싱(Reduce)성능을 개선 시킨 새로운 ERP_MapReduce를 제안한다. 기존의 MapReduce형식은 단순히 Map, Reduce과정만을 거치는 반면에 ERP_MapReduce는 ERP항목 데이터를 Key값으로 할당하고, 항목 빈도를 Value로 데이터를 분리한다. 리듀싱 단계에서는 Key값이 동일한 데이터를 추출하여 빈도를 계산한다.

제안한 방법은 ERP데이터 분석에 있어서 기존의 MapReduce 알고리즘을 사용한 프로그램에 비해 최소 10배, 최대 수십 배의 빠른 수행 시간을 보였고, 데이터의 정확성에서도 성능 개선이 되었다; The number of apartments that exist on a national basis in Korea surpassed 9.5 million as of 2019. In addition, according to the results of the "2018 Population and Housing Survey" released by the National Statistical Office last year, the proportion of households living in apartments exceeded 50 percent of all housing households. (Money Today,2020)[1] Apartments account for a considerable portion of Korea's residential culture and account for a significant portion of the Korean economy.

This study used apartment ERP big data to carry out the study with detailed data that is different from the existing related research. It is an empirical study that utilizes apartment ERP big data, and a study that utilizes big data that has been accumulated on a national and multi-year basis. Apartment ERP big data not provided by the 'Multi-Housing Management Information System' made by the Ministry of Land, Infrastructure and Transport was utilized, and big data was accessed through MapReduce method and data characteristics selection technique.

This Thesis proposes a new ERP_MapReduce based on MapReduce characteristics by improving the map and redoing process to improve the performance of ERP data extraction using the existing MapReduce. The proposed technique allocates ERP item data as key data at the mapping stage, and separates item frequency into value data. In the reducting phase, the frequency is calculated by extracting data with the same key.

The proposed method showed at least 10 times faster performance times and at most dozens of times faster performance times than programs using the existing MapReduce algorithm in ERP data analysis, and improved performance in data accuracy.