11 0

중고물품 E-Commerce를 위한 협업 필터링 기반의 분산 처리형 추천 시스템 설계 및 구현

Title
중고물품 E-Commerce를 위한 협업 필터링 기반의 분산 처리형 추천 시스템 설계 및 구현
Other Titles
Design and implementation of recommended system based on distributed collaborative filtering for used goods E-Commerce
Author
김현도
Alternative Author(s)
Kim, Hyun Do
Advisor(s)
조인휘
Issue Date
2019. 8
Publisher
한양대학교
Degree
Master
Abstract
전자 상거래에서 추천 서비스 제공은 옵션이 아닌 필수가 되었다. 넷플릭스에 따르면, 자사 추천 시스템을 통한 컨텐츠 소비가 80%에 달한다고 하며, 시스템의 기술 가치 평가액은 무려 1.5조원에 이른다고 한다. 반면 중고물품 상거래의 경우, 연 2.5 조원에 달하는 거래 규모에도 불구하고, 추천 시스템에 대한 충분한 연구 및 논의가 이뤄지고 있지 못한 형편이다. 본 논문에서는 기존의 추천 시스템 알고리즘 및 방법론을 검토하고 이를 중고거래 추천 서비스로 제공할 수 있을지 연구한다. 먼저, ‘상품/구매자/판매자’와 같은 상거래의 주요 개념에 대해 새롭게 고찰하였다. 예를 들어, 중고 거래 시장에서 상품은 생명 주기를 가지며 한번 판매되면 다시는 동일한 제품을 구매할 수 없다. 또한 일반 상거래와 반대로 구매 행위는 중요하지 않으며, 오히려 판매 행위가 추천 시스템을 구축하는 데 중요 데이터로 작용한다. 본고에서는 이처럼 개념을 새롭게 정립하여 추천 시스템 설계 및 구현에 적극 반영하였다. 또한 중고거래 물품에 대한 추천 시스템 구축은, 양적으로 보면 대규모 데이터셋을 처리해야만 하고, 질적으로 보면 실시간에 준하는 추천 서비스 제공해야 하는 이중의 과제를 안고 있다고 볼 수 있다. 이를 해결하기 위해 분산처리형 협업 필터링 알고리즘을 도입하였으며, 따라서 기존의 일반적인 이웃기반 모델(Neighborhood Model)을 지양하고 잠재 요인 모델(Latent Factor Model), 그 중에서도 ALS 알고리즘을 도입하여 위의 이중의 과제를 해결하고자 하였다. 실제 구현 과정에서는 3종의 언어를 사용하여 다양한 방법론과 접근법을 제시하고자 하였다. 먼저 R을 통해 유사도 기반의 추천 원리를 살펴 보았으며, 싱글 코어 vs 멀티 코어 구도로 대비시켜 볼 수 있도록 ALS 알고리즘을 파이썬 코드와 스칼라 코드로 각각 구현해 보았다. 이와 같은 연구 결과로, Spark 플랫폼 기반에서 AWS EMR을 통한 서버 분산 처리를 통해 백만 개 정도의 대규모 데이터 셋을 가지고 목표 시간 내에 추천 데이터를 추출할 수 있었다. 부수적으로 Single Core에서 작동하는 Python Code와 비교 테스트하여 서버 분산 처리가 절대적으로 필수적임을 확인할 수 있었고, 또한 EMR 클러스터 구성의 최적화에 대해서도 테스트를 진행하여 불필요한 리소스 낭비가 없도록 하였다.
In E-Commerce, recommendation services has become mandatory. According to Netflix, the consumption of the contents through the recommendation system has reached up to 80%, and the technology of the system is worth 1.5 trillion won. However, there has not been enough researches and discussions on the recommendation system for the second hand E-Commerce with its market size of 2.5 trillion won a year. This paper reviews existing recommendation system algorithms and methodologies and see whether they can be used as a recommendation service in second-hand online markets. First, the terms of 'product, buyer, seller' were redefined fot use in the second hand e-commerce. For example, in the secondary market, a product has a life cycle and once it is sold, it cannot be bought again. Also, contrary to The General E-Commerce, purchase behaviors are not important, but rather sales behaviors can be used as an important data source in establishing recommendation system. In this paper, I elaborated the characteristics of the second hand e-commerce and reflected them to the recommendation system. In addition, the establishment of recommendation system for secondhand commodities has a dual task of providing large-scale datasets in quantitative terms and quality-based recommendation services in realtime. In order to solve the issues mentioned, a distributed processing type collaborative filtering algorithm is employed and the conventional Neighborhood Model is avoided and Latent Factor Model (ALS) algorithm is applied. In the actual implementation process, various methods and approaches were proposed using 3 languages. First, I looked at the principle of similarity-based recommendation through R, and implemented ALS algorithm with Python code and Scala code in order to contrast between single-core and multi-core composition. As a result of this study, I could provide recommendation data within the target time from about one million large data sets using server distribution processing on AWS EMR Spark platform. it was also verified that the distributed server processing is absolutely necessary by comparing with the Python code that operates on Single Core, and the optimization of the EMR cluster configuration was also tested to avoid unnecessary resource waste.
URI
http://dcollection.hanyang.ac.kr/common/orgView/000000109992http://repository.hanyang.ac.kr/handle/20.500.11754/109521
Appears in Collections:
GRADUATE SCHOOL OF ENGINEERING[S](공학대학원) > ELECTRICAL ENGINEERING AND COMPUTER SCIENCE(전기ㆍ전자ㆍ컴퓨터공학과) > Theses (Master)
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML


qrcode

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

BROWSE