딥러닝을 이용한 형태소 분석 기반의 상품 카테고리 분류 기법

Abstract

온라인에서 판매되는 상품은 점점 다양해지고 많은 상품들이 신규로 등록되며 소비되고 있다. 쇼핑몰에 상품 등록은 판매자에 의해서 이루어지며 대부분 텍스트 정보로 이루어져 있다. 이 중에서 카테고리는 시스템에 의해 상품의 메타 정보로부터 추론 될 수 있는 부분이다. 이번 연구에서는 상품명으로부터 상품 카테고리를 매칭시켜주는 방법에 대해 연구하였다. 종합쇼핑몰에 등록되는 상품명의 특성상 상품 고유명 뿐만 아니라 다양한 정보를 포함하게 되는데, 이는 자연어에 가까울 정도로 많은 단어들과 긴 길이를 갖는다. 이러한 특성을 수용할 수 있도록 딥러닝 중 자연어 처리에 많이 사용되는 RNN 모델을 제안한다. 상품명으로 카테고리를 추론하는 과정은 텍스트 분류 문제로 재정의 될 수 있는데, 텍스트 분류에서 보편적으로 사용되는 전처리 과정에서 일반적인 구두점 제거와 상품의 카테고리와는 직접적인 연관이 없는 배송정보나 프로모션 여부 등의 텍스트를 제거하는 방법과 함께 고도화된 입력 값 정제를 위하여 형태소 분석을 통한 명사 축출 방법을 제안한다. 사용된 딥러닝 프레임 워크는 google의 tensorflow 이며, python 언어를 사용하였다. tensorflow 중 RNN으로 구성된 encoder 와 decoder를 가진 sequence to sequnce 모델을 사용하였다. 3개의 1차 카테고리를 성능평가의 지표로 활용하였다. 고도화된 입력 값 정제를 위한 형태소 분석 적용 여부를 각각의 1차 카테고리 상품에 적용하여 비교하였을 때 정확도가 평균 6.75% 증가하였고, 3개의 1차 카테고리를 하나의 모집단으로 한 실험의 결과에서는 정확도가 8.59% 증가하였다. 제안된 방법 중 형태소 분석을 통한 고도화된 입력 데이터 정제의 여부에 따라 상품명으로 상품 카테고리 분류 정확도를 비교하였을 때 개선됨을 실험적으로 증명할 수 있었다.