라이브커머스 영상 내 객체 감지를 이용한 하이라이트 추출 기법

Abstract

최근 급속도로 성장하는 라이브커머스 산업에서 고객의 참여와 흥미를 유발하는 요소 중 하나는 방송 내에서의 하이라이트이다. 이러한 하이라이트를 자동으로 인식하고 추출하는 것은 방송의 효율성과 효과를 높이는 데 중요한 역할을 한다. 본 연구는 YOLOv8을 활용한 객체 감지 기법으로 라이브커머스에서의 하이라이트를 자동으로 추출하는 시스템을 제안한다. 제안하는 시스템은 인식 정확도, 인식 크기, 인식 위치를 고려하여 Score-based extraction model을 사용하였다. 또한, 이 논문은 데이터의 안정성을 높이기 위해 이동 평균(Moving Average)을 이용한 데이터 보정 방법을 도입하였다. 이동 평균은 급격한 데이터 변동을 완화하여 추출된 하이라이트의 품질을 향상시킨다. 각 객체 감지 모델의 Score를 합산하고, 연속된 시간 동안의 평균 Score(Consecutive averages)를 계산하여 하이라이트 구간을 특정하였다. 마지막으로, 여러 모델에서 동일하게 추출된 하이라이트 범위를 병합하여 최종 하이라이트를 선정하였다. 하이라이트 병합 과정을 통해 겹치는 구간과 분리된 구간을 효과적으로 처리하여 최적의 하이라이트를 도출할 수 있다. 이는 라이브커머스 영상에서 발생하는 상품 중심의 하이라이트들을 정확하게 추출하여 사용자들에게 매력적인 콘텐츠를 제공하는 데 기여한다. 연구에서는 더 나은 성능 평가를 위해 사용자 행동 로그 데이터를 활용하였다. 이러한 성능 평가 모델을 통해 사용자의 상호작용과 관심도에 기반하여 우수한 하이라이트를 추출할 수 있다. 추출한 하이라이트와 사용자의 행동 로그를 매칭하여 상품 클릭 및 구매와 하이라이트의 연관성을 검증하였다. 실험 결과, Score based 방식은 라이브커머스 상품 중심의 하이라이트 추출에 매우 효과적이었다. 이 방법은 상품 인식과 사용자의 관심에 맞는 품질 높은 하이라이트를 추출한다. 또한 Kaiyang Zhou 방식과 본 연구의 결과를 비교해보면 두 방법은 하이라이트 추출에서 차이점을 확인하였다. Kaiyang Zhou 방식은 상품의 인식 보다 프레임 간의 변화를 기반으로 하기 때문에 상품 중심의 하이라이트 추출에는 한계가 있다. 반면에 Score 기반 모델이 상품에 집중할 수 있는 하이라이트를 추출하는데 더 효과적이라는 것을 확인하였다. 이는 상품 노출에 따른 Kaiyang Zhou 방식과 Score 기반 모델의 하이라이트 추출 결과 그래프를 통해 다시 한번 확인하였다. 본 연구는 라이브커머스 영상에서 상품 중심의 하이라이트 추출을 효과적으로 수행할 수 있는 Score based 모델을 제안하였으며, 이를 통해 라이브커머스의 영상의 하이라이트 추출에 효과를 입증하였다. |In the rapidly growing live commerce industry, one of the factors that arouse customer participation and interest is the highlight within the broadcast. Automatically recognizing and extracting these highlights plays an important role in increasing the efficiency and effectiveness of broadcasting. This study proposes a system that automatically extracts highlights from live commerce using YOLOv8 object detection technique. The proposed system uses a score-based extraction model considering recognition accuracy, recognition size, and recognition location. In addition, this paper introduces a data correction method using a moving average to increase data stability. The moving average improves the quality of extracted highlights by mitigating sudden data fluctuations. A highlight section was specified by summing the scores of each object detection model and calculating the average score (consecutive averages) for consecutive times. Finally, the final highlights were selected by merging the same extracted highlight ranges from multiple models. Through the highlight merging process, it is possible to derive an optimal highlight by effectively processing the overlapping section and the separated section. This contributes to providing attractive content to users by accurately combining highlights that occur in various situations in live commerce videos. In this study, user behavior log data was used for better performance evaluation. Based on the quality of the highlights extracted through this performance evaluation model, better highlights can be extracted based on the user's interaction and level of interest. The relationship between product clicks and purchases and highlights was verified by matching the extracted highlights with the user's behavior log. As a result of the experiment, the score-based method was very effective in extracting highlights centered on live commerce products. This method extracts high-quality highlights tailored to product recognition and user interests. In addition, comparing the results of the Kaiyang Zhou method and this study, the two methods confirmed some differences in highlight extraction. Since the Kaiyang Zhou method is based on changes between frames rather than product recognition, there is a limit to product-centered highlight extraction. On the other hand, it was confirmed that the score-based model was more effective in extracting highlights that could focus on the product. This was confirmed once again through the Kaiyang Zhou method according to product exposure and the highlight extraction result graph of the score-based model. This study proposed a score-based model that can effectively perform product-centered highlight extraction from live commerce videos, and through this, the effect of highlight extraction from live commerce videos was demonstrated