딥러닝 기반 스포츠 캐스팅

Abstract

스포츠 캐스팅을 할 때는 스포츠 장면에 대한 상황 정보, 선수 정보 그리고 과거 지식을 기반으로 현재 상황에 대한 이해와 추론이 필요하다. 본 논문에서는 장면 분류 모델, 선수 검출 모델 그리고 선수의 행동 인식 모델을 학습하여 스포츠 영상에 대한 정보를 얻고 과거 데이터를 지식화 해서 저장 해놓은 온톨로지를 이용하여 현재 상황에 대한 이해와 추론을 하는 방법을 소개한다. 총 3가지 종류의 캐스팅을 생성한다. 실시간 웹 데이터로부터 지식화 하여 캐스팅을 생성하고, 13개의 장면을 분류하여 온톨로지와 결합하여 캐스팅을 생성한다. 그리고 선수의 포지션과 8개의 행동을 인식하여 온톨로지와 결합하여 캐스팅을 생성한다. 모든 데이터는 2018년 4월 1일부터 2018년 4월 14일까지 있었던 KBO 경기를 직접 labeling 하여 모델을 학습하였다.

Sports broadcasting requires understanding and reasoning of a current situation based on information regarding sports scenes, players, and past knowledge. In this paper, we introduced how scene classifier, player detector, motion recognizer could be used to obtain information on sports images and understand current situations. We created three types of commentaries. One was from web data, another was from 13 scenes with scene classifier, and the other was generated by the position of the players, eight motions, and the ontology. Data from the KBO (Korea Baseball Organization League) games from April 1, 2018, to April 14, 2018, were directly labeled to learn the model.