A COMPARATIVE STUDY OF ORDINARY LEAST SQUARE, BAYESIAN REGRESSION, STOCHASTIC GRADIENT DESCENT, AND SUPPORT VECTOR REGRESSION FOR PREDICTING THE EFFECTS OF LIFESTYLE ON MOBILE ADVERTISING EFFECTIVENESS

Abstract

Statistical analysis methods have major importance in numerous research fields, including social science research, because they are vital in describing and predicting phenomena more objectively. Therefore, numerous statistical analysis methods have been developed, of which regression analysis is one of the most widely used methods in various research domains based on the advantages of universality and simplicity. Regression analysis has been developed for various purposes since the 19th century, when the method was first devised, and has established itself as a crucial statistical methodology from different major perspectives, including the Bayesian approach and the machine learning approach. Social science research has been mainly conducted based on the frequentist approach, and considering the criticism of the frequentist approach that has lasted for more than 20 years, it is necessary to discuss a new methodology that can supplement it. Based on this point of view, attention toward Bayesian approaches and machine learning approaches continues to increase in recent years in social science, but studies that practically explore and discuss differences between each approach have been limited. Therefore, this study attempted to discuss the significance of each approach and a new alternative to the frequentist approach from an empirical perspective by comparing regression analysis methods in three approaches and exploring the utility of each method. To this end, a model was constructed to explain and predict mobile advertising effectiveness based on lifestyle variables, and the established model was optimized through four methods: ordinary least square estimation from frequentist approach, Bayesian regression from Bayesian approach, stochastic gradient descent algorithm and support vector regression from of machine learning approach. Each model was evaluated and compared based on three criteria—calculation speed, influence of individual variables—and overall performance of the model. As a result of the comparison, it was confirmed that there was no significant difference in the influence of individual variables and overall model performance between the models. Finally, this study discussed the implications of each approach in terms of utility and limitations based on the research results and presented various criteria for the selection of statistical analysis methods in social science studies.|통계 분석방법은 현상을 보다 객관적으로 기술하고 예측하는 데에 있어 핵심적인 역할을 하기 때문에 사회과학 연구를 포함하여 다양한 연구분야에서 높은 중요성을 갖는다. 따라서 수많은 통계 분석 방법이 개발되어 오고 있으며, 이 중 회귀분석은 범용성과 단순성이라는 장점에 기반하여 다양한 연구 분야에서 가장 널리 활용되고 있는 방법 중 하나이다. 회귀분석은 처음 그 방법이 고안된 19세기 이래로 다양한 목적에 맞게 발전되어 왔으며, 빈도주의 접근법에서 뿐만 아니라 베이지안 접근법과 머신러닝 접근법 등 다양한 관점에서 핵심적인 통계 방법론으로 자리매김하고 있다. 사회과학 연구는 주로 빈도주의 접근법에 기반하여 진행되어오고 있는데, 약 20년이 넘는 시간 동안 지속되어온 빈도주의 접근법에 대한 비판을 고려하였을 때 이를 보완할 수 있는 새로운 방법론에 대한 논의가 필요한 상황이다. 이러한 관점에 기반하여 최근 사회과학 분야에서 베이지안 접근법과 머신러닝 접근법에 대한 관심이 지속적으로 증가하고 있는 추세이지만 각 접근법 간의 차이를 실질적으로 탐색하고 논의하는 연구는 제한적으로 수행되어 오고 있다. 따라서 본 연구는 세 가지 접근법에서 회귀 분석 방법을 비교하고, 각 방법의 유용성을 탐구함으로써 빈도주의 접근법에 대한 새로운 대안과 각 접근법이 사회과학 연구에 부여할 수 있는 의의를 실증적인 관점에서 논의하고자 하였다. 이를 위해 라이프스타일 변수를 기반으로 모바일 광고 효과를 설명하고 예측하는 모델을 구축하였으며, 구축된 모델은 빈도주의 접근법의 최소자승법(ordinary least square), 베이지안 접근법의 베이지안 회귀, 그리고 머신러닝 접근법의 확률적 경사하강(stochastic gradient descent), 서포트 벡터 회귀(support vector regression)의 네 가지 방법을 통해 최적화되었다. 각 모델은 계산 속도, 개별 변수의 영향력, 모델의 전반적인 성능의 세 가지 기준을 바탕으로 평가 및 비교 되었으며, 비교 결과 각 방법에 따른 개별 변수의 영향력과 전반적인 모델 성능에는 큰 차이가 없는 것으로 확인되었다. 마지막으로 본 연구는 연구 결과에 기반하여 각 접근법이 가질 수 있는 함의를 유용성과 한계점의 측면에서 논하였으며, 사회과학 연구에서 통계 분석 방법의 선택에 대한 다양한 기준을 제시하였다.