Research on the Impact of Emotional Stimuli on Motion-Based Automatic Emotion Recognition

Abstract

This research explores how emotions impact physical changes, particularly bodily sensations and movements, and their effect on Automatic Emotion Recognition (AER) systems. We studied the responses of 20 participants to three emotional stimuli: words, pictures, and videos, observing their emotional responses, self-reported experiences, and body movements using motion capture technology. Our findings revealed that body movement-based emotional features displayed similar response patterns across all types of stimuli for emotions like happiness, surprise, anger, and neutrality. Notably, video stimuli triggered more significant body movements compared to other forms, enhancing the accuracy of emotion classification in the Linear Discriminant Analysis (LDA) model, a trend also observed in other models like Support Vector Machine (SVM), Random Forest (RF), and Deep Neural Network (DNN). These results are expected to provide valuable insights for future data collection methodologies in AER systems, focusing on physical manifestations of emotions.|기존 연구에 따르면, 감정은 신체 감각 및 움직임과 같은 신체적 변화에 영향을 주며 이러한 표현은 감정 자극에 따라 다르게 나타난다고 알려져 있다. 그러나 감정 자극에 따른 신체 감각 및 움직임의 활성화 정도가 Automatic Emotion Recognition (AER) 시스템의 성능에 미치는 영향은 아직 알려진 바가 없다. 본 연구에서는 20명의 참가자를 대상으로 단어, 사진, 영상 등 세 가지 유형의 감정 자극이 AER 시스템에 미치는 영향을 파악하였다. 측정된 변인에는 정서적 반응, 컴퓨터를 통한 자가 보고, Motion Capture 장비를 통해 기록된 신체 움직임을 활용하였다. 연구 결과, 신체 움직임에 기반한 감정적 특징은 행복, 놀람, 분노, 중립 등의 감정에서 자극의 종류에 따라 비슷한 패턴을 나타냈다. 또한, 영상 자극이 다른 자극에 비해 더 많은 신체 움직임을 유발하였으며, 영상 자극을 통해 수집된 신체적 특이점이 기존 연구에서 사용한 LDA 모델에서 분류 정확도가 높음을 확인하였다. 추가로 적용한 다른 모델 (SVM, RF, DNN)도 동일한 결과 양상을 보이는 것을 확인하였다. 본 연구의 발견으로 향후 신체적 변화에 기반한 AER 시스템의 데이터 수집의 가이드라인으로 기여할 것으로 기대된다.