딥러닝 모델을 사용한 피부전기활동 기반 감정 인식 연구

Abstract

최근 생리학적 신호 기반 감정 인식 연구가 중요한 연구 주제로 각광받고 있다. 하지만 생리학적 신호 중 피부전기활동 (electrodermal activity, EDA) 만을 사용한 감정 인식은 여전히 어려운 연구 주제이다. 본 연구는 총 세 단계를 거쳐 EDA 기반 감정 인식 연구를 단계적으로 수행한다. 첫째, 훈련용 데이터셋을 클러스터링 기법을 통해 레이블링 한다. 둘째, 전처리 과정을 통해 EDA 데이터를 이미지 형태로 변환하고 기존 CNN 모델에 학습시켜 성능을 검토한다. 셋째, 국립과천과학관에서 진행되었던 전시 관람객의 EDA 반응 데이터를 테스트셋으로 활용한 실증 연구를 수행한다. 결과는 제안된 방법을 사용한 감정 인식 모델의 성능이 RNN 및 머신러닝 모델의 성능보다 더 우수함을 보여준다. 특히 Xception 모델이 가장 높은 성능을 보여줬는데, 이것은 깊이별 분리 합성곱을 사용하면 EDA 데이터를 효과적으로 분류할 수 있다는 사실을 시사한다. 또한 제안된 방법을 AMIGOS 데이터셋에 적용했을 때 각성 차원에서 94%의 이진 분류 정확도를 얻을 수 있었으며, 이 결과는 기존 모든 연구와 비교해 가장 높은 정확도이다. 끝으로 실제 사용자 데이터를 테스트셋으로 활용한 실증 연구는 HCI 영역 내에서 EDA 기반 감정 인식 모델을 활용할 수 있는 가능성을 열어준다.; Recently, emotion recognition based on physiological signal has been in the spotlight as an important research topic. However, emotion recognition using only electrodermal activity (EDA) among physiological signals is still a difficult research topic. This study progresses through a total of three stages to carry out emotion recognition research based on EDA step by step. First, the training dataset is labeled using clustering techniques. Second, after converting EDA data into the shape like an image through the preprocessing, the performance is reviewed by learning from existing CNN models. Third, empirical research using visitor’s EDA data of exhibition conducted at the Gwacheon National Science Museum Exhibition is carried out as a test set. The results show that the performance of the emotion recognition model using the proposed method is better than that of the RNN and machine learning. In particular, the Xception model showed the highest performance, suggesting that the use of depthwise separable convolution can effectively classify EDA data. In addition, when the proposed method was applied to the AMIGOS dataset, 94% binary classification accuracy was obtained at the arousal level, the result being the highest accuracy compared to all previous studies. Finally, empirical research using actual user data as a test set opens the possibility of using emotion recognition based on EDA in the Human-computer interaction (HCI) area.