Estimation of Human Emotion using Electroencephalogram and Facial Electromyogram

Abstract

사람의 감정은 의식적, 무의식적으로 자극이나 상황을 인지함으로써 촉발되는 복잡한 정신생리학적 과정으로 개인의 합리적인 의사결정, 지각, 인지에 영향을 미친다. 동시에 사람은 본질적으로 사회적 동물이기 때문에 타인의 감정을 인식하는 것은 인간 생활의 대인 커뮤니케이션 측면에서 중요한 능력이다. 사람의 감정을 추정하는 것은 안전 운전, 정신 건강 모니터링, 신경 마케팅 등 다양한 영역에서 중요한 역할을 하고 있으며, 사람의 감정을 추정하는 방법은 크게 인간이 인식할 수 있는 신호를 사용하는 것과 인간이 인식할 수 없는 신호를 사용하는 두 가지 범주로 나눌 수 있다. 두 가지 범주의 다양한 신호 중 표정과 뇌파 (EEG)가 사람의 감정을 추정하는 데 주로 사용되어 왔으며, 감정 추정 기술을 실용화하기 위해서는 해결해야 할 문제들이 있다. 표정을 이용한 감정 추정 연구의 문제는 미세표정이다. 얼굴 미세 표정은 사람이 숨기려고 하는 진정한 감정을 반영하는 얼굴 근육의 짧고 미묘하며 비자발적인 움직임으로 정의된다. 미세 표정은 비자발적이며 제어할 수 없기 때문에 자동으로 미세 표정을 감지하고, 미세 표정에 반영된 감정을 추정하는 것은 다양한 응용 분야에서 활용될 수 있습니다. 특히, 인공지능 기반의 비대면 인터뷰와 컴퓨터 보조 기분장애 치료의 발달로 미세 표정을 정확하게 감지하는 기술 개발의 필요성이 점차 높아지고 있다. 첫 번째 연구에서 저자는 컴퓨터 비전 기반 방법의 잠재적인 대안으로 안면 근전도(fEMG) 및 EEG를 이용하여 미세 표정을 감지하고 미세 표정에 반영된 감정을 추정하기 위한 방법을 개발했다. 저자는 먼저 미세 표정 감지 성능을 평가한 다음, 미세표정에 반영된 감정 추정 성능을 평가했다. 16명의 참가자를 대상으로 한 실험에서 최적의 fEMG 및 EEG 채널이 선택된 경우, 서포트 벡터 머신을 이용하여 최고 0.971의 F1score로 6개의 개별 감정을 분류할 수 있었으며 이는 실제 환경에서 fEMG 및 EEG 기반 감정 추정 방법의 잠재적 유용성을 보여준다. EEG가 fEMG(최고 F1score: EEG–0.962, fEMG–0.797) 보다 개별 감정을 분류하는 데 더 유용하다는 점은 주목할 만하며, 우리가 아는 한, 이것은 EEG를 사용하여 얼굴 미세 표정에 반영된 감정을 추정하는 첫 번째 연구이다. EEG를 사용한 감정 추정 연구의 문제는 피험자 독립적 추정이다. 일반적으로 뇌파 기반 감정 추정 시스템은 피험자 종속적 시스템으로 개발되었다. 왜냐하면, 개인 간의 생리학적 차이로 인하여 뇌파의 대상 간 변동성이 크기 때문이다. 그러나 이러한 피험자 종속적 감정 추정 시스템은 미리 개인의 뇌파 데이터를 획득해야 하는 단점이 있으며, 이는 오랜 시간이 소요되어 실용적이지 못하다. 따라서 다른 피험자의 EEG 데이터를 이용하여 시스템을 학습시키는 피험자 독립적 감정 추정 시스템의 개발 필요성이 높아지고 있다. 도메인 적응(DA) 방법은 이 도전적인 문제를 해결하기 위한 유망한 기술로서 잠재력을 입증했다. 그러나 DA 방식은 훈련 데이터와 테스트 데이터의 분포를 맞추기 위해 사전에 테스트 데이터가 필요하다는 문제가 있다. 최근 여러 연구에서 DA 방법 없이 EEG를 사용하여 피험자 독립적인 감정 추정 시스템을 개발했지만 다음과 같은 연구가 여전히 필요하다. 1) 성능 향상; 2) 종단 간 딥 러닝 프레임워크의 적용; 3) 더 많은 피험자에 대한 성능 검증. 두 번째 연구에서 저자는 먼저 4가지 감정 상태를 유발하는 실험을 통해 68명의 건강한 피험자로부터 기록된 EEG 데이터베이스를 구축했다. 이 피험자 수는 가장 많이 사용되는 데이터베이스의 피험자 수의 두 배 이상이다. 둘째, 저자는 전통적인 기존 분류기, 리만 기하학 기반 분류기, 심층 신경망의 세 가지 유형의 기계 및 딥 러닝 방법의 피험자 독립적 감정 추정 성능을 비교했다. 마지막으로 저자는 테스트 데이터 없이 여러 훈련 데이터 간의 도메인 차이를 활용하여 도메인 불변 특성을 추출하는 새로운 방법(CIDG(Continuous Indexed Domain Generalization)이라고 함)을 제안했다. 기존 분류기 중에서 선형 판별 분석이 가장 높은 분류 정확도를 보였으며(valence: 0.612 ± 0.148, arousal: 0.649 ± 0.155), 리만 기하학 기반 분류기 중에서 Fisher geodesic minimum distance to mean (FgMDM) 방식이 가장 높은 성능을 보였다(valence: 0.607 ± 0.165; arousal: 0.645 ±0.155). 마지막으로 심층신경망 중에서 TSception이 가장 높은 분류 정확도를 보였다(valence: 0.774 ± 0.165, arousal: 0.790 ± 0.146). 또한 제안된 CIDG는 TSception의 성능을 향상시켰다(valence: 0.827 ± 0.131; arousal: 0.822 ± 0.130). 결론적으로 저자는 80% 이상의 고성능으로 정서적 감성가와 정서적 각성 정도를 모두 추정할 수 있는 EEG 기반의 피험자 독립적 감정 추정 시스템을 개발했다. 종단 간 딥러닝 프레임워크가 다른 두 가지 유형의 분류기에 비해 감정 주체를 독립적으로 추정하는 데 더 유용하다는 점은 주목할 만하며, 본 연구는 우리가 아는 한 가장 많은 피험자를 대상으로 뇌파 기반의 피험자 독립 감정 추정 시스템을 검증한 연구이다. 이 논문에서 저자는 감정 추정 연구의 두 가지 문제가 해결될 수 있음을 보여주었다. 첫째, 저자는 미세표현에 반영된 감정이 fEMG와 EEG를 사용하여 추정될 수 있음을 보여주었다. 둘째, 저자는 EEG를 사용하여 80% 이상의 고성능으로 인간의 감정을 피험자 독립적으로 추정할 수 있음을 보여주었다. 본 논문에서 제안하는 방법들이 감정 추정 기술이 다양한 분야에서의 실용화에 도움이 될 것으로 기대한다.|Human emotion is a complex psychophysiological process triggered by consciously and unconsciously perceiving stimulus or situation, and influences individual’s rational decision-making, perception, and cognition. At the same time, since humans are inherently social animals, the ability to recognize the emotions of others is an important to interpersonal communication aspect of human life. Estimating human emotions has been playing a vital role in various area, including safe driving, mental health monitoring, neuromarketing, etc. The methods for estimating human emotions can be broadly classified into two categories: using human recognizable cues and using human unrecognizable cues. Among various cues of two categories, a facial expression, and an electroencephalogram (EEG) have been mainly used for estimating human emotions and there are issues that need to be addressed for utilizing the emotion estimation technology practically. The current issue in the emotion estimation based on facial expression is microexpression. Facial microexpressions are defined as brief, subtle, and involuntary movements of facial muscles reflecting genuine emotions that a person tries to conceal. Because microexpressions are involuntary and uncontrollable, automatic detection of microexpressions and estimation of emotions reflected in the microexpressions can be used in various applications. With the advancement of artificial-intelligence-based non-face-to-face interviews and computer-assisted treatment of mood disorders, the need for developing a technique to precisely detect microexpressions is gradually increasing. In the first study, the author developed facial electromyogram (fEMG)- and EEG-based methods for the detection of microexpressions and estimation of emotions reflected in microexpressions as a potential alternative to computer vision-based methods. The author first assessed the performance of microexpression detection, and then evaluated the performance of estimation of the emotions reflected in the microexpressions. In the experiments with 16 participants, six discrete emotions could be classified using support vector machine with the best F1 score of 0.971 when optimal fEMG and EEG channels were selected, demonstrating the potential usability of the fEMG- and EEG-based emotion estimation method in practical scenarios. It is noteworthy that EEG was more useful for classifying discrete emotions compared to fEMG (best F1 scores: EEG–0.962; fEMG–0.797). To the best of our knowledge, this is the first study to estimate emotions reflected in facial microexpressions using EEG. The current issue in the emotion estimation based on EEG is the subject-independent estimation. Generally, EEG-based emotion estimation systems were developed as subject-dependent systems because of large inter-subject variability of EEG signals caused by physiological differences between individuals. However, these subject-dependent emotion estimation systems have a disadvantage in that individual EEG data must be obtained in advance for training the systems, which is not practical because it requires a long time. Therefore, the need to develop a subject-independent emotion estimation system that trains it using other subjects’ EEG data is increasing. Domain adaptation (DA) methods have demonstrated their potential as a promising technology to address this challenging issue. However, the DA methods have a problem that the test data is required in advance to match the distribution of the training data with the test data. Although several recent studies developed subject-independent emotion estimation systems using EEG without the DA methods, the following studies are still needed: 1) Performance improvement, 2) Application of end-to-end deep learning framework, and 3) Performance validation for more subjects. In the second study, the author first constructed the EEG database recorded from the 68 healthy subjects through the experiment eliciting four emotional states. This number of subjects is more than double the number of subjects in the most used database. Second, the author compared the subject-independent emotion estimation performance of three types of machine and deep learning methods: conventional classifiers, Riemannian geometry-based classifiers, and deep neural networks. Lastly, the author proposed a novel method (named continuously indexed domain generalization (CIDG)) extracting domain-invariant features by exploiting domain differences across multiple training subjects without test subjects. Among conventional classifiers, the linear discriminant analysis showed the highest classification accuracies (valence: 0.612 ± 0.148; arousal: 0.649 ± 0.155), and the fisher geodesic minimum distance to the mean showed the highest performance (valence: 0.607 ± 0.165; arousal: 0.645 ± 0.155) among Riemannian geometry-based classifiers. Finally, among deep neural networks, TSception showed the highest classification accuracy (valence: 0.774 ± 0.165; arousal: 0.790 ± 0.146). Furthermore, the proposed CIDG improved the performance of TSception (valence: 0.827 ± 0.131; arousal: 0.822 ± 0.130). In conclusion, the author developed the subject-independent emotion estimation system based on EEG that can estimate both valence and arousal states with a high performance of over 80%. It is noteworthy that end-to-end deep learning framework was more useful for estimating human emotions subject-independently compared to other two types of classifier. In addition, this is the study that validated the EEG-based subject-independent emotion estimation system with the largest number of subjects to the best of our knowledge. In this thesis, the author demonstrated that two issues of emotion estimation research can be resolved. First, the author demonstrated that the emotions reflected in the microexpression can be estimated using fEMG and EEG. Second, the author showed the human emotions can be subject-independently estimated with high performance of over 80% using EEG. It is expected that the methods proposed in this thesis will help the practical application of emotion estimation technology in various fields.