한국어 감정 발화의 음성학적 특징 연구

Abstract

The aim of this study is to identify the phonetic features of emotional speech—fear speech, delight speech, anger speech, and sadness speech—to find the significant phonetic qualities to distinguish emotional speech acts through a comparison of said emotions. This dissertation assumes that when psychological emotions are physically expressed through the voice, there would be unique characteristics of emotional phonetics to represent specific emotions. In order to prove the hypothesis, the present paper analyzes the pitch, intensity, speed, length, and pitch movements of the voice. By quantifying and statistically analyzing the characteristics of emotional speech, this dissertation demonstrates that emotions can be classified with the same phonetic quality values as the psychological emotion classification method. Chapter 1 presents the objectives and the significance of this research. Following the literature review, the research scope and methodologies are stated afterward. This study points out that the previous bodies of phonetic research on emotions have predominantly focused on the types of intonation of utterance final with a focus on only one or two specific emotions. In order to address this problem, this dissertation expands the scope of research by including fear, delight, anger and sadness-emotions. The chapter calls for the need to represent the phonetic features of emotional speech by including various phonetic qualities such as pitch, intensity, and speed. The process of collecting emotional speech is explained in Chapter 2. The experiment subjects were limited to undergraduate students in their twenties who speak the Korean Standard Language. In the experiments, emotional-triggering situations were set according to each individual’s characteristics. The subjects completed the given sentences based on the situations. The 1,440 cases of emotional speech collected through said experiments were analyzed by researchers with phonetic expertise. Only 960 cases out of the 1,440 cases were finally used for the phonetic analysis for this dissertation. Chapter 3 clarifies the phonetic features of fear speech. Male speakers’ fear speech had an average pitch of 142.06Hz, pitch shift of 75.16Hz, average intensity of 58.89dB, intensity displacement of 34.18dB, articulation speed of 6.82sps, intonational phrase final syllable length of 206.57ms, boundary intonation pitch movement distance of 48.58, and boundary intonation pitch movement gradient of -1.1, which is higher in average pitch, weaker in average intensity, bigger in intensity displacement, and faster in articulation speed compared to previous studies. On the other hand, female speakers’ fear speech acts had an average pitch of 269.12Hz, pitch shift of 156.23Hz, average intensity of 55.41dB, intensity displacement of 38.80dB, articulation speed of 5.69sps, intonational phrase final syllable length of 278.82ms, boundary intonation pitch movement distance of 45.75, and boundary intonation pitch movement gradient of -.70. Compared to previous research, the speech demonstrated higher average pitch, weaker average intensity, bigger intensity displacement, and shorter intonational phrase final syllable. Chapter 4 clarifies the phonetic features of delight speech. Male speakers’ delight speech had an average pitch of 167.75Hz, pitch shift of 95.19Hz, average intensity of 66.55dB, intensity displacement of 14.01dB, articulation speed of 6.48sps, intonational phrase final syllable length of 263.51ms, boundary intonation pitch movement distance of 40.54, and boundary intonation pitch movement gradient of -0.2, which is higher in average pitch, bigger in pitch shift, smaller in intensity displacement, longer in intonational phrase final syllable, and shorter in boundary intonation pitch movement distance compared to previous studies. On the other hand, female speakers’ delight speech had an average pitch of 291.60Hz, pitch shift of 187.42Hz, average intensity of 62.42dB, intensity displacement of 20.45dB, articulation speed of 5.91sps, intonational phrase final syllable length of 294.06ms, boundary intonation pitch movement distance of 42.98, and boundary intonation pitch movement gradient of .19. Compared to previous research, the speech demonstrated higher average pitch, larger pitch shift, bigger intensity displacement, shorter intonational phrase final syllable, and shorter boundary intonation pitch movement distance. Chapter 5 clarifies the phonetic features of anger speech. Male speakers’ anger speech had an average pitch of 148.78 Hz, pitch shift of 93.29Hz, average intensity of 64.91dB, intensity displacement of 32.20dB, articulation speed of 7.05sps, intonational phrase final syllable length of 287.32ms, boundary intonation pitch movement distance of 46.04, and boundary intonation pitch movement gradient of -.57, which is higher in average pitch, bigger in pitch shift, bigger in intensity displacement, faster in articulation speed, and longer in intonational phrase final syllable compared to previous studies. On the other hand, female speakers’ anger speech had an average pitch of 233.93Hz, pitch shift of 142.61Hz, average intensity of 59.54dB, intensity displacement of 36.77dB, articulation speed of 6.64sps, intonational phrase final syllable length of 290.66ms, boundary intonation pitch movement distance of 45.08, and boundary intonation pitch movement gradient of .38. Compared to previous research, the speech demonstrated smaller pitch shift, weaker average intensity, bigger intensity displacement, faster articulation speed, and shorter intonational phrase final syllable. Chapter 6 clarifies the phonetic features of sadness speech. Male speakers’ sadness speech had an average pitch of 116.16Hz, pitch shift of 49.63Hz, average intensity of 55.37dB, intensity displacement of 35.03dB, articulation speed of 5.82sps, intonational phrase final syllable length of 304.54ms, boundary intonation pitch movement distance of 54.57, and boundary intonation pitch movement gradient of –3.10, which is smaller in pitch shift, weaker in average intensity, bigger in intensity displacement, longer in intonational phrase final syllable, bigger in boundary intonation pitch movement distance values, and the slope of the boundary intonation pitch movement was steeper in the negative direction compared to previous studies. On the other hand, female speakers’ sadness speech had an average pitch of 225.91Hz, pitch shift of 113.91Hz, average intensity of 52.84dB, intensity displacement of 37.72dB, articulation speed of 5.15sps, intonational phrase final syllable length of 371.98ms, boundary intonation pitch movement distance of 49.00, and boundary intonation pitch movement gradient of -.13. Compared to previous research, the speech demonstrated smaller pitch shift, weaker average intensity, bigger intensity displacement, slower articulation speed, and longer intonational phrase final syllable. Chapter 7 complies the conclusions of the previous chapters to compare the phonetic features of male and female emotional speech. Based on the identification of the differences among emotional speech, this chapter shows significant phonetic qualities to distinguish emotional speech. In male speakers’ case, emotions showing substantial differences in average pitch, intensity displacement, boundary intonation pitch movement distance, and boundary intonation pitch movement distance values indicated consistent results with the emotions categorized by the psychological classification method. In female speakers’ case, emotions with significant differences in pitch shift, intensity displacement, and intonational phrase final syllable length presented consistent findings categorized by the psychological classification method. Chapter 8 summarizes this study’s findings and conclusions, while also addressing the significance and limitations of the present research. The significance of this study is threefold: Firstly, it objectively demonstrates the features of emotional speech through the quantification method. Furthermore, it also shows the differences in male and female speakers’ strategies in expressing their emotions. Finally, this study’s experiment results indicate the consistency between arousal and valence in various emotional speech’s phonetic features. In this sense, this dissertation ultimately offers an opportunity for expanding the ongoing research on emotional speech.| 본 연구는 공포, 기쁨, 분노, 슬픔의 감정 상황에서 표준어를 구사하는 한국인 화자가 산출한 음성을 분석하여 남성과 여성의 감정 발화에 나타나는 음성적 특징을 밝히고 감정 간 비교를 통하여 감정을 변별하는 데에 유의미한 역할을 하는 음성 자질을 찾는 것에 목적을 둔다. 심리적 감정이 음성을 통하여 물리적으로 드러날 때 특정 감정을 나타내는 감정 음성 고유의 특성이 존재할 것으로 가정하고 이를 찾기 위하여 음성의 음높이, 강도, 속도, 길이, 음높이 움직임을 분석하였다. 먼저 1장에서는 연구의 목적과 필요성을 밝히고 선행 연구를 검토한 뒤 연구 범위와 방법을 한정하였다. 지금까지 감정에 관한 음성학적 연구가 특정 한두 가지의 감정만을 대상으로 종결 억양의 유형에 기대어 설명되고 있다는 점을 발견하고, 이를 극복하기 위하여 공포, 기쁨, 분노, 슬픔의 네 가지 기본 감정으로 연구 대상을 확대하고 음높이, 강도, 속도 등 보다 다양한 음성 자질로 감정 음성의 특징을 나타내야 한다는 당위성을 밝히었다. 2장에서는 감정 음성을 수집하기 위한 과정을 소개하였다. 표준어를 구사하는 20대의 대학생으로 피험자를 한정하고, 피험자의 특성에 맞추어 감정 유발 상황을 설정하고 실험 문장을 완성하였다. 이러한 과정을 통하여 1440개의 감정 음성을 수집하였고, 전문가 평가를 거쳐 최종적으로 960개가 음성 분석에 사용되었다. 3장에서는 공포 감정 음성에 나타나는 남녀의 특징을 밝히었다. 남성 공포 감정 음성은 평균 음높이 142.06Hz, 음높이 변위 75.16Hz, 평균 강도 58.89dB, 강도 변위 34.18dB, 조음 속도 6.82sps, 억양구 마지막 음절 길이 206.57ms, 경계 성조 음높이 움직임 이동 거리 48.58, 경계 성조 음높이 움직임 기울기 –1.15의 수치로 나타나는데, 이는 선행 연구와 비교하여 평균 음높이는 높게, 평균 강도는 약하게, 강도 변위는 크게, 조음 속도는 빠르게 발화한 것이었다. 여성 공포 감정 음성은 평균 음높이 269.12Hz, 음높이 변위 156.23Hz, 평균 강도 55.41dB, 강도 변위 38.80dB, 조음 속도 5.69sps, 억양구 마지막 음절 길이 278.82ms, 경계 성조 음높이 움직임 이동 거리 45.75, 경계 성조 음높이 움직임 기울기 -.70의 수치로 나타나는데, 이는 선행 연구보다 평균 음높이는 높게, 평균 강도는 약하게, 강도 변위는 크게, 억양구 마지막 음절은 짧게 나타낸 것이었다. 4장에서는 기쁨 감정 음성에 나타나는 남녀의 특징을 밝히었다. 남성 기쁨 감정 음성은 평균 음높이 167.75Hz, 음높이 변위 95.19Hz, 평균 강도 66.55dB, 강도 변위 14.01dB, 조음 속도 6.48sps, 억양구 마지막 음절 길이 263.51ms, 경계 성조 음높이 움직임 이동 거리 40.54, 경계 성조 음높이 움직임 기울기 -.02의 수치로 나타나는데, 이는 선행 연구보다 평균 음높이는 높게, 음높이 변위는 크게, 강도 변위는 작게, 억양구 마지막 음절은 길게, 경계 성조 음높이 움직임 이동 거리는 작게 나타낸 것이었다. 여성 기쁨 감정 음성은 평균 음높이 291.60Hz, 음높이 변위 187.42Hz, 평균 강도 62.42dB, 강도 변위 20.45dB, 조음 속도 5.91sps, 억양구 마지막 음절 길이 294.06ms, 경계 성조 음높이 움직임 이동 거리 42.98, 경계 성조 음높이 움직임 기울기 .19의 수치를 보이는데, 이는 선행 연구보다 평균 음높이는 높게, 음높이 변위는 크게, 강도 변위는 크게, 억양구 마지막 음절은 짧게, 경계 성조 음높이 움직임 이동 거리는 작게 발화한 것이었다. 5장에서는 분노 감정 음성에 나타나는 남녀의 특징을 밝히었다. 남성 분노 감정 음성은 평균 음높이 148.78Hz, 음높이 변위 93.29Hz, 평균 강도 64.91dB, 강도 변위 32.20dB, 조음 속도 7.05sps, 억양구 마지막 음절 길이 287.32ms, 경계 성조 음높이 움직임 이동 거리 46.04, 경계 성조 음높이 움직임 기울기 -.57의 값을 나타내는데, 이는 선행 연구보다 평균 음높이는 높게, 음높이 변위는 크게, 강도 변위는 크게, 조음 속도는 빠르게, 억양구 마지막 음절은 길게 표현한 것이었다. 여성 분노 감정 음성은 평균 음높이 233.93Hz, 음높이 변위 142.61Hz, 평균 강도 59.54dB, 강도 변위 36.77dB, 조음 속도 6.64sps, 억양구 마지막 음절 길이 290.66ms, 경계 성조 음높이 움직임 이동 거리 45.08, 경계 성조 음높이 움직임 기울기 .38의 수치로 나타나는데, 이는 선행 연구보다 음높이 변위는 작게, 평균 강도는 약하게, 강도 변위는 크게, 조음 속도는 빠르게, 억양구 마지막 음절은 짧게 발화한 것이었다. 6장에서는 슬픔 감정 음성에 나타나는 남녀의 특징을 밝히었다. 남성 슬픔 감정 음성은 평균 음높이 116.16Hz, 음높이 변위 49.63Hz, 평균 강도 55.37dB, 강도 변위 35.03dB, 조음 속도 5.82sps, 억양구 마지막 음절 길이 304.54ms, 경계 성조 음높이 움직임 이동 거리 54.57, 경계 성조 음높이 움직임 기울기 –3.10의 수치를 나타내는데, 이는 선행 연구와 비교하여 음높이 변위는 작게, 평균 강도는 약하게, 강도 변위는 크게, 억양구 마지막 음절 길이는 길게, 경계 성조 음높이 움직임 이동 거리 값은 크게, 경계 성조 음높이 움직임 기울기는 음의 방향으로 더 가파르게 나타낸 것이었다. 여성 슬픔 감정 음성은 평균 음높이 225.91Hz, 음높이 변위 113.91Hz, 평균 강도 52.84dB, 강도 변위 37.72dB, 조음 속도 5.15sps, 억양구 마지막 음절 길이 371.98ms, 경계 성조 음높이 움직임 이동 거리 49.00, 경계 성조 음높이 움직임 기울기 -.13의 값을 보이는데, 이는 선행 연구보다 음높이 변위는 작게, 평균 강도는 약하게, 강도 변위는 크게, 조음 속도는 느리게, 억양구 마지막 음절은 길게 표현한 것이었다. 7장에서는 3장부터 6장까지의 감정 음성의 특성을 비교하여 감정 간 차이를 알아보고 감정 음성의 변별에 유의미한 음성 자질을 찾아내었다. 남성의 경우에는 평균 음높이, 강도 변위, 경계 성조 음높이 움직임 이동 거리, 경계 성조 음높이 움직임 기울기 값에 유의한 차이를 보이는 감정들이 심리학적 기준으로 분류된 감정과 일치하였고, 여성의 경우에는 음높이 변위, 강도 변위, 억양구 마지막 음절 길이에 유의미한 차이를 보이는 감정들이 심리학적 기준으로 분류된 감정과 일치하였다. 8장에서는 연구 결과들을 정리하여 요약하고, 본 연구의 의의와 한계를 제시하였다. 이 연구는 감정 음성의 특징을 수치화하여 객관적으로 나타내고, 감정을 표현하는 남성과 여성의 기질과 전략 차이를 밝히었으며, 각성과 정서가가 일치하는 다른 감정의 음성적 특징을 본 연구 결과로 미루어 알 수 있게 하여 감정 음성 연구가 보다 확장될 수 있는 기회를 제공하였다는 데에 의의가 있다.