자유 발화 데이터를 사용한 심층 인공 신경망 기반 화자 정보 분류 모델 개발

Abstract

화자 인식(Speaker Recognition) 기술은 쉽게 발성할 수 있는 음성 신호의 특징을 기반으로 저렴한 비용의 시스템 구성과 높은 사용자 편의성, 신호처리 및 기계 학습 알고리즘의 개발을 통해 계속해서 발전하고 있으며, 인간의 청취 기능과 비슷하도록 구현되고 있다. 뿐만 아니라, 휴대용 기기의 발전과 음성 기술, 오디오 콘텐츠 분야 등이 계속해서 확장됨에 따라, 화자 인식 기술의 중요성은 더욱 부각되고 있으며, 일반적인 거래나, 법의학 분야에서도 중요한 수단으로 사용되고 있다. 특히 법의학 분야에서는 사람의 청각 능력에 대한 편향적 판단을 줄이고 발화자의 목소리에 대한 객관적인 분류를 도와줄 수 있는 화자 인식 기술에 연구 초점을 맞추고 있다. 하지만 이전 연구들에서 사용하는 음성 데이터베이스는 모델에 학습시키는 음성의 문구와 확인하는 음성 데이터의 문구가 같다는 점에서 실제 환경과 많은 차이점이 존재한다. 또한, 위와 같이 실제 환경과 많은 차이점을 가진 데이터베이스로 학습시킨 기계 학습 알고리즘 역시 실생활에 적용하기엔 적합하지 않다. 그뿐만 아니라, 실생활에서 사용하기 위해서는 앞에서 언급한 차이점을 줄이고 더욱 정교하게 표현돼야 하지만, 이전에 사용되었던 기계 학습 모델은 표현력의 한계점이 존재한다. 따라서, 본 연구에서는 심층 인공 신경망을 이용하여 학습된 음성 데이터의 문구와 다른 음성 데이터가 입력으로 들어와도 발화자의 성별과 연령, 출신지를 분류할 수 있는 모델을 제안한다. 이를 위해, 전국 6도(충청북도, 충청남도, 경상북도, 경상남도, 전라북도, 전라남도)에 사는 10대에서부터 50대의 남성과 여성에게 전화 인터뷰를 진행하여 다양한 발화 문장을 획득하고, 데이터베이스를 구축하여 이를 기반으로 전처리 기술의 조작과 음향적 특징점, 추가적인 정보를 제공해주는 기능적 특징점을 추출하여 데이터 셋을 구성하였다. 구성된 데이터 셋을 이용하여 심층 인공 신경망(Deep Neural Network : DNN) 기반 발화자의 성별, 연령, 출신지를 분류하는 각각의 알고리즘을 설계하였다. 제안하는 모델의 성능을 비교하기 위해서 이전 연구들에서 많이 사용했던 서포트 벡터 머신을 이용하여 성별 분류 학습을 진행하였다. 이때, 서포트 벡터 머신의 성별 분류 정확도는 55.32%의 성능을 나타냈고, 제안하는 모델의 성별 분류 정확도는 63.14%로써, 서포트 벡터 머신의 성별 분류 정확도보다 7.2% 높은 성별 분류 정확도를 갖는 것을 확인하였다. 또한, 본 연구에서 제안하는 발화자 정보 분류 심층 인공 신경망 모델에 예측 값들의 조합으로 최종 출력 값을 정해주는 투표(Voting) 방법을 적용하여 91.91%의 성별 분류 정확도, 79.57%의 남성 연령 분류 정확도, 85.53%의 여성 연령 분류 정확도, 88.61%의 남성 출신지 분류 정확도, 88.62%의 여성 출신지 분류 정확도 성능을 갖는 각각의 심층 인공 신경망 모델을 설계하였다. 따라서 본 연구에서 제안된 성별, 연령, 출신지를 분류하는 화자 정보 분류 모델은 학습 음성 데이터와 확인 음성 데이터의 문구가 같은 데이터베이스로 학습된 모델과 다르게 문구가 정해져 있지 않은 다양한 발화 문장으로 학습되어 실생활에 적용하였을 때 더 높은 성능으로 사용될 수 있을 것이다.