환경 음향 분류를 위한 멀티스트림 컨볼루션 심화 신경망 구조에 관한 연구

Abstract

환경 음향 분류를 위해 spectrogram 기반의 특징을 convolutional neural network (CNN)의 입력으로 사용하게 되면 환경 음향의 다양한 주파수-시간 변조 패턴들을 학습할 수 있어 양질의 깊은 특징을 얻을 수 있다. 하지만 전체 spectrogram의 패턴을 single-stream CNN을 이용하여 학습할 경우, 복잡한 spectrogram의 변조 패턴을 세세히 학습하는 것에는 한계가 있어 비슷한 성질을 가지는 환경 음향을 분류하는 것에 어려움이 발생한다. 그래서 본 논문에서는 전체 spectrogram과 spectrogram을 주파수 밴드별로 나누어 생성한 나누어진 spectrogram들을 이용하여 환경 음향을 분류 하는 multi-stream CNN 구조를 제안한다. 추가적으로 본 논문에서는 다양한 global pooling 방법들을 CNN에 적용하여 환경 음향 분류에 최적화된 global pooling 방법을 찾기 위한 실험도 진행하였다. 제안된 방법을 적용하여 Urbansound8k dataset으로 실험한 결과 기존의 다른 single-stream CNN들에 비해 더 좋은 성능을 도출 하였다.