Inaudible Acoustic Signal Based Multi-Point Gesture Recognition using CNN

Abstract

스마트 가전, VR 등의 차세대 플랫폼의 확산으로 인해 새로운 기기들이 보 급되고 있다. 새로운 기기들은 기존의 디스플레이 터치 기반의 입력 인터페이 스를 그대로 적용하기 어려워 새로운 방식의 입력 인터페이스를 필요로 한다. 이러한 문제를 해결하기 위해 우리는 비가청 영역의 음향 신호를 이용해서 다 양한 제스처에 대한 움직임을 데이터화 하였고, 이를 머신 러닝을 통해서 학 습하고 제스처를 분류하였다. 우리의 시스템은 multi-path 정보를 담고 있는 Channel Impulse Response(CIR)를 이용해서 기존 연구에서 다루지 못했던 멀티 포인트 제스처에 대한 인식을 수행하였다. 다양한 CNN 모델을 구성하여 CIR 데이터를 잘 학습할 수 있는 모델을 검증하였고, 가장 잘 학습된 모델의 경우 약 90.3% 의 분류 정확도를 나타내었다. 본 논문은 CIR을 통해 멀티 포 인트 제스처에 대한 특징을 담아낼 수 있음을 보여주고, 제스처를 효과적으로 학습할 수 있는 모델 구성법에 대해서 소개한다.; New devices are spreading due to the proliferation of next generation platforms such as smart home appliances, ARs and VRs. These new devices require a new type of input interface because it is difficult to apply the traditional method like a display touch-based input interface as it is. In order to solve this problem, we used the acoustic signals of the inaudible range to digitize the movement of various gestures, learn it through machine learning and classify gestures. Our system uses the channel impulse response(CIR), which contains multi-path information, to detect multi-point gestures that were not addressed in previous researches. We have verified models that can learn CIR data well by constructing various CNN models, and the best-learned model showed classification accuracy of about 90.3%. In this paper, we show that the feature of multi-point gesture can be captured through CIR and introduces model construction method that can learn gesture effectively.