손과 팔 제스처의 효율적인 실시간 가상공간 사용을 위한 제스처 모듈화 인식 알고리즘 개발

Abstract

가상공간에 대한 관심이 증가하면서 NUI개발이 활발히 진행되고 있다. NUI 중에서도 많이 사용되는 것은 제스처인데, 기존 제스처 인식 알고리즘은 여러 한계점이 있다. 기존 제스처 인식 알고리즘은 새로운 제스처를 등록하고 사용하기 위해 대량의 학습 데이터와 처리 시간이 필요하거나 인식 알고리즘을 수정할 수 있는 전문적인 지식이 필요하다. 이를 해결하기 위해 전문적인 지식이 없는 사람도 새로운 제스처를 시스템에서 바로 등록하여 쓸 수 있는 알고리즘을 개발하고자 한다.

본 논문에서 개발하는 제스처 인식 알고리즘은 사람 손과 팔의 제스처를 인식하는 알고리즘이다. 사람 손과 팔을 이용해서 표현할 수 있는 제스처 종류는 무수히 많다. 이 모든 제스처를 인식하고 사용하기 위해 표현할 수 있는 제스처들을 정적 제스처와 동적 제스처로 구분하고 모듈화했다. 모듈화한 제스처들은 조합 방법에 따라 무한에 가까운 제스처들을 만들어 낼 수 있다. 인식 알고리즘은 사용자가 취하는 제스처를 모듈 단위로 인식하기 때문에, 사용자가 단순히 신규 제스처를 한 번 취하기만 해도 별도의 학습 데이터 처리 작업이나 알고리즘 수정 작업 없이 가상공간에서 바로 사용할 수 있다.

정적 제스처 모듈은 손가락 별로 정의했다. 엄지손가락은 4개의 정적 제스처 모듈을 가졌고, 엄지를 제외한 다른 손가락들은 5개의 정적 제스처 모듈을 가진다. 일부 정적 제스처 모듈이 엄지와 상호작용하는 모듈이라 논문에서 정의한 모듈로는 총 1328개의 정적 손 제스처를 구분할 수 있다.

동적 제스처 모듈은 4가지의 행위로 정했다. 4가지의 행위로는 손을 평행하게 움직이는 행위, 손목을 비트는 행위, 손가락을 굽히는 행위, 손의 특정 자세를 유지하는 행위가 있다.

실험에서는 각 정적 제스처 모듈과 동적 제스처 모듈별 분류모델의 Confusion Matrix를 만들었다. Confusion Matrix를 통해 각 모듈별 분류모델의 높은 인식 정확도와 높은 분류 성능을 보여 알고리즘의 안정성을 보였다.

모듈의 조합방식에 따른 인식 정확도 실험을 진행했다. 등록된 제스처의 길이가 늘어날수록 제스처의 인식률은 떨어졌지만 높은 인식률을 유지했으므로 사용자가 원하는 다양한 제스처들을 무제한으로 등록하고 사용할 수 있음을 보였다.

따라서 제스처 모듈화를 통해 기존 제스처 인식 알고리즘의 한계를 극복하고 가상공간에서 사용자가 원하는 다양한 제스처를 등록하고 쓸 수 있게 될 것이라 기대된다.|As interest in virtual space increases, NUI development is actively progressing. Among NUI, gestures are frequently used, but existing gesture recognition algorithms have several limitations. Existing gesture recognition algorithms require large amounts of learning data and processing time to register and use new gestures, or professional knowledge to modify recognition algorithms. To solve this problem, we would like to develop an algorithm that can register and write new gestures directly in the system even if people do not have professional knowledge.

The gesture recognition algorithm developed in this paper is an algorithm that recognizes gestures of human hands and arms. There are countless types of gestures that can be expressed using human hands and arms. In order to recognize and use all these gestures, gestures that can be expressed are divided into static and dynamic gestures and modularized. Modular gestures can produce gestures close to infinity according to the combination method. Because the recognition algorithm recognizes the user's gestures on a modular basis, it can be used directly in virtual space without any additional learning data processing or algorithm modification by simply posing a new gesture.

The static gesture module was defined each finger. The thumb has four static gesture modules, and the fingers other than the thumb have five static gesture modules. Since some static gesture modules interact with the thumb, the modules defined in the paper can distinguish a total of 1328 static hand gestures.

The dynamic gesture module was determined by four actions. The four actions include moving the hand parallel, twisting the wrist, bending the finger, and maintaining a specific position of the hand.

In the experiment, we created a Confusion Matrix of classification models for each static gesture module and dynamic gesture module. Confusion Matrix showed high recognition accuracy and high classification performance of each module classification model, showing the stability of the algorithm.

A recognition accuracy experiment was conducted according to the combination method of the modules. As the length of the registered gesture increased, the recognition rate of the gesture decreased, but it maintained a high recognition rate, indicating that users can register and use various gestures that they want unlimitedly.

Therefore, it is expected that gesture modularization will overcome the limitations of existing gesture recognition algorithms and enable users to register and use various gestures they want in virtual space.