Train dexterous hands based on gesture recognition under the depth camera

Abstract

Gesture recognition is a subject in computer science and language technology. The purpose is to recognize human gestures through mathematical algorithms. Gesture recognition can carry out a lot of practical situational experience of human-computer interaction. Gesture recognition can recognize and segment hand like or hand movements, and extract features at the same time. Gesture recognition has the advantages of convenient installation low cost and good user experience, therefore, gesture recognition technology has very important research significance in application and theory. This paper presents a new type of gesture recognition, which is a real-time gesture recognition system based on depth camera, which is used to train smart robot hands to interact with humans through gesture recognition. It uses a Leap Motion sensor to recognize static gestures and train the six most common gestures. In this paper, the depth camera is used to recognize object gestures, and image enhancement has been further improved. Using Leap Motion can directly provide depth images, eliminating a lot of extra hand skin color and background image processing. Then, data enhancement is used to flip the experimental image and deal with noise, so as to ensure that gesture recognition can improve the recognition accuracy under enough data. At the same time, the first four moments in the image moment (Hu moment) are used as the characteristic parameters of the gesture, the number of fingertips of the hand is obtained by solving the convex hull, and the characteristic vector of the target gesture is composed of five characteristic parameters. Finally, the new classifier is used to classify and recognize the target gesture. The system adopts a simple and effective gesture recognition method template matching method. The experimental results show that the recognition rate of the six most commonly used static gestures based on template matching algorithm is 96.5%. According to the algorithm designed in this paper, the interaction between human and machine can be greatly improved in the human-computer interaction. After the algorithm is optimized, the motion of the manipulator is more precise and the control feeling is more realistic. |제스처 인식은 컴퓨터 과학 및 언어 기술의 주제입니다. 목적은 수학적 알고리즘을 통해 인간 제스처를 인식하는 것입니다. 제스처 인식을 통해 많은 인간-컴퓨터 상호 작용 시나리오를 경험할 수 있습니다. 제스처 인식은 인간과 같은 손 또는 손 움직임을 수행할 수 있습니다. 제스처 인식 시스템은 설치가 쉽고 비용이 저렴하며 사용자 경험이 좋다는 특징을 가지고 있으므로 제스처 인식 기술은 응용 및 이론에서 매우 중요한 연구 의의를 가지고 있습니다. 본 논문에서는 제스처 인식을 통해 손재주가 있는 로봇 손을 훈련시키는 데 사용되는 깊이 카메라 기반의 실시간 제스처 인식 시스템인 새로운 유형의 제스처 인식을 제안합니다. Leap Motion 을 사용하여 정적 제스처를 인식하고 가장 일반적인 6 가지 제스처를 훈련합니다. 대상 제스처를 수집하고 깊이 이미지를 향상시키는 Leap Motion 은 깊이 이미지를 직접 제공하여 불필요한 손 피부색 및 배경 이미지 처리를 많이 제거하여 제스처 인식의 효율성을 크게 향상시키고 작업을 절약하며 정확도를 향상시킵니다. 그런 다음 데이터 향상을 사용하여 실험 이미지에서 뒤집기 및 노이즈 처리를 수행하고, 사진 수를 늘리고, 인위적으로 인식을 어렵게 만들고, 제스처 인식이 인식 정확도를 향상시키기에 충분한 데이터 아래에 있는지 확인합니다. 동시에 이미지 모멘트(Hu)의 처음 4 개 모멘트를 제스처의 특징 매개변수로 사용하고, 손의 손가락 끝 개수는 볼록 껍질 방법으로 구하고, 대상 제스처의 특징 벡터는 5 개의 특성 매개변수를 사용하여 구성됩니다. 그런 다음 제스처 이미지의 특징 벡터를 사용하여 입력 샘플 제스처를 분석하여 표준 제스처 라이브러리를 설정한 다음 라이브러리에서 샘플 교육을 수행하여 분류기를 생성하고 마지막으로 새로 생성된 분류기를 사용하여 대상 제스처를 분류하고 인식합니다. 이 시스템은 간단하고 효과적인 제스처 인식 방법-템플릿 매칭 방법을 사용하며, 실험 결과 템플릿 매칭 알고리즘을 기반으로 가장 일반적으로 사용되는 6 가지 정적 제스처의 인식률이 96.5%에 도달하는 것으로 나타났습니다.