461 0

Hand Gesture Recognition through Impulse Radars Using Deep Learning

Title
Hand Gesture Recognition through Impulse Radars Using Deep Learning
Author
샤자더아메드
Alternative Author(s)
샤자더아메드
Advisor(s)
조성호
Issue Date
2021. 8
Publisher
한양대학교
Degree
Doctor
Abstract
In this this dissertation, we present radar based hand gesture recognition by utilizing several deep learning frameworks. The (Impulse) radar used in this study transmits series of impulse signals having short time duration and corresponding wide frequency response. Different predefined hand movements (termed as hand gestures) are performed within the operational range of radar, and the corresponding received radar returns are preprocessed and passed to the deep-learning based classification frameworks to recognize (pre-defined) hand movements. In recent era, computing technology has become embedded in every aspect of our daily lives and man–machine interaction is becoming inevitable. It is widely believed that computing and display technology will keep on progressing further. Humans needs to interact with computer more frequently, on daily basis. Consequently, the traditional means of manmachine interactions, such as keyboard and mouse are becoming a bottleneck while providing interactive Human-Computer interface (HCI) systems. Hand gesture recognition can be an alternate and more natural HCI approach. In addition to that, the radar sensors have previously shown a huge potential for hand gesture detection and recognition. Specifically, Ultra wideband (UWB) Impulse Radars have shown their usefulness in highly cluttered living environment for several applications. In this dissertation, we have used Impulse radar to classify hand gestures using deep learning. The details of our work are as follow: In first study, we present a micro-gesture recognition framework to recognize five different finger movements. The Impulse radar was used to capture the finger movement and Convolutional Neural Network (CNN) was used to extract features for classification. This experiment successfully recognized the count of raised finger. Accuracy as a function of number of hidden layers of CNN was calculated and best performing algorithm was selected. In second study, we proposed a deep-learning architecture consisting of several structural amendments to the well-known CNN architecture. Currently, instead of only increasing the complexity of state of the art CNN architectures, researchers are focusing on performing structural amendments to achieve high accuracy against real world scenarios. In the similar way, we modified GoogLeNet architecture which consists of small blocks known as inception modules. Inspired by the Google’s deep-learning network (GoogLeNet), new classifier for hand gesture recognition using Impulse radars was presented. Seven inception modules were fabricated to form a classifier and the accuracy of this classifier was exploited against eight different hand gestures. In third study, we provided a first ever public dataset of hand gestures recorded with UWB radar. For all the studies regarding hand gesture recognition with radars and other similar radio sensors, researchers first collect training data before testing their algorithms. As a result, the accuracy is always varying from one data to another. Similar to image processing based gesture recognition public dataset, there was a need of having a public dataset for radars. Consequently, a public dataset was proposed for radar based hand gesture recognition. In addition to these experimentations, we also present a comprehensive review of all the available hand gesture recognition studies based on radars. Apart from reviewing Impulse Radars, we have also included the review and survey of Frequency Modulated Continuous Wave (FMCW) and Single Frequency Continuous Wave (SFCW) radars as well. Ongoing research trends and future directions are summarized in this dissertation graphically.|본 논문에서는 여러 딥러닝 프레임워크를 활용하여 레이더 기반 손 동작 인식을 제시한다. 이 연구에 사용된 impulse 레이더는 짧은 지속 시간과 그에 상응하는 넓은 주파수 응답을 가진 일련의 펄스 신호를 송출한다. 레이더의 작동 범위 내에서 사전에 정의된 다양한 손 동작이 수행되고, 수신된 레이더 신호가 사전에 훈련된 딥러닝 기반 분류 프레임워크로 전달되어 손 동작을 인 식한다. 최근에는 컴퓨팅 기술이 일상 생활의 모든 측면에 내재되어 있으며 인간 과 기계의 상호 작용이 불가피해지도 있다. 컴퓨팅 및 디스플레이 기술은 앞 으로도 계속 발전할 것이다. 인간은 일상적으로 컴퓨터와 더 자주 상호작용할 필요가 있다. 결과적으로 키보드와 마우스와 같은 기존의 상호작용 수단은 병 목 현상에 이르렀고, 대화형 인간-컴퓨터 인터페이스 (HCI) 시스템이 대두되고 있다. 손 동작 인식은 기존의 방법을 대체하면서 더 자연스러운 HCI 접근 법이 될 수 있다. 게다가, 레이더 센서는 이전부터 손 동작 감지와 인식에 있 어 큰 잠재력을 보여주었다. 특히, 클러터가 많은 생활 공간에서 초광대역 (Ultra Wideband) 임펄스 레이더는 유용하게 사용될 수 있음을 보여주었다. 본 논문에서, 우리는 딥러닝을 사용한 손 동작 분류에 임펄스 레이더를 활용 하였다. 우리가 진행한 연구의 세부 사항은 다음과 같다: 첫 번째 연구에서, 우리는 다섯 가지의 서로 다른 손가락 움직임을 인식 하기 위한 마이크로 제스처 인식 프레임워크를 제시한다. 임펄스 레이더는 손 가락 움직임을 포착하는데 사용되었고, CNN (Convolutional Neural Network) 은 분류를 위한 특성 값을 추출하게는 사용되었다. CNN의 숨겨진 계층의 수 에 따른 분류 정확도를 계산하여 최고 성능을 가진 알고리즘을 선택하였으며, 실험을 통하여 손가락 수를 성공적으로 인식함을 보였다. 두 번째 연구에서, 우리는 잘 알려진 CNN 구조에 대한 몇 가지 수정을 적용한 딥러닝 구조를 제안하였다. 현재, 첨단의 CNN 구조의 복잡성을 증가 시키는 대신, 실제 환경에서 높은 정확도를 달성하기 위한 구조 수정이 널리 연구되고 있다. 비슷한 방식으로, 우리는 inception module로 알려진 작은 블 록으로 구성된 GoogLeNet 구조를 수정하였다. 구글의 딥러닝 네트워크 (GoogLeNet)에서 영감을 받아 임펄스 레이더를 이용한 손동작 인식을 위한 새로운 분류기를 제시하였다. 7개의 inception module로 분류기를 형성하였으 며, 8가지의 다른 손동작으로 분류기의 정확도를 평가하였다. 세 번째 연구에서 우리는 UWB 레이더로 기록된 손동작의 공개 데이터 세트를 최초로 제공하였다. 레이더 및 기타 유사한 무선 센서를 사용한 손동 작 인식에 관한 모든 연구에 대하여, 알고리즘을 구성하거나 시험하기 전에 훈련 데이터를 수집한다. 따라서 알고리즘의 정확도는 언제나 데이터에 따라 달라진다. 이미지 처리 기반 제스처 인식 공개 데이터 세트와 유사하게, 레이 더를 이용한 공개 데이터 세트에 대한 요구가 있기에 레이더 기반 손동작 인 식을 위한 공개 데이터 세트를 제안하였다. 이러한 실험 외에도, 우리는 레이더를 기반으로 한 모든 가능한 손 동작 인식 연구에 대한 포괄적인 리뷰를 제시한다. 임펄스 레이더 외에도 주파수 변조 연속파 (FMCW) 및 단일 주파수 연속파 (SFCW) 레이더에 대한 검토 및 조사를 수행하였다. 진행 중인 연구 동향과 향후 연구 방향은 본 논문에서 시각적으로 요약되었다.
URI
http://hanyang.dcollection.net/common/orgView/200000491802https://repository.hanyang.ac.kr/handle/20.500.11754/164125
Appears in Collections:
GRADUATE SCHOOL[S](대학원) > DEPARTMENT OF ELECTRONIC ENGINEERING(융합전자공학과) > Theses (Ph.D.)
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML


qrcode

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

BROWSE