Driver Posture and Hand Gesture Recognition based on Artificial Intelligence and Sensor Fusion

Abstract

Following the recent development of sensor technology, wearable sensors have become low-cost, miniaturized, and lightweight, and have, thus, found wide application. Because they can collect dynamic information, such as user behavior, they are suitable for implementation in real-time monitoring systems. Characteristically, wearable sensors used in monitoring systems have low inconvenience, despite being in direct contact with different body parts. In addition, the user is not constrained by a radius of action when wearing them. Accordingly, wearable sensors are suitable for monitoring driver. Accordingly, this paper introduces two types of driver-centered assistive applications using customized wearable sensors. First, we propose a monitoring system that reduces driver fatigue and promotes healthy driving habits. Next, we design an interface for rapidly interpreting the driver's intentions and communicating with the vehicle. The two applications are broadly divided into posture monitoring and gesture recognition systems. All the proposed algorithms were implemented using only wearable sensors and experimentally verified. The first proposed application is the driver posture monitoring system, which can detect unbalanced posture and create a driving environment that is beneficial to the driver's personal health. As an example, Forward head posture (FHP) is commonly observed during long-distance driving. However, as the FHP is static, monitoring it using available wearable sensors is challenging because they are more popularly used in dynamic monitoring. Therefore, we propose an algorithmic model to estimate the craniovertebral angle (CVA) by proposing a new wearable sensor using a magnet. The magnet is paired with a magnetic sensor that is fused with an accelerometer. Sequentially, various machine learning models are trained to determine their suitability for FHP diagnosis in the given conditions. In addition, as a result of replicating the driving environment and analyzing the driver's posture, FHP was identified with an error rate of less than 10%. The second application is the driver gesture recognition system, which is designed to rapidly determine the driver's intentions. Different algorithms have been researched for quick and accurate recognition of the user’s intention. In this thesis, instead of using multiple sensors, we implemented a gesture recognition algorithm that uses only a single wearable sensor, thus reducing the amount of computation. In addition, a convenient and intuitive user interface is challenging because various and complicated modes are commonly required in improving the driving environment. Accordingly, we developed a resynchronization-type motion recognition algorithm that performs various functions using simple hand gestures. Principally, the algorithm computes the covariance that compares the input signal to the signal stored in the database. The gesture recognition algorithm supports fast recognition with an accuracy higher than 90% and a motion delay less than 0.1 second.|최근 센서 기술의 발달에 따라 웨어러블 센서는 저가화, 소형화, 경량화되어 널리 응용되고 있다. 사용자 행동과 같은 동적 정보를 수집할 수 있기 때문에 실시간 모니터링 시스템에 구현하기에 적합하다. 특징적으로 모니터링 시스템 에 사용되는 웨어러블 센서는 신체의 다른 부분과 직접 접촉함에도 불구하고 불편함이 적다. 또한 사용자는 착용 시 동작 반경에 제약을 받지 않는다. 따라 서 웨어러블 센서는 운전자 모니터링에 적합하다. 이에 본 논문에서는 맞춤형 웨어러블 센서를 활용한 두 가지 유형의 운전 자 중심 보조 애플리케이션을 소개한다. 첫째, 운전자의 피로를 줄이고 건전한 운전 습관을 길러주는 모니터링 시스템을 제안한다. 다음으로 운전자의 의도 를 빠르게 해석하고 차량과 통신할 수 있는 인터페이스를 설계한다. 두 가지 응용 프로그램은 자세 모니터링과 제스처 인식 시스템으로 크게 나뉜다. 제안 된 모든 알고리즘은 웨어러블 센서만을 사용하여 구현되었으며 실험적으로 검 증되었다. 첫 번째 제안된 응용은 불균형한 자세를 감지하고 운전자의 개인 건강에 유 익한 운전 환경을 조성할 수 있는 운전자 자세 모니터링 시스템이다. 예를 들 어, 앞으로 머리 자세(FHP)는 장거리 운전 중에 흔히 관찰된다. 그러나 FHP 는 정적이므로 사용 가능한 웨어러블 센서를 사용하여 모니터링하는 것은 동 적 모니터링에 더 널리 사용되기 때문에 어렵다. 따라서 우리는 자석을 이용 한 새로운 웨어러블 센서를 제안하여 두개골각(CVA)을 추정하는 알고리즘 모 델을 제안한다. 자석은 가속도계와 융합된 자기 센서와 쌍을 이룬다. 순차적으 로 다양한 기계 학습 모델을 훈련하여 주어진 조건에서 FHP 진단에 대한 적 합성을 결정한다. 또한 모의 운전자 실험에서 운전자의 자세를 분석한 결과 FHP가 10% 미만의 오류율로 확인되었다. 두 번째 애플리케이션은 운전자의 의도를 신속하게 판단하도록 설계된 운전 자 제스처 인식 시스템이다. 사용자의 의도를 빠르고 정확하게 인식하기 위해 다양한 알고리즘이 연구되었다. 본 논문에서는 다수의 센서를 사용하는 대신 에 하나의 웨어러블 센서만을 사용하는 제스처 인식 알고리즘을 구현하여 연 산량을 줄였다. 또한, 운전 환경을 개선하기 위해서는 다양하고 복잡한 모드가 공통적으로 요구되기 때문에 편리하고 직관적인 사용자 인터페이스가 어렵다. 이에 간단한 손동작으로 다양한 기능을 수행하는 재동기화형 동작인식 알고리 즘을 개발하였다. 기본적으로 알고리즘은 입력 신호를 데이터베이스에 저장된 신호와 비교하는 공분산을 계산한다. 제스처 인식 알고리즘은 90% 이상의 정 확도와 0.1초 미만의 모션 지연으로 빠른 인식을 지원한다.