Machine Learning-enabled Environmentally Adaptable Human Gesture Recognition Skin-electronic Sensor

Abstract

신축성 변형 센서는 인간의 움직임 감지, 터치 센서 및 건강 관리 모니터링을 목적으로 광범위하게 연구 및 개발되며 기계적/구조적인 변화를 전기적 신호로 변환한다. 하지만 신축성재료의 점탄성 변화는 종종 광범위한 변형에 걸쳐 비선형 응력 변형 특성을 초래하며 신체관절의 변형 센서가 사람의 제스처를 예측하고 인식하는 정확도를 떨어뜨린다. 또한, 사람의 제스처에 대한 정확한 인식은 온도나 습도와 같은 환경 변화에 의해 더욱 악화될 수 있다. 여기서, 우리는 인간의 제스처 인식을 위해 서펜타인 형태로 패터닝한 이온성 액체 기반 신축성 필름을 만들었다. 이 필름을 기반으로 신체의 굴곡에 알맞도록 만든 환경 친화적인 신축센서를 시연했고, 높은 응력-변형 선형성(최대 λ=150%)과 높은 가용성(>100,000 사이클)을 증명했다. 그리고, 환경 변화에 대한 신호를 분석하기 위해 머신 러닝 기반 알고리즘을 이용하여 광범위한 기계적 변형 및 온도 변화를 학습하였다. 머신러닝 기반 알고리즘 분석을 신호 인식 및 훈련은 92.86%(R-제곱)의 정확도로 온도 변화 환경에서 관절 운동을 성공적으로 측정하고 예측했다. 따라서 기계 학습 분석을 포함한 서펜타인 모양의 이온 젤 기반 신축성 변형 센서는 환경 적응형 및 다중 분석 감지 어플리케이션에서 중요한 성과가 될 것으로 믿는다. 우리가 제안한 기계 학습 지원 다중 센서 시스템은 웨어러블 전자 장치, 소프트 로봇 공학, 전자 피부 및 인간-기계 상호 작용 시스템과 같은 미래의 전자 장치의 개발을 가능하게 할 수 있다.|Stretchable strain sensors have been widely investigated and developed for the purpose of human motion detection, touch sensor, and healthcare monitoring, converting mechanical/structural changes into electrical signals. The viscoelastic strain of stretchable materials often resulted in non-linear stress-strain characteristics over a broad range of strain, consequently making the strain sensors at the body joints less accurate in predicting and recognizing human gestures. Accurate recognition of human gestures can further deteriorate by environmental changes such as the temperature and humidity. Here, we demonstrated the environment-adaptable high stress-strain linearity (up to ε=150 %) and high-durability (> 100,000 cycles) stretchable sensor, conformally laminated onto the body joints, for human gesture recognition. The serpentine configuration of our ionic liquid-based stretchable film enabled us to construct broad datasets of mechanical strain and temperature change for the machine learning-based gesture recognition. Signal recognition and training of distinct strain and environmental stimuli using a machine learning-based algorithm analysis successfully measured and predicted the joint motion in the temperature-changing environment with an accuracy of 92.86 % (R-squared). Therefore, we believe that our serpentine-shaped ion gel-based stretchable strain sensor with a machine-learning analysis will be a significant achievement in the environmentally adaptive and multi-analyte sensing applications. Our proposed machine learning-enabled multi-sensor system may enable the development of future electronic devices such as wearable electronics, soft robotics, electronic skin, and human-machine interaction systems.