Sensory Stimulation Training to Improve Motor Imagery-Based Brain-Computer Interface Performance

Abstract

뇌-컴퓨터 인터페이스 (Brain-Computer Interface, BCI)는 뇌 신경계로부터 발생한 신경신호를 측정, 분석하여 컴퓨터 또는 외부 기기를 제어하거나 사용자의 의사, 의도를 외부에 전달하기 위한 기술을 통칭한다. 현재, 신경신호를 측정하기 위한 다양한 방식 중 측정이 쉽고, 실생활에 적용 할 수 있는 방법은 뇌파를 활용한 비침습적 BCI이다. Motor Imagery (MI) 기반의 BCI는 적용 분야에 따라 오른손 상상 시 오른손 상상과 관련된 명령을 외부 기기로 전달하는 직관적인 사용이 가능하다. 하지만, 트레이닝이 필요하며 여전히 높지 않은 정확도가 개선되어야 한다. 따라서, 기존의 많은 연구자들은 기술적인 측면에서 정확도를 개선하기 위한 연구를 해 왔다. 그 결과, 다양한 기계학습 알고리즘들이 개발되었다. 하지만, 데이터의 퀄리티가 가진 한계에 부딪혀, 정확도가 개선 될 수 있는 정도에 한계가 있다. 특히 MI-BCI가 잘 되지않는 MI-BCI Inefficiency 사용자들의 성능은 알고리즘을 통해 개선 될 수 없다. 이 학위 논문에서는 저자는 MI-BCI의 성능 향상을 위해 기술적인 측면의 접근이 아닌 human-factor에 기반한 연구를 수행 하였다. 저자는 세가지 MI 훈련 방법을 제안하고, 이를 통해 MI-BCI의 성능을 향상 시키고자 하였다. 첫번째 연구에서는 촉감 자극물을 활용한 훈련 방법을 제안 하였다. 3종 (오른손, 왼손, 오른발) MI 데이터 취득 실험 전, Motor Execution (ME)을 수행한다. 이후, MI 수행 실험 시 실험 가이드를 손을 쥐거나 발을 미는 상상을 하도록 한다. 이 연구에서는, 두가지 조건을 비교 하였다. (1) 손과 발에 아무 자극이 없는 MI condition (2) hard 하고 rough 한 촉감 자극을 사용한 SMI condition. 총 14명의 피험자를 대상으로 실험을 수행 하였다. SMI condition이 MI condition 보다 전체적으로 6.59% 더 높게 정확도가 나왔다. 이 연구에서, MI condition 정확도 70 % 이상의 피험자들의 경우 “good performer”, 70 % 미만의 피실험자들의 경우 “poor performer”라 명칭 하였다. 총 9명의 poor performer경우, SMI condition이 MI condition보다 10.73% 더 높았다 (62.18% vs. 51.45%). 하지만, 5명의 good performer 경우, SMI condition 이 MI condition보다 0.86% 더 낮았다 (80.93% vs. 81.79%). 이 연구를 통해 저자는 촉감 자극을 함께 하는 ME를 통해 MI-BCI inefficiency (Poor performer)의 성능을 향상 시켰다. 두번째 연구에서는 같은 촉감 자극이 아닌 서로 다른 촉감 자극을 이용하여 훈련을 하도록 하였다. 3종 (오른손, 왼손, 오른발) MI 데이터 취득 실험 전, ME를 수행한다. 이후, MI 수행 실험 시 실험 가이드를 손을 쥐거나 발을 미는 상상을 하도록 한다. 이 연구에서는, 세가지 조건을 비교 하였다. (1) 손과 발에 아무 자극이 없는 control condition (CC), (2) 한가지 촉감 자극이 있는 hybrid condition I (HCI), (3) 세 종류의 서로 다른 촉감 자극이 있는 hybrid condition 2 (HCII). 총 15명의 피험자를 대상으로 실험을 수행 하였다. 각 조건에서의 정확도는 다음과 같다: 63.50%, 65.11%, and 72.62%. 이 연구에서, MI 정확도 70 % 이상의 피험자들의 경우 “good performer”, 70 % 미만의 피실험자들의 경우 “poor performer”라 명칭 하였다. 10명의 Poor performer의 경우 HCII paradigm에서 가장 높은 정확도인 66.94 %를 취득 하였다. 이는 CC (53.84%), HCI (58.92%) paradigm 보다 각각 13.09%, 8.01% 높은 결과로써 프리드만 테스트 결과 통계적으로 유의하였다 (p<0.001). Good performer의 경우 HCII paradigm에서 가장 높은 정확도인 84.00%를 취득 하였다. 이는 CC (82.81%), HCI (77.49%)보다 각각 1.19%, 6.51% 높은 결과이지만 프리드만 검정 결과 통계적으로 유의하지 않았다. 이 연구를 통해 저자는 HCII 패러다임이 CC 패러다임 뿐만 아니라 HCI 패러다임 보다도 더 좋은 성능을 내는 것을 보였다. 저자는 HCII 패러다임이 poor performer 그룹이 더 높은 집중력과 구분 능력을 갖도록 도왔고, 결과적으로 더 높은 퀄리티의 MI data가 취득 되었다고 결론 지었다. 세번째 연구에서는 촉감 자극이 아닌 진동 자극을 이용하여 훈련을 하도록 하였다. 이 연구에서는 4종 (오른손, 왼손, 오른발, 혀) MI 실험을 수행 하였다. MI 데이터 취득 실험 전, ME를 수행한다. 이후, MI 수행 실험 시 실험 가이드를 손을 쥐거나 발을 밀거나, 혀를 내미는 상상을 하도록 한다. 이 연구에서는, 두번째 연구에서 가장 좋은 결과를 보인 서로 다른 촉감 자극을 이용한 방법을 포함하여 다음과 같은 세가지 조건을 비교 하였다: (1) 손과 발에 아무 자극이 없는 CC, (2) 네 가지 다른 촉감 자극을 활용한 tactile condition (TC), (3) 진동 자극을 활용한 vibrotactile condition (VC). 총 15명의 피험자를 대상으로 실험을 수행 하였다. 각 조건에서의 정확도는 다음과 같다: 53.48%, 63.31%, 67.20%. 이 연구에서, MI 정확도 60 % 이상의 피험자들의 경우 good performer, 60 % 미만의 피험자들의 경우 poor performer라 명칭 하였다. 8명의 Poor performer의 경우 VC에서 가장 높은 정확도인 60.05%를 취득 하였다. 이는 CC (36.01%), TC (51.62%) 보다 각각 24.04%, 8.43% 높은 결과로써 프리드만 테스트 결과 통계적으로 유의하였다 (p<0.05). Good performer의 경우 TC에서 가장 높은 정확도인 76.68%를 보였다. 이는 CC (73.45%), VC (75.36%) 보다 각각 3.23%, 1.32% 높은 결과 이지만, 프리드만 테스트 결과 유의하게 증가하지는 않았다. 저자는 이 실험을 통해 촉감 자극 뿐만 아니라 진동 자극 역시 Poor performer의 MI 성능을 높이는데 효과가 있다는 것을 보였다. 이 세 연구를 통해 저자는 MI-BCI-inefficiency (poor performer) 들의 성능을 향상 시키고자 하였다. 결과적으로, 서로 다른 촉감 자극을 활용한 MI 훈련 방법과, 진동 자극을 활용한 MI 훈련 방법이 어떠한 자극도 없이 하는 MI 보다 더 높은 성능을 보였다. 특히 MI를 잘 수행 하지 못해 알고리즘의 개선으로도 정확도를 향상 시키기 어려운 Poor performer 그룹의 경우, 훈련 방법의 개선을 통해 정확도를 향상 시켰다. 저자는 훈련 방법론적 접근을 통한 이 연구가 최적화된 알고리즘을 찾는 연구와 함께 수행된다면 더 높은 시너지를 보일 것이라고 확신한다. 또한, 기존의 알고리즘 기반의 연구들이 잘 취득된 양질의 오픈 데이터를 기반으로 대부분 개발 되었기 때문에 위의 훈련 방법론이 함께 적용 된다면, 기존의 연구와 함께 MI-BCI의 실용화에 더 기여 할 것이라고 생각한다.|Brain-computer interface (BCI) is a generic term for the pathway used to measure and analyze neural signals, control computers or external devices, or communicate users’ intentions to the other person. Research on electroencephalography (EEG)-based non-invasive BCI has evolved to be applied for everyday use. Among the various methods for EEG-based BCI, motor imagery (MI) is intuitive, but has relatively low accuracy and needs training sessions, compared to other methods (e.g. steady-state visually evoked potential, SSVEP). Therefore, accuracy for MI-BCI must be improved to enhance its practical applicability. Previous studies have attempted to enhance the accuracy of three or four-class MI in terms of technical factors, such as advanced machine learning and deep learning algorithms. However, data for poor performers who are the MI-BCI inefficiency have a limit to the accuracy that can be improved through algorithms. In this dissertation, the author did not conduct a technical factor-based study, but rather a human factor-based study on the performance improvement of MI-BCI. The author suggests a novel training methodology to improve the performance of MI-BCI inefficiency. First, the author suggested a training methodology using tactile stimulus and tangible objects (i.e., hard and rough balls). The participants were to perform three class-MI tasks (right-, left-hand, and right-foot) after the execution task, and the experimenter guided imagination for the MI task according to the execution task. In the first study, the author compared two conditions: (1) no sensory input MI condition (MI condition), (2) and sensory input MI condition with hard and rough tangible objects (SMI condition). Fourteen healthy individuals participated in this within-subject experiment involving EEG data measurement. The SMI condition had a better classification performance than did the MI condition, achieving a 68.88% classification performance averaged over all participants, which was 6.59% larger than that in the MI condition. Subjects with MI accuracy of 70% or more were classified as good performers, and subjects with MI accuracy of less than 70% were classified as poor performers. The performance in SMI was 10.73% larger than that in the MI condition (62.18% vs. 51.45%) among the nine poor performers. However, five good performers showed a slight performance decrease (0.86%) in the SMI condition compared to the MI condition (80.93% vs. 81.79%). Through this study, the author improved the performance of MI-BCI inefficiency (poor performers) via execution training with sensory input. Second, the author suggested a training methodology using tactile stimuli and different type-tangible objects (hard and rough ball, soft and smooth ball, and soft and rough ball). The participants were to perform three class-MI tasks (right-, left-hand, and right-foot) after the execution task and the experimenter guided imagination for the MI task according to the execution task. In the second study, the author compared three conditions: (1) no sensory input MI, control condition (CC), (2) same sensory input MI (hard and rough tangible balls), hybrid condition I (HCI), (3) different sensory input MI (hard and rough tangible ball, soft and smooth ball, and soft and rough ball), hybrid condition II (HCII). Fifteen healthy individuals participated in this within-subject experiment involving EEG data measurement. In analysis results, the three paradigms (CC, HCI, and HCII), for all participants, achieved an average accuracy of 63.50%, 65.11%, and 72.62%, respectively. Subjects with MI accuracy of 70% or more were classified as good performers, and subjects with MI accuracy of less than 70% were classified as poor performers. The HCII paradigm achieved an accuracy of 66.94%, showing a significant increase (Friedman test, p < 0.001) of 13.09% and 8.01% in accuracy compared to CC (53.84%) and HCI (58.92%), respectively, among the 10 poor performers. However, the good performer group showed an increasing pattern (CC/ HCI / HCII, 82.81%/ 77.49%/ 84.00%), but no significant difference was found between the three paradigms. The HCII paradigm provided high concentration and discrimination in performing the MI-based BCI to the poor performers and caused generating a quality EEG pattern compared to CC and HCI. Third, the author suggested a training methodology using vibrotactile stimulus and vibrotactile actuators. The participants were to perform four class-MI tasks (right-, left-hand, right-foot, and tongue) after the execution task and the experimenter guided imagination for the MI task according to the execution task. In the third study, the author compared three conditions: (1) no sensory input MI, and CC, and (2) different tactile-sensory input MI (hard and rough tangible ball, soft and smooth ball, and soft and rough ball) which showed the best performance in the second study, tactile-sensory MI condition (TC) (3) vibrotactile sensory input MI, vibrotactile sensory condition (VC). Fifteen healthy participants participated in this within-subject experiment involving EEG data measurement. In the analysis results, the three paradigms (CC, TC, and VC), for all participants, achieved an average accuracy of 53.48%, 63.31%, and 67.20%, respectively. Subjects with an MI accuracy of 51% or more were classified as good performers, and subjects with MI accuracy of less than 51% were classified as poor performers. In the eight poor performers, the VC paradigm achieved the highest accuracy, 60.05% showing a significant increase (repeated measure-analysis of variance, p < 0.05) of 24.04% and 8.43% in accuracy compared to CC (36.01%) and TC (51.62%), respectively. However, in the seven good performers, an increasing pattern (CC/ TC/ VC, 73.45%/ 76.68%/ 75.36%), but no significant difference was found between the three paradigms. Through the third study, the author showed and suggested that not only tactile-sensory input using different types of tangible objects but also vibrotactile sensory input using a vibrotactile actuator was effective to improve the performance of MI-BCI for poor performers. In summary, through these three studies, the author improved the performance of MI-BCI on poor performers, which is challenging even with algorithm improvement. The author is confident that this work, using a training methodological approach, will exhibit high synergies if conducted with research to find optimized algorithms. In addition, the author believes that if the above training methodology is applied with existing algorithm-based studies on a well-acquired open dataset, , it will increase the practical use of MI-BCI.