Development of Deep Learning Techniques to Enhance the Performance of Brain-Computer Interfaces without Individual Calibration Sessions

Abstract

뇌-컴퓨터 인터페이스(BCI)는 외부 환경과의 의사소통에 어려움을 겪는 사람들에게 비근육적 의사소통 채널을 제공하는 궁극적인 목표로 신경 신호로부터 사용자의 의도를 해독하기 위해 개발되었다. 뇌 활동을 획득하기 위해 다양한 신경 영상 양식이 사용되었다. 예를 들어, 뇌파(EEG), 자기뇌파(MEG), 기능성 자기공명영상(fMRI), 기능성 근적외선 분광법(fNIRS)은 BCI를 구현하기 위해 사용된 대표적인 뇌 영상 양식이다. 그 중 fNIRS와 EEG는 비침습성, 높은 접근성, 저렴한 가격 및 휴대성과 같은 장점 때문에 가장 집중적으로 연구되는 두 가지 주요 비침습 양식이다. 특히 fNIRS 기반 정신 과제 BCI와 EEG 기반 정상 상태 시각적 유발 잠재력(SSVEP) BCI가 가장 집중적으로 연구되고 비침습 BCI 연구 영역에서 유망한 결과를 보여준다. 최근 딥 러닝 기술이 빠르게 발전하면서 BCI 기술이 상당히 발전했다. BCI의 연구 분야에는 다양한 최첨단 딥 러닝 기법이 성공적으로 적용되었다. 그러나 대부분의 연구는 주로 BCI 시스템의 성능 향상에만 초점을 맞추었다. 현재 BCI 구현의 문제는 고성능 BCI 시스템을 구현하기 위해 BCI 시스템을 사용할 때마다 사전 개별 교정 세션을 수행해야 한다는 것이다. 그러나, 충분한 훈련 데이터를 얻기 위한 비교적 긴 보정 세션은 실용성을 저하시키고 때때로 BCI 시스템을 사용하기도 전에 사용자에게 피로감을 유발한다. 특히 환자, 어린이, 노약자의 경우 훈련 후 쉽게 피로해지기 때문에 길고 지루한 훈련을 진행하기가 어렵다. 따라서 BCI의 실용화를 위해서는 별도의 개별 훈련 세션 없이 BCI의 성능을 향상시킬 수 있는 방법을 개발하는 것이 필수적이다. 첫 번째 연구에서 저자는 사용자 독립적인 fNIRS 기반 BCI를 구현하기 위한 새로운 CNN 기반 심층 신경망 아키텍처를 제안한다. 총 18명의 참가자가 fNIRS 기반 BCI 실험을 수행했으며 실험의 주요 목표는 암산 작업과 유휴 상태 (Rest) 작업을 구별하는 것이었습니다. 제안된 사용자 독립적 fNIRS 기반 BCI의 평균 분류 정확도를 평가하기 위해 Leave-one-subject-out 교차 검증이 사용되었습니다. 그 결과 제안된 방법의 평균 분류 정확도는 71.20 ± 8.74%로, 기존의 수축 선형 판별 분석(sLDA) (65.74 ± 7.68%)을 사용하여 얻은 결과뿐만 아니라 효과적인 BCI 통신을 위한 정확도의 임계값인 70%보다 높은 성능을 달성하였다. 제안된 사용자 독립적 fNIRS 기반 BCI에 유사한 분류 정확도를 달성하기 위해 기존의 사용자 종속 fNIRS 기반 BCI방식으로는 24회의 훈련 데이터(약 12분)가 필요했다. 따라서, 제안된 CNN 기반 접근 방식은 장기적인 개별 보정 세션의 필요성을 줄여 fNIRS 기반 BCI의 실용성을 크게 향상시킬 것으로 기대된다. 두 번째 연구에서 저자는 안정 상태 뇌파(EEG)에서 인공 정상 상태 시각 유발 전위(SSVEP) 신호를 생성하기 위한 새로운 다중 도메인 신호 대 신호 변환 방법을 제안한다. 제안된 StarGAN 기반 신호 대 신호 변환 모델은 3명의 피험자로부터 획득한 EEG 데이터를 사용하여 훈련되었으며, 각 테스트 참가자로부터 획득한 매우 짧은 기간(~16초) 동안 휴식 EEG 데이터를 사용하여 15명의 테스트 참가자의 인공 SSVEP 신호를 성공적으로 생성하였다. 생성된 인공 SSVEP 신호와 본 연구에서 제안된 Combined-CCA의 확장버전인 Combined-ECCA를 사용하여 SSVEP 기반 BCI의 성능 향상 가능성을 조사하였다. 15명의 건강한 사람들이 SSVEP 기반 BCI 연구에 참여하여 자극 주파수가 다른 4가지 시각적 자극을 구별하였다. 성능 향상 정도를 평가하기 위해 제안된 방법을 사용하여 얻은 평균 분류 정확도와 정보 전송 속도(ITR)를 기존 SSVEP 기반 BCI연구에서 사용되는 분류 방법들 중 별도의 훈련 없이도 높은 성능을 보여주는 filterbank CCA (FBCCA)를 사용하여 얻은 성능들과 비교하였다. 제안된 방법을 사용하여 얻은 SSVEP 기반 BCI의 분류 정확도와 ITR(95.47% 및 40.09 bit/min)은 FBCCA(92.03% 및 31.80 bit/min)를 사용해서 얻은 SSVEP 기반 BCI의 분류 정확도와 ITR과 비교하여 유의미하게 향상했음을 확인할 수 있었다 (p<0.05). 또한 기존의 사용자 개별 훈련 접근법을 사용한 경우 제안된 접근법보다 더 나은 분류 정확도를 달성하기 위해 각 자극 당 4회 이상의 개별 훈련 시험이 필요했다. 요약하면 저자는 특히 대표적인 비침습적 BCI인 fNIRS 기반 정신과제 BCI와 EEG 기반 SSVEP BCI에 대해 별도의 개별 훈련 세션 없이 BCI의 성능을 향상시키기 위한 새로운 DL 기법을 개발했다. 또, 제안된 방법의 성능을 평가하고 기존 방법의 성능과 비교하였다. 결과적으로, 제안된 DL 기법이 개별 교정 세션 없이 BCI의 성능을 크게 향상시켜 fNIRS 및 EEG 기반 BCI의 사용성을 향상시킬 수 있음을 보여주었다. |Brain-computer interfaces (BCIs) have been developed to decode a user’s intention from their neural signals with the ultimate goal of providing non-muscular communication channels to those who experience difficulties communicating with the external environment. Various neuroimaging modalities have been employed to acquire brain activities. For example, electroencephalography (EEG), magnetoencephalography (MEG), functional magnetic resonance imaging (fMRI), and functional near-infrared spectroscopy (fNIRS) are the representative brain-imaging modalities that have been used for implementing BCIs. Among them, fNIRS and EEG are two major non-invasive modalities, most intensively studied owing to such advantages as non-invasiveness, high accessibility, affordability, and portability. Especially, fNIRS-based mental task BCI and EEG-based steady-state visual evoked potential (SSVEP) BCI are the most intensively studied and show promising results in non-invasive BCI research areas. With the recent rapid advancement of deep learning technologies, BCI technology has advanced considerably. Various state-of-the-art deep learning Techniques have been successfully applied to the research field of BCIs. However, most of the studies mainly focused on performance improvement in a subject-specific manner. The current issue in implementing BCIs is that individual calibration sessions need to be performed before each usage of the BCI system to implement high-performance BCI systems. However, such relatively long calibration sessions to obtain enough training data degrade their practicality and sometimes cause user fatigue even before using the BCI system. Especially, for patients, children, and the elderly, it is difficult to run long and tedious training sessions because they easily become tired after the training sessions. Consequently, it is essential to develop a method to improve the performance of BCIs without any individual calibration session for practical use of BCIs. In the first study, the author proposes a novel deep convolutional neural network (CNN)-based approach for implementing a subject-independent fNIRS-based BCI. A total of 18 participants performed the fNIRS-based BCI experiments, where the main goal of the experiments was to distinguish a mental arithmetic task from an idle state task. Leave-one-subject-out cross-validation was employed to evaluate the average classification accuracy of the proposed subject-independent fNIRS-based BCI. As a result, the average classification accuracy of the proposed method was reported to be 71.20 ± 8.74%, which was higher than the threshold accuracy for effective BCI communication (70%) as well as that obtained using conventional shrinkage linear discriminant analysis (65.74 ± 7.68%). To achieve a classification accuracy comparable to that of the proposed subject-independent fNIRS-based BCI, 24 training trials (of approximately 12 min) were necessary for the traditional subject-dependent fNIRS-based BCI. It is expected that the proposed CNN-based approach would reduce the necessity of long-term individual calibration sessions, thereby enhancing the practicality of fNIRS-based BCIs significantly. In the second study, the authors propose a novel multidomain signal-to-signal translation method to generate artificial steady-state visual evoked potential (SSVEP) signals from resting electroencephalograms (EEGs). The proposed StarGAN-based signal-to-signal translation model was trained using EEG data acquired from three subjects and could successfully generate sufficient numbers of artificial SSVEP signals from 15 test participants using resting EEG data acquired over an extremely short period (~16 s) from each test participant. The possibility of improving the performance of SSVEP-based brain-computer interfaces (BCIs) was investigated by incorporating the artificially generated SSVEP signals and Combined-ECCA, which is proposed in this study as an extended version of combined canonical correlation analysis (Combined-CCA). Fifteen healthy individuals participated in the SSVEP-based BCI study to distinguish four visual stimuli with different flickering frequencies. To evaluate the degree of performance improvement, the average classification accuracy and information transfer rate (ITR) obtained using the proposed methods were compared with those obtained using filter bank CCA (FBCCA), a state-of-the-art training-free method for SSVEP-based BCIs. The performances in terms of the classification accuracy and ITR of SSVEP-based BCIs were significantly improved by using the proposed methods (95.47% and 40.09 bit/min) compared with those using FBCCA (92.03% and 31.80 bit/min, p < 0.05). In addition, more than four individual training trials per class were necessary to achieve better classification accuracy than that of the proposed approach if the conventional individual training approach was employed. In summary, the author developed novel DL techniques to enhance the performance of BCIs without any individual calibration sessions, especially for fNIRS-based mental task BCI and EEG-based SSVEP BCI, which are the most representative non-invasive BCIs. The performance of the proposed methods was evaluated and compared with that of the conventional methods. The result demonstrated that the proposed DL techniques could enhance the performance of BCIs significantly without individual calibration sessions, thereby improving the usability of fNIRS- and EEG-based BCIs.