Development of Practical Brain-Computer Interface Systems Based on Steady-State Visual Evoked Potential for Patients with Locked-in State

Abstract

Although the feasibility of brain-computer interface (BCI) systems based on steady-state visual evoked potential (SSVEP) has been extensively investigated, only a few studies have evaluated its clinical feasibility in patients with locked-in syndrome (LIS), who are the main targets of BCI technology. The main objective of this dissertation was to develop 3 types of SSVEP-based practical BCI systems which considered the patients’ needs, different visual functions, and fatigues, and to test for patients in a severe LIS who have impaired ocular motor functions to demonstrate the feasibility of the SSVEP paradigms. To this end, the author first implemented a four-class online SSVEP-based BCI system for environmental control and communication system. This system could be used for LIS patients who could move their eyes a little, and three patients with severe ALS participated in the online experiments. In the experimental results, all three patients showed clear and distinct SSVEP responses at all four fundamental stimulation frequencies, and responses at harmonic frequencies were also observed in two patients. Mean classification accuracy was 72.30% (chance level = 25%). The test-retest reliability experiments demonstrated stable performance of the BCI system over different days even when the initial parameters set at the first experiment were used without a new parameter calibration. These experimental results suggest that SSVEP-based BCI paradigms might be successfully used to implement clinically feasible BCI systems for severely paralyzed patients. Secondly, the author introduced a new paradigm for SSVEP-based BCI, which can be potentially suitable for disabled individuals with impaired oculomotor function for yes/no communications. The proposed BCI system allows users to express their binary intentions without needing to open their eyes. In the online experiments, binary intentions of five healthy participants were classified in real time, and the average information transfer rate of the online experiments reached 10.83 bits/min. Moreover, online experiment conducted with an LIS patient showed a classification accuracy of 80%. The results of these experiments demonstrated the feasibility of the proposed SSVEP-based BCI paradigm. It is expected that the ‘eyes-closed’ SSVEP-based BCI system can be potentially used for communication of disabled individuals with impaired oculomotor function. Lastly, the author developed an emergency call system for patients in a LIS using an SSVEP-based brain switch. The brain switch used a chromatic visual stimulus, which is less stimulating than conventional checkerboard-type stimuli. Patients who used this system could call their guardians by simply gazing at the flickering chromatic visual stimulus. To verify the feasibility of the emergency call system, five healthy participants and two patients with severe ALS took part in online experiments. The experimental results showed that the brain switch system with the chromatic visual stimulus outperformed the conventional system, which uses a checkerboard visual stimulus, in terms of both comfortability and BCI performance. The two patients with severe ALS successfully called their guardians to their bedsides in 7 and 6.67 seconds, respectively. Furthermore, additional experiments with one of these patients were performed to validate the test-retest reliability of the system and demonstrated that the emergency call system maintains fairly good performance even up to four weeks after the first experiment without renewing the initial calibration data. In summary, the author developed the 3 types of the SSVEP-based practical BCI systems to patients with LIS, from the experimental results, verifying the practicality of the BCI systems based on SSVEP paradigms. It is expected that these SSVEP-based BCI systems can improve the life’s quality of patient in an LIS. |지금까지 감금 증후군 (locked-in state: LIS) 환자들을 위하여 안정 상태 시각 유발 전위 (steady-state visual evoked potential: SSVEP)에 기반한 수 많은 뇌-컴퓨터 접속 (brain-computer interface: BCI) 시스템이 개발되어 왔다. 실제 LIS 환자들의 삶의 질 향상을 위하여 이러한 BCI 시스템이 실제 상황에서 활용 가능한지 여부를 확인하는 연구의 필요성에 대해서 제기되어 왔으나, 실제 LIS 환자들을 대상으로 시스템의 사용 가능성을 확인한 연구는 거의 없다. 따라서 본 학위 논문에서는 LIS 환자들을 위해 보다 실용적이고 쓰임새가 다른 세 종류의 SSVEP 기반의 BCI 시스템을 개발하였으며, 사지는 물론 눈 움직임에 관련된 근육까지 손상된 LIS 환자들에게 각 시스템을 적용하여, SSVEP 패러다임의 실용성을 확인하였다. 이를 위하여, 본 저자는 비교적 눈을 쉽게 움직일 수 있는 환자를 위하여 외부 환경 조절 및 의사 소통으로 활용이 가능한 4가지 의도 분류 시스템을 개발했으며, 3명의 LIS 환자에게 적용하였다. 본 실험 결과, 3명의 피험자 모두에게서 주성분 주파수에서의 SSVEP 반응이 뚜렷하게 관찰되었으며, 2명의 피험자에게서는 하모닉 주파수에서도 SSVEP 반응을 확인할 수 있었다. 주성분 및 하모닉 주파수에서의 SSVEP를 분류 특징으로 하여 각 피험자들의 의도를 분류한 결과 평균 분류 정확도는 72.30 %였다. 또한, 첫 실험에서 선정한 시스템 변수 값들을 이용하여 다른 날에도 시스템을 사용하는 것이 가능한지 알아보는 검사-재검사 신뢰성 (test-retest reliability) 실험을 수행한 결과 본 시스템의 성능이 안정적으로 유지됨을 확인할 수 있었다. 이러한 실험 결과를 통해 SSVEP 기반의 BCI 시스템이 LIS 환자들을 위하여 임상적으로 활용 가능하다는 것을 확인할 수 있었다. 또한, 본 저자는 눈 관련 근육이 손상되어 눈을 제대로 뜨지 못하는 중증 LIS 환자를 대상으로 예/아니오 의사 소통을 할 수 있는 시스템을 개발하였다. 본 시스템은 눈을 감은 상태로 사용할 수 있으며, 눈꺼풀을 투과하여 제시되는 2개의 시각 자극 중 한가지 자극에 집중하여 사용자의 이진 의도를 분류하는 시스템이다. 본 시스템의 성능을 검증하기 위해서 5명의 일반인의 이진 의도가 실시간으로 분류 되었으며, 정보 전달율 (information transfer rate: ITR)은 10.83 bit/min였다. 본 시스템을 사용하여 1명의 LIS 환자에게 설문 실험을 수행한 결과 80 %의 분류 정확도 (ITR: 2.78 bits/min)로 환자의 이진 의도를 실시간으로 분류하는 것을 확인할 수 있었다. 본 연구는 눈을 감은 상태의 중증 LIS 환자에게 SSVEP 기반의 BCI 시스템을 적용한 최초의 사례이며, 실험 결과를 통해 눈의 움직임마저 제한적인 중증 LIS 환자를 대상으로 하는 본 시스템의 적용 가능성을 확인하였다. 마지막으로, 본 저자는 앞선 두 시스템의 개발 과정에서 얻은 교훈을 토대로 24시간 보호자의 도움이 필요한 중증 LIS 환자를 위하여 SSVEP 기반의 뇌 스위치 (brain switch)를 활용한 보호자 호출 시스템을 개발했다. 본 시스템은 환자 자신이 원하는 때에 모니터 상에 제시되는 시각 자극을 일정 시간 동안 응시하는 것만으로 보호자를 호출 할 수 있으며, 환자의 피로감을 최소화 할 수 있도록 기존에 주로 사용 되던 체스판 패턴의 시각 자극이 아닌 색체 시각 자극을 사용하였다. 5명의 일반인을 대상으로 시스템 성능을 검증하였으며, 실험 결과 기존의 체스판 패턴의 시각 자극과 비교하여 사용자가 느낄 수 있는 피로도와 성능 면에서 본 연구에서 제안한 색체 시각이 더 뛰어남을 확인 할 수 있었다. 또한, 2명의 중증 LIS 환자를 대상으로 하여 실험을 수행한 결과, 각 평균 7초, 6.67초만에 보호자를 호출 하는 것을 확인 하였다. 추가적으로, 1명의 환자를 대상으로 검사-재검사 신뢰성 실험을 수행한 결과, 첫날 선정한 시스템 변수 값을 이용하여 4주 동안 시스템을 안정적으로 사용할 수 있다는 것을 확인하였다. 이상으로, 본 학위 논문에서는 SSVEP에 기반한 실용적인 3 종류의 BCI 시스템을 개발하여 중증 LIS 환자에게 적용하였으며, 실험 결과를 통해 본 시스템의 사용 가능성을 확인할 수 있었다. 본 연구 결과가 중증 LIS 환자들의 삶의 질 향상에 도움이 되길 기대하는 바이다.; Although the feasibility of brain-computer interface (BCI) systems based on steady-state visual evoked potential (SSVEP) has been extensively investigated, only a few studies have evaluated its clinical feasibility in patients with locked-in syndrome (LIS), who are the main targets of BCI technology. The main objective of this dissertation was to develop 3 types of SSVEP-based practical BCI systems which considered the patients’ needs, different visual functions, and fatigues, and to test for patients in a severe LIS who have impaired ocular motor functions to demonstrate the feasibility of the SSVEP paradigms. To this end, the author first implemented a four-class online SSVEP-based BCI system for environmental control and communication system. This system could be used for LIS patients who could move their eyes a little, and three patients with severe ALS participated in the online experiments. In the experimental results, all three patients showed clear and distinct SSVEP responses at all four fundamental stimulation frequencies, and responses at harmonic frequencies were also observed in two patients. Mean classification accuracy was 72.30% (chance level = 25%). The test-retest reliability experiments demonstrated stable performance of the BCI system over different days even when the initial parameters set at the first experiment were used without a new parameter calibration. These experimental results suggest that SSVEP-based BCI paradigms might be successfully used to implement clinically feasible BCI systems for severely paralyzed patients. Secondly, the author introduced a new paradigm for SSVEP-based BCI, which can be potentially suitable for disabled individuals with impaired oculomotor function for yes/no communications. The proposed BCI system allows users to express their binary intentions without needing to open their eyes. In the online experiments, binary intentions of five healthy participants were classified in real time, and the average information transfer rate of the online experiments reached 10.83 bits/min. Moreover, online experiment conducted with an LIS patient showed a classification accuracy of 80%. The results of these experiments demonstrated the feasibility of the proposed SSVEP-based BCI paradigm. It is expected that the ‘eyes-closed’ SSVEP-based BCI system can be potentially used for communication of disabled individuals with impaired oculomotor function. Lastly, the author developed an emergency call system for patients in a LIS using an SSVEP-based brain switch. The brain switch used a chromatic visual stimulus, which is less stimulating than conventional checkerboard-type stimuli. Patients who used this system could call their guardians by simply gazing at the flickering chromatic visual stimulus. To verify the feasibility of the emergency call system, five healthy participants and two patients with severe ALS took part in online experiments. The experimental results showed that the brain switch system with the chromatic visual stimulus outperformed the conventional system, which uses a checkerboard visual stimulus, in terms of both comfortability and BCI performance. The two patients with severe ALS successfully called their guardians to their bedsides in 7 and 6.67 seconds, respectively. Furthermore, additional experiments with one of these patients were performed to validate the test-retest reliability of the system and demonstrated that the emergency call system maintains fairly good performance even up to four weeks after the first experiment without renewing the initial calibration data. In summary, the author developed the 3 types of the SSVEP-based practical BCI systems to patients with LIS, from the experimental results, verifying the practicality of the BCI systems based on SSVEP paradigms. It is expected that these SSVEP-based BCI systems can improve the life’s quality of patient in an LIS.