Hybrid Brain-Computer Interface for Virtual Reality Applications Using Steady-State Visual-Evoked Potential and Electrooculogram-Based Eye Tracking

Abstract

Brain–computer interfaces (BCIs) based on electroencephalogram (EEG) have recently attracted increasing attention in virtual reality (VR) applications as a promising tool for controlling virtual objects or generating commands in a “hands-free” manner. Video-oculography (VOG) has been frequently used as a tool to improve BCI performance by identifying the gaze location on the screen, however, current VOG devices are generally too expensive to be embedded in practical low-cost VR head-mounted display (HMD) systems. In this study, I proposed a novel calibration-free hybrid BCI system combining steady-state visual-evoked potential (SSVEP)-based BCI and electrooculogram (EOG)-based eye tracking to increase the information transfer rate (ITR) of a nine-target SSVEP-based BCI in VR environment. Experiments were repeated on three different frequency configurations of pattern-reversal checkerboard stimuli arranged in a 3 × 3 matrix. When a user was staring at one of the nine visual stimuli, the column containing the target stimulus was first identified based on the user’s horizontal eye movement direction (left, middle, or right) classified using horizontal EOG recorded from a pair of electrodes that can be readily incorporated with any existing VR-HMD systems. Note that the EOG can be recorded using the same device for recording SSVEP, unlike the VOG system. Then, the target visual stimulus was identified among the three visual stimuli vertically arranged in the selected column using the extension of multivariate synchronization index (EMSI) algorithm, one of the widely used SSVEP detection algorithms. In the experiments with 20 participants wearing a commercial VR-HMD system, it was shown that both the accuracy and ITR of the proposed hybrid BCI (85.19% and 44.95 bit/min at 3 s window size) were significantly increased compared to those of the traditional SSVEP-based BCI in VR environment (70.37% and 32.21 bit/min in 3 s window size, p < 0.05).|뇌전도(EEG)를 기반으로 하는 뇌-컴퓨터 인터페이스(BCI)는 최근 가상 물체를 제어하거나 “핸즈프리” 방식으로 명령을 생성하는 유망한 도구로서 가상현실(VR) 어플리케이션에서 점점 더 많은 관심을 끌고 있다. VOG(Video-oculography)는 화면에서 눈동자의 위치를 식별하여 BCI 성능을 향상시키는 도구로 자주 사용되어 왔지만, 현재 VOG 장치는 일반적으로 비용이 높아 실용적인 저가 VR 헤드 마운트 디스플레이(HMD) 시스템에 내장할 수 없다는 단점이 있다. 본 연구에서는 VR 환경에서 9개 자극을 타겟으로 하는 SSVEP 기반 BCI의 정보 전송 속도(ITR)을 높여 성능을 향상시키기 위해, 정상상태 시각유발 전위(SSVEP) 기반 BCI와 안구전도(EOG) 기반 눈 추적을 결합한 새로운 트레이닝이 필요 없는 하이브리드 BCI 시스템을 제안하였다. 실험은 3x3 메트릭스로 배열된 반전 패턴 체커보드 자극의 세 가지 다른 주파수 구성에 대해 반복되었다. 사용자가 9개의 시각적 자극 중 하나를 응시할 때, 대상 자극이 포함된 열은 기존 VR-HMD 시스템과 쉽게 통합될 수 있는 전극 쌍에서 기록된 수평 EOG를 사용하여 분류된 사용자의 수평 안구 이동 방향(좌, 중앙, 또는 우)에 기초하여 처음 식별되었다. 여기서 주목해야 할 점은, EOG는 VOG 시스템과 달리 SSVEP 측정할 때와 같은 기기를 사용하여 측정할 수 있다는 것이다. 그 다음에는 널리 사용되는 SSVEP 분류 알고리즘 중 하나인 다변량 동기화 지수의 확장 버전 알고리즘(EMSI)을 사용하여 선택한 열에 위치하는 세 가지 시각적 자극 중 대상 자극을 식별하였다. 상용 VR-HMD 시스템을 착용한 20명의 참가자를 대상으로 한 실험에서, 제안된 하이브리드 BCI의 정확도와 ITR이 기존에 VR 환경에서 사용되었던 SSVEP 기반 BCI의 정확도와 ITR과 비교하여 유의미하게 향상된 것을 확인할 수 있다.