Development of an Online Home Appliance Control System for the Elderly Using Augmented Reality and an SSVEP-based Brain-Computer Interface

Abstract

뇌-컴퓨터 인터페이스(BCI) 기술은 노인을 위한 사용자 및 외부 환경을 연결하는 대안적 커뮤니케이션 채널로서 지난 수십 년간 활발하게 연구되어 왔다. 최근 정보통신 기술의 비약적인 발전에도 불구하고 다음과 같은 세 가지 한계로 인해 외부 장치 제어를 위한 노인 대상의 BCI 연구는 실용적인 수준의 성능을 달성하지 못하였다. i) 첫째, 낮은 신호 대 잡음비로 인해 BCI 시스템의 성능이 실생활에서도 사용이 가능할 정도로 충분히 높지 않았다. ii) 둘째, BCI 시스템의 주된 사용자는 주로 노인과 신체 장애인이지만 대부분의 BCI 시스템은 건강한 젊은이를 대상으로 평가되었다. iii) 셋째, 기존의 BCI 시스템의 분류 알고리즘들은 사용자의 정신 상태 변화에 취약했다. 본 학위 논문에서, 저자는 아래 세 가지의 연구를 통해 위에서 언급한 문제들을 극복하고자 하였다. 첫번째로, 저자는 안정적인 성능을 갖춘 BCI 시스템을 개발하기 위해 뇌파(EEG) 기반 BCI, 증강현실(AR) 그리고 사물인터넷(IoT) 기술을 통합함으로써 새로운 가전기기 제어 시스템을 구현했다. 빠르고 잡음에 강건한 BCI 시스템의 구현을 위해 정상 상태 시각 유발 전위(SSVEP) 기반의 BCI 패러다임을 채택하였다. 오프라인 실험에서 저자는 AR 환경에서 세 종류의 서로 다른 시각 자극의 성능을 비교하여 최적의 시각 자극을 결정하였고, 온라인 실험에서는 가전기기 3종의 실시간 제어를 통해 앞서 오프라인 실험에서 선정된 최적의 자극을 이용해 구현된 스마트 홈 시스템의 성능을 평가했다. 시각자극은 투사형 헤드 마운트 디스플레이(HMD)를 통해 제시되었고, 뇌파 분석을 통해 제어 명령을 분류한 뒤 IoT를 통해 가전제품으로 전달되었다. 오프라인 실험에서는 크기와 밝기가 함께 변화함으로써 다른 자극보다 효과적으로 SSVEP 반응을 유발시킨 별 모양의 확대/축소 자극(GSS)이 최적의 자극으로 선택되었다. 온라인 실험에서, 모든 사용자는 눈 깜박임 기반 스위치를 사용하여 원할 때 스스로 BCI 기반 제어 시스템을 켜거나 끌 수 있었으며, 지정된 모든 제어 과제를 성공적으로 수행하였다. SSVEP-BCI 기반 제어 시스템의 평균 분류 정확도는 92.8%였으며, 정보 전송 속도(ITR)는 37.4비트/분으로 나타났다. 제안된 시스템은 이전 연구들에서 보고된, HMD를 통해 시각자극을 제시하는 BCI를 사용한 외부 기기 제어 시스템들의 성능들을 모두 능가하는 우수한 성능을 보여주었다. 둘째, 저자는 시스템의 주 사용자를 대상으로 성능 및 사용성을 평가하기 위해 AR 환경에서 제시되는 시각 자극을 사용한 SSVEP 기반 BCI를 사용하여 실시간 가전기기 제어 시스템의 확장 버전을 개발하였고, 이를 65세 이상의 노인을 대상으로 평가하였다. 참가자들은 눈 깜박임 기반 스위치를 통해, 제안된 시스템을 자율적으로 조절하고 사용자의 선호도에 따라 세 가지 다른 방법으로 제어할 가전기기를 선택할 수 있었다. 온라인 실험에서, 모든 참가자는 가전제품 5종의 제어 임무를 성공적으로 완료하였으며 사용성 또한 허용 가능한 최소 수준을 만족하는 것으로 나타났다. 또한 제안된 실시간 가전기기 제어 시스템의 BCI 성능은 이전에 보고된 노인대상 BCI 시스템의 성능들을 능가하는 것으로 나타났다. 본 연구는 노인을 대상으로 AR 환경에서 BCI 기반의 실시간 가전기기 제어 시스템을 구현한 최초의 연구이다. 마지막으로 저자는 정신적 피로와 인지 부하에 의한 SSVEP 반응 변화를 조사했으며, 10가지 SSVEP 분류 알고리즘들의 정신 상태 변화에 의한 성능 및 강건성을 비교했다. 알고리즘 성능 비교 결과, FBCCA와 EMSI가 10개의 알고리즘 중 가장 높은 분류 정확도를 보였으며 이 중 FBCCA는 EMSI보다 상대적으로 높은 정확도를 보인 반면 EMSI는 FBCA보다 DR이 상대적으로 낮은 것으로 나타났다. 또한, 저자는 특정 정신 상태가 유발된 상태와 그렇지 않은 상태 사이의 정신 상태 지수의 비율을 기반으로 SSVEP 분류에 사용되는 뇌파 데이터의 시간 길이를 동적으로 조정하는 동적 창(DW) 방법을 제안하였다. 또한 제안된 비율에 따라 FBCCA와 EMSI를 선택적으로 사용하는 SSVEP 분류 전략을 제안하였고, 제안된 전략의 성능과 다른 SSVEP 분류 전략의 성능을 비교했다. 그 결과, DW 없이 FBCCA 또는 EMSI만 사용하는 전략은 6가지 전략 중 가장 낮은 성능을 보인 반면, FBCCA 또는 EMSI만을 사용하지만 DW를 추가로 사용하는 전략은 DW를 사용하지 않은 전략보다 높은 성능을 보였다. 본 연구에서 조사된 6가지 SSVEP 분류 전략 중에서, 제안된 FBCCA와 EMSI를 선택적으로 사용하면서 DW까지 사용한 전략이 가장 높은 분류 정확도를 보여주는 것으로 나타났다. |Brain-computer interface (BCI) technology has been actively investigated over the past decades, as an alternative communication channel to bridge the user and the external environment for the elderly. Despite of the recent advances in information and communications technologies, no BCI studies for external device control have achieved a practical level of performance with the elderly, due to the three following limitations: i) First, the performance of the BCI systems were not sufficiently high for utilization in practical scenarios, owing to the low signal-to-noise ratio. ii) Second, although the designated target users of the BCI systems are mainly the elderly and people with physical disabilities, most of the BCI systems have been evaluated with healthy young population. iii) Third, the classification algorithms for BCI systems were vulnerable to the mental state changes of the user. In this dissertation, the author performed three studies to overcome the abovementioned issues. First, to develop a BCI system with a reliable performance, the author implemented a new home appliance control system by combining electroencephalography (EEG)-based BCI, augmented reality (AR), and internet of things (IoT) technologies. A steady-state visual evoked potential (SSVEP)-based BCI paradigm was adopted for the implementation of a fast and robust BCI system. In the offline experiment, the author compared the performances of three BCIs adopting different types of visual stimuli in an AR environment, to determine the optimal visual stimulus. In the online experiment, the author evaluated the feasibility of the proposed smart home system using the optimal stimulus by controlling three home appliances in real time. The visual stimuli were presented on a see-through head-mounted display (HMD), while the recorded brain activity was analyzed to classify the control command, and the home appliances were controlled through IoT. In the offline experiment, a grow/shrink stimulus (GSS) consisting of a star-shaped flickering object of varying size was selected as the optimal stimulus, eliciting SSVEP responses more effectively than the other options. In the online experiment, all users could turn the BCI-based control system on/off whenever they wanted using the eye-blinking-based electrooculogram (EOG) switch, and could successfully perform all the designated control tasks without difficulty. The average classification accuracy of the SSVEP-BCI-based control system was 92.8%, with an information transfer rate (ITR) of 37.4 bits/min. The proposed system exhibited an excellent performance, surpassing the best results reported in previous studies regarding external device control based on BCI using an HMD as rendering device. Second, to evaluate the performance and usability with the primary target user, the author developed an extended version of online home appliance control system, using an SSVEP-based BCI with visual stimulation in an AR environment, and performed experiments to evaluate the developed BCI system with the people with age over 65. The participants could self-regulate the proposed system through an eyeblink-based switch, and select devices to control with three different selection methods depending on the user’s preference. In online experiment, all participants were able to successfully complete the control tasks of five home appliances, and the investigated usability also satisfied the minimum requirement level. Furthermore, the BCI performance of the proposed online home appliance control system surpassed the best results of previously reported BCI systems for older adults. To the best of our knowledge, this is the first study that realized an online home appliance control system for the elderly using BCI system in an AR environment. Finally, the author investigated the SSVEP response changes by mental fatigue and workload, and also compared the performance and the robustness to the mental state changes of 10 different SSVEP classification algorithms. The comparison results of the algorithm performances showed that FBCCA and EMSI showed the highest classification accuracy among the 10 algorithms, of which FBCCA showed relatively higher accuracy than EMSI, while EMSI showed relatively lower DR than FBCCA. The author then proposed a method called dynamic window (DW), to dynamically adjust the time length based on the ratio between the mental state indices in the mental state sessions and the control session. Moreover, the author proposed an SSVEP classification strategy that selectively employs FBCCA and EMSI depending on the proposed ratio. Then, the author compared the performance of the proposed strategy with the performance of other SSVEP classification strategies. As a result, the strategies using only FBCCA or EMSI without DW showed the lowest performance among all six strategies, while the strategies using only FBCCA or EMSI with DW showed the higher performance than those without DW. Among all six SSVEP classification strategies investigated in the present study, the proposed strategy selectively using FBCCA and EMSI with DW showed the best classification accuracy. In summary, the author developed a BCI system to control home appliances with reliable performance, evaluated the performance of a BCI system with the elderly, and developed a new SSVEP classification strategy adaptive to mental state changes. It is expected that the proposed home appliance control system can provide the elderly with freedom from being cared for, thereby elevating their quality of life.