Predicting Epileptic Seizures Using ResNet-LSTM Hybrid Model with Supervised Contrastive Pretrained Model

Abstract

뇌전증 발작은 불규칙적으로 발생하며 환자 본인이 느끼는 전조 증상은 불확실한 특징을 가진다. 또한 모든 환자에서 동일하게 발생하지 않기 때문에 정확한 발병 시기를 예측하기 어렵다. 이러한 예측 불가능함으로 인해 뇌전증 환자들은 사회 활동이 제한됨과 동시에 외상과 위험에 노출되어 환자의 삶의 질을 저하시킨다. 이와 같은 이유로 뇌전증 발작 관련 연구는 발작 탐지를 시작으로 현재는 발작 예측 분야의 연구가 활발하게 이루어지고 있다. 본 논문에서는 발작 예측을 위해 일반적으로 사용되는 EEG 데이터를 사용하였고, 딥러닝 방법을 적용하여 수행하였다. 데이터 기반의 지도 학습의 경우, 성능은 데이터의 양, 모델 및 데이터의 특징에 크게 영향을 받는다. 따라서 EEG 단점인 pre-ictal과 inter-ictal 간의 class imbalance, 적은 임상 데이터, 복잡하고 불규칙하여 데이터 분석의 어려움 이라는 3가지 문제점을 보완하여 높은 민감도와 낮은 FPR을 얻는 방법을 제안한다. 제안 방법은 pre-processing, pre-training, training 세 단계로 구성된다. 먼저 전처리 과정에서, EEG data의 복잡하고 불규칙적인 특징으로 인한 데이터 분석의 어려움을 보완하기 위해 STFT를 이용하여 x축은 시간 y축은 주파수 정보를 갖는 spectrogram 이미지로 변환하였다. 학습 데이터의 inter-ictal과 pre-ictal 사이의 불균형을 해결하기 위해 동일한 길이의 inter-ictal을 데이터로 추출하였다. 다음 pre-training 과정으로, band-stop filter와 temporal cutout을 이용하여 기존의 데이터를 augmentation 했고, augmented 된 데이터를 ResNet과 supervised-contrastive loss로 구성된 모델로 pre-training하여 spectrogram image의 representation을 학습하였다. training과정으로, Pre-trained 된 모델의 weight 값으로 초기화 된 ResNet과 LSTM을 결합한 hybrid모델을 통하여 이미지의 특징과 시계열 정보를 추출 하였다. 제안 모델의 검증을 위해 CHB-MIT와 SNUH dataset을 사용하였고, cross-validation을 적용해 일반화 성능을 확인하였다. 정확도, 민감도, FPR을 측정한 실험 결과, CHB-MIT는 91.26%, 89.17%, 0.066, SNUH는 79.89%, 86.86%, 0.131 의결과를 얻었다. |Epileptic seizure is a disease with a high risk of brain damage and trauma due to seizures because patients or medical staff cannot predict it. To provide patients with stability, it is vital to research seizure predictions that can be anticipated and ready for ahead of time. In this paper, we propose a method for predicting epileptic seizures using a pre-trained model utilizing supervised contrastive learning and a hybrid model combining Residual Networks (ResNet) and Long Short-Term Memory (LSTM). The proposed training method includes three phases: pre-processing, pre-training as a pretext task, and training as a downstream task. In the pre-processing phase, Short Time Fourier Transform (STFT) was used to convert the data into a spectrogram image with time and frequency information to compensate for the complexity and irregularity of the Electroencephalography (EEG) data, which made data analysis difficult. In the pre-training phase, band-stop filter and temporal cutout were applied to the original data to create augmented data, which were then pre-trained with a ResNet and supervised contrastive loss model to train the representation of the spectrogram image. During the training phase, image features and time information were extracted from a hybrid model consisting of ResNet initialized with weight values of a pre-trained model and LSTM. CHB-MIT and Seoul National University Hospital (SNUH) were used to validate the proposed method, and generalization performance was confirmed using Leave-one-out cross-validation. From the experimental results measuring accuracy, sensitivity, and False Positive Rate (FPR), CHB-MIT was 91.90%, 89.64%, 0.058 and SNUH was 83.37%, 79.89%, and 0.131. The experimental results demonstrate that the proposed method outperforms the conventional methods.