Early Diagnosis of Alzheimer’s Disease using Multimodal Fusion Deep Neural Network

Abstract

알츠하이머병 (Alzheimer’s disease, AD) 은 65세 이상의 사람들에게 가장 흔한 치매의 일종이다. 알츠하이머병에 대한 치료법이 없기 때문에 조기 진단이 더욱 중요해지고 있으며, 이를 위해 경도 인지 장애 (Mild Cognitive Impairment, MCI) 를 가진 환자들을 몇 년 이내에 알츠하이머병으로 진행될 진행형 경도인지장애 (progressive MCI) 그룹과 상태를 유지하는 안정형 경도인지장애 (stable MCI) 라는 두 개의 하위그룹으로 분류하는 것이 매우 바람직하다. 본 연구는 다중 모달리티 데이터인 구조적 자기 공명 영상 (magnetic resonance imaging, MRI), 포도당 양전자 방출 단층 촬영(Fluoro-2deoxy-D-glucose PET, 18F-FDG-PET) 영상, 인구통계학, 신경심리학, 그리고 단일 뉴클레오티드 다형성(single nucleotide polymorphism, SNP) 데이터를 기반으로 알츠하이머 치매 조기 진단을 위한 분류 아키텍처를 개발하여 pMCI와 sMCI를 분류하는 것을 목표로 한다. 우리는 ADNI-2 피험자 총439명의 데이터를 사용하였고, 이는 AD 진단자 100명, pMCI 진단자 71명, sMCI 진단자 121명, 그리고 정상군(Normal Control, NC) 147명으로 구성되었다. 우리는 MRI 영상의 특징들을 좌표 공간에 기초하여 PET 영상의 특징들과 연결하기 위해 데카르트 좌표 정보를 추가하였다. 우리가 제안한 다중 모달 융합 심층 신경망은 네 가지 유형의 입력 데이터 (MRI, PET, 좌표 정보, 그리고 SNP을 포함한 임상 정보)들을 결합하고 그들의 상호 보완적인 정보를 추출한다. 또한, 우리는 심층 신경망 모델 훈련 과정에서 AD와 pMCI 그룹의 라벨을 0으로, NC & sMCI 그룹의 라벨을 1로 지정하여 묶인 그룹에서의 공통적인 내재된 특징을 공유하고 학습에 반영한다. 우리는 모델을 평가하기 위해 계층별 교차 검증 방법을 사용하여 10번 반복하였다. 평가는 훈련 데이터 세트와 독립된, pMCI와 sMCI만으로 구성된 테스트 데이터 세트를 사용하여 수행되었다. 우리는 4종류의 입력 스트림으로 훈련하는 동안 0.983의 수신기 작동 특성 (Receiver Operating Characteristic, ROC) 곡선 아래 평균 면적(Area Under the Curve, AUC) 0.958, 예측 정확도 0.958, 민감도 0.957, 특이도 0.958인 매우 높은 예측 성능을 달성하였다. 전반적으로 좌표 정보 XYZ을 포함하지 않은 분류 결과와 비교했을 때, 좌표 정보 XYZ을 포함한 분류 결과는 입력 스트림에 FDG-PET가 포함된 경우를 제외하고 일반적으로 더 좋은 성능을 보였다. 또한 pMCI 및 sMCI 데이터만을 이용한 모델 학습과 비교하여, AD, pMCI, sMCI 그리고 NC 데이터를 사용한 제안된 방법은 훈련 데이터 셋을 증가시킬 뿐 아니라 같은 라벨에 속한 그룹들의 내재된 특징을 공유하며 모델을 학습시킴으로써 더 우수한 결과를 보여주었다. 본 논문을 기반으로 하여 알츠하이머 병에 대한 컴퓨터 보조 조기 진단 방법을 제공할 수 있다.|Alzheimer's disease (AD) is the most common form of dementia for people over 65 years old. As there is no cure for AD, early diagnosis is becoming more important and it is also highly desirable to further classify mild cognitive impairment (MCI) subjects into two subgroups, that is, progressive MCI (pMCI) that will progress to AD, and stable MCI (sMCI) that will remain stable. This study aims to develop a classification architecture for early diagnosis of Alzheimer’s dementia, based on the multi-modality data (structural MRI, 18F-FDG-PET images as well as demographic, neuropsychological, and single nucleotide polymorphism (SNP) data to classify between pMCI and sMCI. We used 439 ADNI-2 subjects, 100 were diagnosed with AD, 71 of them were labeled as pMCI, and 121 were sMCI, and 147 subjects were NCs. We added Cartesian coordinate information to associate MRI image features with PET image features based on their coordinate space. Our proposed multimodal fusion deep neural network combines the 4 types of input modalities and extracts their complementary information. Furthermore, we assigned a label AD & pMCI group with 0 and NC & sMCI group with 1, to share their common immanent feature in training process. We employed the stratified 10-fold cross-validation method to evaluate our models. Evaluation was performed using test dataset consisting of pMCI and sMCI. We achieved a very high predictive performance with an average area under the receiver operating characteristic (ROC) curve of 0.983, prediction accuracy of 0.958, sensitivity of 0.957 and specificity of 0.958, while training with 4 types of input streams. Overall, as compared with the classification evaluation results without XYZ, the results with XYZ generally showed better results except the input modalities of FDG-PET. Overall, our proposed method (using 4 type of class) showed better results, compared to training only with pMCI and sMCI data, and therefore may provide a solution for computer-aided early diagnosis of Alzheimer’s disease.; Alzheimer's disease (AD) is the most common form of dementia for people over 65 years old. As there is no cure for AD, early diagnosis is becoming more important and it is also highly desirable to further classify mild cognitive impairment (MCI) subjects into two subgroups, that is, progressive MCI (pMCI) that will progress to AD, and stable MCI (sMCI) that will remain stable. This study aims to develop a classification architecture for early diagnosis of Alzheimer’s dementia, based on the multi-modality data (structural MRI, 18F-FDG-PET images as well as demographic, neuropsychological, and single nucleotide polymorphism (SNP) data to classify between pMCI and sMCI. We used 439 ADNI-2 subjects, 100 were diagnosed with AD, 71 of them were labeled as pMCI, and 121 were sMCI, and 147 subjects were NCs. We added Cartesian coordinate information to associate MRI image features with PET image features based on their coordinate space. Our proposed multimodal fusion deep neural network combines the 4 types of input modalities and extracts their complementary information. Furthermore, we assigned a label AD & pMCI group with 0 and NC & sMCI group with 1, to share their common immanent feature in training process. We employed the stratified 10-fold cross-validation method to evaluate our models. Evaluation was performed using test dataset consisting of pMCI and sMCI. We achieved a very high predictive performance with an average area under the receiver operating characteristic (ROC) curve of 0.983, prediction accuracy of 0.958, sensitivity of 0.957 and specificity of 0.958, while training with 4 types of input streams. Overall, as compared with the classification evaluation results without XYZ, the results with XYZ generally showed better results except the input modalities of FDG-PET. Overall, our proposed method (using 4 type of class) showed better results, compared to training only with pMCI and sMCI data, and therefore may provide a solution for computer-aided early diagnosis of Alzheimer’s disease.