Deep-Learning-Based Geriatric Disease Screening Using Skeleton Data from Neurologic Examination Videos

Abstract

According to the Korea Institute for Health and Social Affairs, in 2017, the elderly aged 65 or older had an average of 2.7 chronic diseases, and in addition, blind spots for medical welfare for the elderly are increasing due to low birth rate, aging, and the lack of medical personnel. The need to provide services considering user age, cognitive ability, and difficulty is growing. Accordingly, the need for a smart healthcare platform that can reduce hospital visits and provide customized care of patients increasing. This motivates us to develop an AI system that can easily screen and manage geriatric disease through videos. Motivated by the fact that geriatric diseases can be diagnosed via visual analysis to some extent, in this paper, we aim to estimate the possibility of a person having a geriatric disease from videos. The overall procedure for the proposed method consists of three steps: (1) transforming neurological examination videos to landmark data, (2) converting the landmark data to recurrence plots, and (3) estimating the possibility of a geriatric disease using deep neural networks. Major features, such as hand, face, pupil, and body, of a person are extracted from test videos took under several neurological examination protocols using deep-learning-based landmark extractors. The sequences of these landmark data are then converted to recurrence plots which can be interpreted as images. These images can be fed into convolutional neural networks to classify the geriatric disease using feature fusion techniques. Experiments show a case study of a disease screening test to examine the proposed method’s capability.|한국보건사회연구원에 따르면 2017년, 65세 이상 노인은 평균 2.7개의 만성 질환을 가진 것으로 조사되었고, 이에 더해 저출산·고령화·의료인력 부족 등으로 노인 의료복지 사각지대가 늘어나고 있다. 이용자 연령, 인지능력, 난이도 등을 고려한 서비스 제공 필요성이 커지고 있다. 이에 따라 병원 방문을 줄이고 환자 맞춤형 진료를 제공할 수 있는 스마트 헬스케어 플랫폼의 필요성이 높아지고 있다. 이는 우리가 영상을 통해 노인성 질환을 쉽게 선별하고 관리할 수 있는 AI 시스템을 개발하도록 원동력이 된다. 본 논문에서는 노인성 질환이 시각적 분석을 통해 어느 정도 진단될 수 있다는 사실에 영감을 얻어 동영상에서 사람이 노인성 질환을 가지고 있을 확률을 추정하고자 한다. 제안된 방법의 전반적인 절차는 (1) 신경학적 검사 비디오를 랜드마크 데이터로 변환하고, (2) 랜드마크 데이터를 Recurrence Plot으로 변환하고, (3) 심층 신경망을 사용하여 노인성 질환의 가능성을 추정하는 방식의 세 단계로 구성된다. 사람의 손, 얼굴, 동공 및 신체와 같은 주요 특징은 딥 러닝 기반 랜드마크 추출기를 사용하여 여러 신경학적 검사 프로토콜에 따라 찍은 테스트 비디오에서 추출된다. 그런 다음 이러한 랜드마크 데이터의 시퀀스는 이미지로 해석될 수 있는 Recurrence Plot으로 변환된다. 이러한 이미지는 특징 융합 기술을 사용하여 노인성 질환을 분류하기 위해 컨볼루션 신경망에 입력으로 주어진다. 실험은 제안된 방법의 능력을 검사하기 위한 질병 선별 테스트의 사례 연구를 제시한다.