377 0

인간 운동 제어의 과제 중심 심층 강화 학습 모델을 이용한 fMRI 연구

Title
인간 운동 제어의 과제 중심 심층 강화 학습 모델을 이용한 fMRI 연구
Other Titles
fMRI study using task-driven deep reinforcement learning models of human motor control
Author
임종혁
Alternative Author(s)
Lim, Jong Hyuk
Advisor(s)
김성신
Issue Date
2022. 8
Publisher
한양대학교
Degree
Master
Abstract
최근 몇 년 동안 인공지능 기술을 활용하여 뇌 데이터를 분석하려는 시도가 늘어나고 있다. 그러나 대다수의 연구는 시각 정보 처리과정과 의사결정에 집중되어있다. 본 연구는 인간 운동 제어의 신경기전을 이해하기 위해 인공지능을 적용하는 것을 목표로 하였다. 이를 위해 본 연구에서는 피험자가 움직이는 타겟을 조이스틱으로 따라가는 fMRI 실험을 고안하였고 피험자가 수행하는 동일한 운동 과제를 심층 강화학습 모델에 학습시켰다. 인식에서부터 행동에 이르는 인간 뇌의 인지 과정을 설명하기 위해, 원본 픽셀 이미지를 심층 강화학습에 입력하여 연속적인 행동을 출력하였다. 구체적으로 본 연구에서 심층강화학습은 합성곱 신경망(convolutional neural network)과 Twin-delayed deep deterministic policy gradient(TD3) 알고리즘을 결합한 구조를 가진다. 심층 강화학습을 성공적으로 인간의 운동 제어를 모방하도록 학습시킨 후, 학습되지 않은 모델과 달리 뇌 데이터와 관련된 정보를 잘 예측하는지 분석하였다. 처음 단에서 마지막 단으로 갈수록 학습된 모델의 내부 표현은 픽셀 데이터와는 점점 상이해졌고, 과제와 관련된 추상적인 정보인 타겟과 커서의 움직임 정보와는 유사해졌다. 그러나, 학습되지 않은 모델에서는 이러한 경향성을 보이지 않았다. 또한, Voxelwise Encoding Model(VM)을 이용하여, 학습된 모델의 내부 정보가 학습되지 않은 모델의 내부 정보보다 fMRI 데이터를 잘 예측함을 보였다. 더욱이, 표현 유사 분석(Representational Similarity Analysis)을 통해 학습된 모델이 학습되지 않은 모델보다 fMRI의 공간 패턴과 유사도가 더 높았음을 확인하였다. 결론적으로, 본 연구를 통해 심층 강화학습 모델이 인간 운동 제어의 신경기전을 설명할 수 있음을 보였다.| Recent years have seen a growing number of studies employing artificial intelligence(AI) techniques to analyze brain data. However, most of them have concentrated on visual information processing and decision-making. The current study aims to apply AI to understand the neural basis of human motor control. For this, we first create an fMRI experiment in which human participants track a moving target using a joystick in the scanner. Next, we developed a deep reinforcement learning(DRL) model simulating the same motor task performed by the human participants. The model takes raw pixel inputs from images and generates continuous motor action to account for the entire cognitive process of humans, from perception to action. Specifically, it combines a convolutional neural network (CNN) and a twin-delayed deep deterministic policy gradient algorithm(TD3). We successfully trained the model simulating the human motor control and then tested whether the trained model predicts the neural responses. From the first to the last layers, the internal representation of the trained model becomes more dissimilar to the pixel data but more similar to task-related and more abstract features, target and cursor kinematics. The untrained model, however, did not show these trends. We also used the Voxel-wise Encoding Model(VM) and demonstrated that the internal representations of the trained model better predicted the fMRI data than the untrained model. Furthermore, representational similarity analysis(RSA) revealed that the trained model showed higher similarity to the spatial pattern of fMRI data than the untrained model. In sum, we showed that the deep reinforcement learning model would be an excellent candidate for understanding the neural basis of human motor control.
URI
http://hanyang.dcollection.net/common/orgView/200000629119https://repository.hanyang.ac.kr/handle/20.500.11754/174149
Appears in Collections:
GRADUATE SCHOOL[S](대학원) > DEPARTMENT OF INTELLIGENCE COMPUTING (인텔리전스컴퓨팅학과) > Theses (Master)
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML


qrcode

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

BROWSE