Mechanism of Brain Circuits related to the Presence in Communication with an Avatar through the Virtual Reality

Abstract

가상현실은 감각기관에 전달하는 정보를 조작하여 가상의 경험을 피험자에게 제공하고, 사람은 가상현실에서 제공하는 감각적인 정보를 뇌에서 통합하여 상황을 판단한다. 그러한 판단을 통해 가상현실이 얼마나 실제와 같은지 아닌지 지각하고 판단하게 된다. 이렇게 어떤 특정한 또는 이해할 수 있는 장소에 존재한다고 생각하는 인간의 지각상태를 나타내는 요소를 ‘현존감’이라고 한다. 가상의 환경을 사용자가 실제처럼 느끼고 그 내용을 받아들이도록 하는 것은 중요한 목표이다. 또한 현존감은 가상현실에서 경험하게 되는 여러 가지 감각적인 정보들을 통하여 느끼는 종합적인 느낌을 반영한다. 따라서 여러 가지 감각적인 정보들을 통합하는 과정에서 현존감과 관련된 뇌의 메커니즘이 존재할 것이다. 현존감은 매체를 통한 정보전달 시, 매체에서 전달되는 여러 가지 정보나 자극에 대한 사용자의 지각 및 인식과 중요한 관련이 있기 때문에 현존감의 정도는 개인이 지각하는 정보의 명확성에 영향을 준다. 이를 알아보기 위해서 사회적인 상황에서의 명확성의 차이를 가지는 내용을 아바타를 통해 전달하고 피험자가 그 내용을 바탕으로 추론해보는 가상현실을 구성하였다. 그리고 피험자가 전달받은 내용을 바탕으로 추론하는 동안 뇌 영역 활성화의 차이와 가상현실에 대한 현존감 점수가 관련된 뇌 영역을 알아보았다. 실험 결과 우측 혀이랑, 좌측 혀이랑, 우측 방추상이랑, 좌측 하측두이랑, 전대상피질 그리고 우측 후대상피질에서 유의미한 양의 상관관계가 있었다. 정신분열병 환자군에서는 정상군에서 현존감과 관련이있는 것으로 나타났던 뇌 영역들에서 정상군과 다른 상관관계를 보였다. 특히, 좌측 하측두이랑과 시각관련 영역들의 연결이 나타나지 않았다. 본 연구는 가상현실을 통한 정보의 전달 시 현존감의 영향을 뇌 기능영상 촬영을 통해서 내부 메커니즘의 측면에서 살펴보았다는 것에 의의가 있다.; Virtual reality (VR) provides a virtual experiment (VE) context consisting of information presented to the senses of the user. The user perceives and interprets the VE context, and then naturally recognizes a level of realism in the VE. Presence is often thought of as the sense of 'being there' in the VE. Presence includes overall feelings about the information conveyed from a virtual avatar to the user. Therefore, there must be brain mechanisms for integrating sensory information about presence. 'Feeling of presence' is related with the user's cognition and perception about information on communication through medium. Thus 'feeling of presence' may characterize perceptual mechanisms in the brain. We studied these mechanisms by presenting a VR that consisted of an avatar telling a story about a social conversation. We performed covariance analysis on subjective brain activity (fMRI) during the story presentation with a presence score. The data analysis revealed that activity in several brain areas was correlated with the presence score. A positive correlation was shown in the right lingual gyrus, right cuneus, left lingual gyrus, right fusiform gyrus, left inferior temporal gyrus, anterior cingulate cortex and right posterior cingulate cortex of the brain. These circuits divided two circuits, one circuit included the left lingual gyrus, right PCC and right fusiform gyrus and the other included the right cuneus, left ITG and ACC. Patients with schizophrenia group have different in correlation among ROIs that correlated with presence in normal group. Particularly, ITG and visual association areas connection is disconnected. This fMRI study reveals the idea that the brain mechanism about the presence during communication with an avatar through the medium of VR.