Frameworks for Embodied Mind: HCI Methodologies for Body Perception, Emotion, and Social Interaction

Abstract

가상현실(Virtual Reality; VR)은 사람의 마음에 대한 평가 및 치료 도구로써 다양한 정신질환 분야에 활용되고 있다. 이러한 스스로의 마음에 대한 지각적, 감정적, 사회적 변화를 야기하기 위한 주요 요소는 체화(embodiment)이다. 따라서 기존 연구들은 체화의 구성요소인 신체 소유감(body ownership), 동작 소유감(agency) 및 위치 일치감(self-location)을 만족시킴으로써 신체 지각, 감정, 사회적 상호작용과 같은 체화된 마음(embodied mind) 요소를 조절하는 방법론을 제안하였다. 이러한 기존 연구들에서 영감을 받아, 본 연구에서는 가상 아바타의 신체(챕터 3) 및 휴머노이드 로봇의 신체(챕터 6)에 대하여 체화의 구성요소를 모두 충족함으로써 체화를 형성할 수 있는 VR 프레임워크를 구축하고자 한다. 그리고 총 169명의 피험자를 모집하여 체화 요소들 간의 상호작용 효과(챕터 3), 신체 지각에의 체화의 효과(챕터 4), 체화와 감정 간의 양방향 효과(챕터 5), 그리고 사회적 원격 상호작용에의 체화의 효과(챕터 6)에 대해 다루었다. 챕터 3에서 피험자들은 3D-스캔한 얼굴과 신체사이즈를 동기화한 가상 아바타를 1인칭 시점으로 체험하였다. 결과를 통하여 가상 아바타의 움직임과 외형이 동일하였을 때 동작 소유감과 신체 소유감이 증가함을 확인하였다. 하지만, 위치 일치감, 임장감, 감정은 가상 아바타의 움직임에 의해서만 영향을 받았다. 흥미롭게도, 가상 아바타의 외모가 피험자와 유사한 실험 조건(personalized avatar)에서, 피험자들은 자신이 행하지 않았음에도 가상 아바타의 움직임에 대하여 동작 소유감을 형성하였다. 챕터 4에서는 변화하는 신체에 대한 지각능력을 측정하기 위하여 피험자들에게 모핑하는 가상 아바타의 신체를 경험하게 하였다. 결과를 통하여 높은 수준의 체화가 형성될 경우 신체 변화 지각능력이 저하되는 것을 확인하였다. 또한, 여성 참가자들이 남성 참가자들에 비하여 신체변화에 덜 민감하였다. 챕터 5에서는 체화된 움직임에의 감정의 영향 연구 및 감정에의 체화의 영향 연구가 진행되었다. 첫 번째 연구에서 우리는 모셥 캡쳐 데이터를 사용하여 각 감정상태와 연관된 신체 움직임을 각 신체부위의 활성화/비활성화 정도로 시각화 하는 방법론을 제안하였다. 그리고 신체에 대한 감각 및 신체 움직임을 통해 드러나는 감정적 특징점들을 비교하였다. 결과를 통하여 신체움직임이 각 감정상태를 구분할 수 있는 감정적 특이점을 보유하고 있음을 확인하였다. 또한, 행복한 감정 하에서의 신체 감각 및 신체 움직임 간의 유사도가 정신병리학적 증상 간의 경향성을 암시할 수 있음을 확인하였다. 더 나아가, 본 연구에서 제안하는 컨볼루션 신경망 기반의 자동 감정 지각 시스템이 사람의 감정 지각능력보다 뛰어남을 확인하였다. 두 번째 연구에서 피험자들은 다양한 감정의 가상 아바타를 경험하였다. 결과를 통하여 피험자들이 높은 수준의 체화 조건에서 긍정적 감정상태를 형성할 뿐만 아니라, 이렇게 형성된 감정상태를 가상 아바타의 감정상태에 따라 추가적으로 조절할 수 있음을 확인하였다. 마지막으로 챕터 6에서는 원격지의 휴머노이드 로봇에 대한 전신 체화를 형성할 수 있는 물리적 전송(physical beaming) 시스템을 개발하였다. 그리고 피험자들은 다양한 제어성(controllability) 조건에서 방문자와 현지인의 역할을 통해 사회적 원격통신 상황을 경험하였다. 결과를 통하여 방문자의 원격통신에 대한 경험에 대한 주관적 보고는 체화 제어성의 정도에 따라 점진적으로 증가하는 반면, 현지인은 체화 제어성에 영향을 받지 않는 것을 확인하였다. 하지만, 피험자들의 감정, 언어적 및 행동적 의사소통에서는 두 방문자와 현지인 간에 동기화 현상을 보이는 것을 확인하였다. 우리는 본 연구에서 제안하는 방법론들이 향후 행동 치료, 오락 어플리케이션 및 디지털 헬스케어 분야(특히나 섭식장애, 우울, 조현병 등의 정신질환 연구)에 응용될 수 있을 것으로 기대한다. | Virtual reality (VR) has been widely used in the fields of digital healthcare as a platform for assessment and treatment toward human mind. The key element for eliciting perceptual, emotional, social changes related to one’ mind is known as embodiment. Thus, prior studies have developed various methods of manipulating embodied mind aspects of body perception, emotion, and social interaction through fulfilling embodiment subcomponents of body ownership, agency, and self-location. Motivated by prior studies, the current thesis aims to establish a VR framework that can satisfy embodiment components to make user to facilitate embodiment toward virtual avatar’s body (chapter 2) as well as humanoid robot’s body (chapter 6). And total of 168 participants were recruited to address the interaction effect between embodiment components (chapter 3), the effect of embodiment on body perception (chapter 4), the bidirectional effect between embodiment and emotion (chapter 5), and the effect of embodiment on social telecommunication (chapter 6). In chapter 3, participants experienced their virtual avatars with 3D-scanned face and size-matched body from a first-person perspective. The results indicate that agency and body ownership increased when motion and appearance were matched. Whereas self-location, presence, and emotion were affected by motion only. Interestingly, if the avatar’s appearance was similar to the participants (personalized avatar), they formed an agency toward the avatar’s motion that was not performed by themselves. In chapter 4, participants experienced a morphing virtual avatar’s body to address body perception toward size-changing body. The results indicate that a participant’s body change recognition was weak with the strong embodiment. In addition, female participants were less sensitive than male participants. In chapter 5, two studies of emotional effect on embodied motion, and effect of embodiment on emotion was conducted. In study 1, we proposed a visualization method for addressing body part activation or deactivation associated with different emotions using motion capture data. And compared emotional features shown through bodily sensations and body motion under emotional status. The results indicate that one’s body motions contain features that can discriminate between emotions. And the similarity between bodily sensation and body motion under happy emotions implies a tendency for psychopathological symptoms. Furthermore, convolutional neural network (CNN)-based autonomous emotion recognition outperforms human emotion recognition. In study 2, participants experienced virtual avatar with various emotional status. The results indicate that not only participants facilitate more positive emotion under higher embodiment, but also their emotion can be further modulated through the emotional status of the virtual avatar. Finally in chapter 6, a physical beaming system that provides full-body embodiment toward remote humanoid robot was developed. And participants experienced a social telecommunication as roles of both visitor and local with different levels of controllability. The results suggested that the subjective reports on the telecommunication experience of the visitors were generally controlled in a stepwise manner depending on the level of embodiment controllability, whereas that of the locals were not. However, participants’ emotion, verbal, and gesture communications showed synchronizing tendencies between the visitor and the local. We believe that the methods of current thesis would be applicable in the field of behavioral therapy, entertainment applications, and digital healthcare (especially in mental diseases studies of eating disorder, depression, and schizophrenia).