User Authentication for Virtual Reality Applications Based on Facial Electromyogram

Abstract

가상현실(VR)은 사용자가 상호 작용할 수 있는 가상 환경을 인공적으로 구성하여 몰입감을 줌으로써 사용자에게 간접적인 경험을 제공하는 컴퓨터 기술이다. 삼성 기어 VRTM, 플레이스테션 VRTM, 오큘러스 리프트TM, HTCTM등 VR을 위한 저렴한 head mounted display(HMD) 기기의 보급으로 가정에서도 손쉽게 VR 어플리케이션들을 사용할 수 있게 되었다. VR 어플리케이션들을 사용하기 위해서는 플랫폼에 사용자의 계정을 생성한 뒤, 생성된 계정으로 로그인하여 어플리케이션들을 이용해야 한다. 현재 VR 환경에서 사용자 인증을 하기 위해서는 키보드, 컨트롤러, 터치패드를 사용한 암호 입력 방식을 사용하고 있다. 하지만 키보드를 사용한 암호 입력 방식은 HMD로 사용자의 얼굴이 가려진 상태에서 키보드를 사용해야하기 때문에 키보드의 위치나 글자의 위치를 볼 수 없어서 사용자가 사용하기 불편하다는 단점이 있다. 또한 컨트 롤러나 터치패드를 사용한 인증 방식은 가상의 키보드에서 글자를 하나씩 클릭하여 입력해야하기 때문에 역시 시간이 오래 걸리고 불편하다는 문제점이 있다. 따라서 본 연구에서는 HMD와 안면부가 닿는 부위에 부착된 전극에서 측정되는 안면부 근전도(fEMG)를 이용하여 손쉽게 개인인증을 할 수 있는 방법을 제안하였다. 먼저 42명의 실험 참가자 데이터베이스를 사용하여 등록된 전체 사용자 수와 등록에 사용된 표정의 개수에 따른 인증 정확도를 계산하였다. 두 번째로 42명 중 9개월 이후에 동일한 실험에 참가한 10명의 참가자 데이터베이스를 사용하여 등록된 전체 사용자 수와 등록에 사용된 표정의 개수에 따른 인증 정확도를 계산하였다. 이를 통하여 최초 HMD 기기를 착용하고 사용자 등록을 한 뒤, 기기를 다시 착용하여도 본 연구에서 제시한 방법을 적용할 수 있다는 사실을 확인하였다. 세 번째로 사용자가 등록한 표정이 밝혀졌을 경우에도 본 연구의 방법이 적용될 수 있는지 확인하였다. 등록한 전체 사용자 수와 등록에 사용되는 표정의 개수를 변화시켜가며 가능한 모든 표정 조합에 대하여 인증 정확도를 계산하였다. 마지막으로 동일한 실험에 참가한 10명의 참가자 데이터베이스를 사용하여 세 번째 실험에서 가장 높은 인증 정확도를 나타낸 표정 조합에 대하여 인증 정확도를 계산하였다. 결과적으로 본 연구를 통하여 VR 환경에서 HMD에 부착된 전극을 통해 측정된 안면부 근전도를 사용하여 소규모 구성원을 손쉽게 인증할 수 있음을 확인하였다.; Virtual Reality (VR) is a computer technology that artificially constructs a virtual environment in which a user can interact and provides an indirect sensory experience to a user through giving a feeling of immersion. The introduction of low-cost Head Mounted Display (HMD) devices for VR such as Samsung Gear VRTM, PlayStation VRTM, Oculus RiftTM, and HTCTM make it easy to use VR applications at home. To use VR applications, user needs to create a user's account on the platform and then login with the created account. Presently, in order to authenticate users in a VR environment, a password input method using a keyboard, a controller, and a touch pad is used. However, the password input method using the keyboard has the disadvantage of not being able to see the location of the keyboard or the position of the keyboard characters because the user’s faced is occluded by the HMD device. In addition, the authentication methods using a controller or a touchpad are also time-consuming and inconvenient because the user has to input characters one by one from a virtual keyboard.

In this study, we propose a new user authentication method using fEMG, measured from electrodes attached to the area of contact between the HMD and the facial part. First, using the database of 42 participants, we calculated the authentication accuracy according to the number of registered users and the number of facial expressions used in registration. Second, we calculated the accuracy of authentication based on the total number of registered users and the number of facial expressions used in the registration, using a database of 10 participants participating in the same experiment after 9 months out of 42. Third, we confirmed that the method of this study can be applied even when the user's registered facial expression is revealed. The authentication accuracy was calculated for all possible combinations of facial expressions by changing the number of registered users and the number of facial expressions used for registration. Finally, using the database of 10 participants participating in the same experiment, the authentication accuracy was calculated for the combination of facial expressions with the highest authentication accuracy in the third experiment. As a result, this study confirmed that small number of members can be authenticated by using facial EMG measured by electrodes attached to HMD in VR environment.