증강/가상현실을 위한 멀티모달 인터페이스

Abstract

이전에 차세대 콘텐츠 플랫폼으로 각광받던 증강현실(Augmented Reality, AR)은 현실 세계를 바탕으로 가상의 객체를 더하고, 가상현실(Virtual Reality, VR)은 현실을 모방하는 것을 기본으로 한다. 현재 다양한 기술의 발전을 통하여 관련 기기들이 연구 수준에서 벗어나 일반 사용자들에게도 점차 다가가고 있다. 증강현실 및 가상현실 환경에서는 3차원 데이터를 해석할 수 있는 인터페이스를 요구한다. 따라서 현재 출시된 증강현실 또는 가상현실 기기들은 사용자의 3차원 움직임이나 의도를 해석하기 위한 알고리즘 또는 장치를 포함하고 있다. 이는 기존의 PC나 스마트폰과 같은 2차원 디스플레이 장치를 기반으로 한 플랫폼에서와는 큰 차이가 있다. 2차원 디스플레이상에서의 3차원 게임과 콘텐츠는 가상의 3차원 공간을 2차원 평면에 투영하여 표시된다. 따라서 마우스나 터치 같은 2차원 인터페이스를 사용한다. 현재 존재하는 증강현실 기기나 가상현실 기기의 경우 이러한 2차원 마우스와 터치의 3차원으로의 확장으로 볼 수 있다. 즉 클릭(click)의 개념과 끌기(drag)의 개념이 3차원 인터페이스에도 적용되어 있다. 마우스를 확장한 3차원 컨트롤러와 터치를 확장한 3차원 손동작 인식 등이 그 예이다. 인터페이스가 2차원에서 3차원으로 확장하는 과정은 기존의 2차원 사용자가 익숙한 환경을 제공하고자 하는 데 그 목적이 있다. 이러한 관점에서 본 논문에서는 사용자에게 가장 익숙한 환경인 실제 세계의 의사소통을 모방한 인터페이스를 제안한다. 제안하는 인터페이스는 실제 의사소통 방식과 같이 언어적/비언어적 표현으로 이루어져 있다. 언어적 표현은 음성, 비언어적 표현은 손동작으로 이루어져 있다. 제안하는 인터페이스는 앞서 말한 단순히 2차원의 확장의 개념이 아니며, 기존의 단순한 손동작 싱글모드 인터페이스의 한계점을 극복하고, 실제 세계(3차원 공간)에서 이루어지던 인터페이스를 증강현실 및 가상현실에 옮겨 온 것이다. 제안하는 인터페이스는 싱글모드의 모호성(ambiguity) 등과 같은 한계점을 극복하기 위하여 멀티모달(multimodal)로 구성하였다. 본 논문에서는 증강현실 및 가상현실에서 다양한 상호작용에 수행하는 데 있어 음성과 손동작 인식만으로 추가적인 컨트롤러 없이 가능함을 보였다. 또한 사용자 평가를 통하여 실제로 효용성이 있음을 보였다.; AR(Augmented Reality) and VR(Virtual Reality) were regarded as the new rising contents platform. AR is based on fusion of a reality and a virtuality and, VR is based on a imitation of a real-world. Nowadays, many AR or VR devices are released to the contents market, because of robustness of AR and VR technique to general environment. AR and VR environments require a interface that allows to analyze 3D data such as 3D movement, 3D shape. Thus, the devices in the market include some algorithms or devices which perform the analysis. This is different greatly from legacy interfaces for 2D display platforms such as PC and smart phone. The legacy, 2D interfaces are enough to the platforms because the platforms only could display 2D data even 3D contents such as 3D game. In case of the released devices, their interfaces should be considered as extended of 2D interfaces. In other words, concepts of 2D interface such as click and drag continue to AR/VR environments. For example, 3D controller (includes in most VR device set) is 3D version of mouse. The continuation of interfaces is aim to provide familiar experience to the novice users. In this paper, we propose a interface that imitates communication of a real-world between humans in terms of familiarity. Proposed interface consists of verbal and nonverbal expressions. Voice and hand gesture are stand for verbal and nonverbal expression respectively. Futhermore, the interface not a extension of legacy interface but a migration from a real-world to a AR and VR. In addition, there are limitations such as ambiguity which is arisen when single mode interface is applied to the platforms. For resolving these problems, the proposed interface composed of multimodal. In this paper, we shows that could be possible with voice and hand gesture to perform various interaction without additional controllers in AR and VR environments. In addition, through user study, we show the proposed interface has the practical utility.