손 동작 인식을 통한 효과적인 증강현실 인터페이스에 관한 연구

Abstract

마커는 현실과 확연한 차이를 보인다는 특징을 가지고 있기 때문에 인식이 편리하고, 이러한 인식의 편리함 때문에, 기존의 많은 증강현실(Augmented Reality) 환경에서는 상호작용을 위한 인터페이스 도구로써 주로 마커를 이용해왔다. 그러나 현실과 확연한 차이를 보인다는 특징이 증강현실 시스템의 구현상에 있어서는 편리함을 제공했지만, 사용자의 입장에서는 눈에 거슬리기 때문에 몰입을 방해하는 요소가 되었다. 이러한 마커의 단점을 극복하기 위한 증강현실 인터페이스 도구에 관한 많은 연구가 있었으나, 기존의 연구들 대부분은 별도의 훈련을 필요로 하거나 제약된 환경에서만 구동된다는 단점을 가지고 있어서 여전히 사용자에게 불편함을 제공한다. 따라서, 본 논문에서는 사용자에게 친숙할 수 있는 증강현실 인터페이스 도구로써 손을 사용한다. 손은 사용자에서 가장 친숙한 도구 중 하나이기 때문에 별도의 훈련 없이 쉽게 사용할 수 있고 사용자를 더욱 몰입하게 만든다. 또한, 손은 다양한 동작이 가능하기 때문에 손 동작은 다양한 명령이 가능하다는 장점을 가지고 있다. 본 논문에서는 손을 이용하는 두 가지 증강현실 인터페이스를 제안함으로써 손의 유용성을 증명하고, 이를 구현하기 위한 실시간으로 동작 가능한 빠르고 효과적인 손 동작 분석 및 손바닥 포즈 계산 방법을 제안한다. 첫 번째 제안된 인터페이스는 손 동작을 이용해서 가상 객체를 만들고, 조종하고, 지우는 것이고, 두 번째는 손바닥 포즈를 계산하고, 손바닥 위에 가상 페트(pet)를 생성한 뒤, 사용자는 손가락을 움직여서 가상 페트와 상호작용하는 인터페이스이다.; The visual marker provides high accuracy and convenience for implementation of augmented reality (AR) application, because a marker has distinct of shape and color from the scene. Because of these advantages, a number of AR applications have widely used the visual marker for interaction interface tool. However, the visual marker may be visually intrusive to the user because it is distinctive and easily differentiated from the scene. Moreover, it is difficult to provide natural (usually complicated) user interactions using markers. The studies on AR interface tool for overcoming weak points of the visual marker have constantly developed; however, they tend to be expensive and need a well-controlled environment. Thus, this paper proposes an AR interface tool using hands. The hands allow more natural and convenient user interactions than visual markers because users are well acquainted with their hands. Also, various hand gestures provide various commands. In this paper, we verify the effectiveness of hand by proposing two AR interfaces using hand, and propose fast and efficient hand gesture recognition method and pose estimation methods for implementing these interfaces. First proposed interface is that user can freely generate, control, and erase virtual object using his/her hand. The other proposed interface is that a virtual pet is put on user’s palm, and then he/she interacts with it by moving his/her hand or fingers, e.g. touching, stroking, etc.