가상현실환경 내의 효율적인 설계검증을 위한 제스처기반의 상호작용에 관한 연구

Abstract

최근 자동차, 조선, 건설 등의 산업분야에서 정보기술이 발달됨에 따라, 제품을 보다 효율적으로 검토하기 위한 수단으로 가상현실 품평 솔루션을 도입하는 기업이 보편화 되고 있다. 따라서 최근 가상현실환경 내의 효율적 설계검증을 위한 HCI(Human-Computer Interaction) 기술들이 제안되고 있다. 그 중 사용자의 움직임을 실시간으로 추적하는 손 추적(Hand Tracking)기술은 원활한 상호작용을 가능하게 하는 중요한 기술로, 주로 사용자 동작 추적 장치를 통해서 입력된 사용자의 동작을 가상공간에 가시화 하고 사용자의 의도를 시스템에 전달한다. 본 연구에서는 가상현실 환경 내의 설계 검증 시 효율적으로 설계 안을 검증할 수 있도록, 사용자의 손 제스처 추적 및 인식 기술을 기반한 상호작용 방안을 제안한다. 이를 위해 첫째로 설계검증에 사용될 수 있는 3D CAD 모델의 단순화된 예를 제시하고, 모델에 관련된 설계 검증 조건과 설계자의 의도를 정의한다. 본 연구에서 다루는 설계자의 의도는 모델의 형상 매개변수의 수정, 색상 등의 속성 변경, 혹은 모델의 상태 조작 등을 포함한다. 둘째로 앞서 정의된 의도에 관련된 손의 제스처를 정의하고 해당 제스처의 인식 알고리즘을 제시함에 있다. 손 추적을 위한 입력장치로 Microsoft KINECT 를 이용하였고, HMM(Hidden Markov Model)을 적용하여 사용자의 의도 인식률을 향상시켰다.As the information technology is getting developed in the areas of vehicle, shipbuilding and construction industries, the usage of virtual reality solutions for efficient verifications of their products is getting broaden. Hence, the human-computer interaction(HCI) technologies, which are important for virtual interaction, have been raised in same order. Hand tracking is a main technique of the HCI, and enables intuitive interaction between the user and the system by tracking user's hands in real time. This tracking technique is mainly used to visualize the user's motion achieved from tracking devices such as data gloves, and used to deliver the user's intent to the system. However, the hand tracking technique has been barely used for the design verification so far. The aim of this paper is to propose a new approach of interaction method to verify design in virtual reality environment efficiently. We accomplished this by using the hands gesture tracking and recognition technologies. For this purpose, we first classified functions required for the vurtual design verification. Secondly, we defined gestures to map the pre-classified functions. Finally, we implemented a gesture-driven interaction system for product validation in virtual environment. Microsoft KINECT was used as an input device of hands for hand tracking, and we improved the recognition rate by applying HMM (Hidden Markov Model).