프로젝터-카메라와 스마트폰을 사용한 혼합증강현실 시스템

Abstract

근래에는 카메라로 물리객체를 추적하고 그 물리객체 위에 프로젝터를 사용하여 가상객체를 증강시키거나 제한된 공간의 3차원값을 계산하여 만들어진 가상의 공간을 프로젝터를 사용하여 증강시키는 프로젝터-카메라기반 공간증강현실(Spatial Augmented Reality)에 대해 많은 연구개발이 진행되고 있다. 또한 스마트폰의 보급확대로 인해 모바일 증강현실(Mobile Augmented Reality) 분야가 많이 연구되고 상용화된 어플리케이션이 개발되고 있다. 공간증강현실은 사용자 주변이나 특정 공간상에 프로젝터로 가상객체를 증강시키고 사용자의 동작을 인식하여 시스템과 상호작용할 수 있는 기능을 제공함으로써 사용자의 몰입감을 증대시킬 수 있다. 그와 마찬가지로 모바일 증강현실 또한 사용자가 스마트폰을 사용하여 3차원 가상객체가 증강된 것을 볼 수 있고 물리객체를 제어함으로써 사용자의 몰입감을 증대시킬 수 있다. 하지만 최근까지 두 증강현실을 사용한 시스템은 각각 독립적으로 연구개발 되어왔다. 따라서 본 논문에서는 사용자의 동작 및 물리객체를 인식하여 상호작용하는 프로젝터-카메라 시스템과 물리객체 제어 및 3차원 모델 증강을 통해 사용자와 상호작용하는 모바일 증강현실을 혼합하여 몰입감 있는 혼합증강현실 시스템을 제안한다. 또한 이전에 제안된 연구에서는 AR 마커가 사용되었는데 이 마커는 사용자의 몰입감을 방해하는 단점이 있다. 그래서 본 논문에서는 AR 마커의 사용을 줄이고 눈에 거의 보이지 않는 적외선 마커를 사용하여 몰입감을 유지시켰다. 하지만 적외선 마커는 스마트폰 카메라로 인식할 수 없어 가상객체를 증강시킬 수 없기 때문에 프로젝터-카메라 시스템에서 추정된 AR 마커와 적외선 마커 사이의 기하관계를 사용하여 스마트폰에서 증강시키는 방법을 제안하였다. 마지막으로는 혼합증강현실 시스템을 기반으로 하는 미니카 주행 어플리케이션을 구현하여 공간증강현실과 모바일 증강현실을 사용자가 동시에 경험할 수 있는 것을 확인하였다.