스테레오 카메라 추적을 이용한 모바일 3차원 디스플레이 상의 실시간 증강현실

Abstract

본 논문에서는 스테레오 카메라 추적을 이용한 모바일 3차원 디스플레이 상의 실시간 증강현실 프레임웍에 대하여 기술한다. 모델 기반 추적 방법에 기초하여 카메라 포즈는 스테레오 카메라 간의 기하 관계를 만족하도록 동시 추정된다. 동시 추정된 카메라 포즈를 통해 가상 콘텐츠는 교정된 스테레오 영상에 올바르게 증강된다. 스테레오 카메라 추적과 스테레오 영상 교정은 서로 다른 쓰레드에서 수행하고, 영상 형식 변환 및 스테레오 영상 교정은 GPU로 고속으로 처리함으로써 실시간으로 수행된다. 제안된 프레임웍은 스테레오 카메라와 3차원 디스플레이가 장착된 스마트폰에서 구현되었다.This paper presents a framework of real-time augmented reality on 3-D mobile display with stereo camera tracking. In the framework, camera poses are jointly estimated with the geometric relationship between stereoscopic images, which is based on model-based tracking. With the estimated camera poses, the virtual contents are correctly augmented on stereoscopic images through image rectification. For real-time performance, stereo camera tracking and image rectification are efficiently performed using multiple threads. Image rectification and color conversion are accelerated with a GPU processing. The proposed framework is tested and demonstrated on a commercial smartphone, which is equipped with a stereoscopic camera and a parallax barrier 3-D display.