특징점 정합과 카메라 포즈 추적을 이용한 실시간 객체 증강 현실

Abstract

컴퓨터 비전을 기반으로 하는 증강 현실은 카메라 영상만을 이용하여 증강 현실을 구현하기 때문에 환경상의 제약이 적고 그 활용도가 매우 높다. 컴퓨터 비전을 이용한 증강 현실을 구현하기 위해서는 실제 공간과 카메라 포즈의 정렬을 실시간으로 수행해야 한다. 공간-카메라 정렬 방법은 영상 내 초기 특징의 반복적 추적에 의한 방법과 특징점 정합에 의한 방법으로 구분할 수 있다. 영상 내 특징의 반복적 추적에 의한 방법은 높은 정확도를 가지고 카메라의 포즈를 계산하지만, 시간이 경과함에 따라 오류가 누적되어 증강이 부자연스러워지므로 오류가 누적되면 추적되는 특징을 다시 초기화 해야 한다는 단점이 있다. 특징점 정합을 이용하는 방법은 매 프레임 카메라의 포즈를 계산함으로써 오류가 누적되는 문제점을 해결할 수 있으며, 실시간 연산이 가능한 정도까지 연구가 진행되었다. 하지만 특징점 정합만을 사용하는 것은 큰 시점 변화에 대해 오정합으로 인한 떨림이나 특징점 추출 실패 등의 현상이 발생하기 때문에 추적 방법과의 결합이 요구된다. 최근에 검출된 특징점을 추적하여 특징점 정합을 빠른 속도로 수행할 수 있도록 하는 방법이 제안되었지만, 이는 검출 속도를 빠르게 하기 위한 방법으로 국한되어 있다. 본 논문에서는 특징점 정합 방법과 반복적인 카메라 포즈 추적 기법을 융합한 증강 현실 구현 방법을 제안한다. 두 가지 방법을 융합함으로써 큰 시점 변화에 강인하고, 오정합으로 인한 떨림 현상이 없는 증강 현실을 구현할 수 있다.기준 영상의 특징점은 FAST 코너를 이용하여 다양한 시점에 대해 반복적으로 검출되는 것들로 추려내어 속도와 안정성을 확보한다. 추출된 특징점들의 특징 벡터는 저니키 모멘트의 절대값으로 정의하여 회전에 불변한 특성을 가지고, 다중 스케일의 기준 영상에서 추출된 특징점을 입력 영상과의 정합에 사용함으로써 크기 변화에 강인하며, 픽셀 밝기의 표준편차로 영상을 정규화하였기에 조명에 강인하다. 칼만 필터를 이용하여 정합 결과로 얻어진 카메라 포즈로부터 다음 프레임의 카메라 포즈를 예측하였다. 예측된 카메라의 포즈는 오프라인 상에서 학습된 포즈 모델과 결합하여 다음 프레임의 입력 영상을 교정하는데 사용하였고, 이를 통해 큰 시점 변화에 대해 강인하고 떨림 현상 없는 증강 현실을 구현하였다. 실험은 특징점 정합 결과에 대한 실험과 카메라 포즈 추적에 대한 실험으로 나누어 진행하였으며, 실시간 동작성, 시점 및 조명 변화에 불변한 성질, 가려짐에 강인한 성질, 증강 평면 추적의 정확도에 대해 초점을 맞추었다. 실험 결과, 제안하는 방법은 회전, 크기, 시점 변화 영상에 대해 기존의 대표적인 방법에 비견할만한 성능으로 이를 15~20 프레임 이상으로 기존의 방법보다 빠르게 수행하며, 카메라 포즈의 추적을 정확히 수행해냄을 확인하였다.; Augmented Reality(AR) is a technology which allows 2D or 3D computer graphics to be merged with the scenes of the real-world object or place in real-time. Vision-based AR is the most promising part of this technology because it only uses camera input image for implementation and therefore it can be used in various applications with less constrains. In order to implement the AR realistically, the real world coordinate and the camera pose have to be accurately aligned in real-time. Alignment problem between real-world coordinate and camera pose can be divided in two methods: recursive tracking method and tracking-by-detection method. Although recursive tracking method performs camera pose tracking in high accuracy, it accumulate errors as time goes by so that the results of augmenting is unrealistic. The tracking-by-detection method can solve this problem by estimating the camera pose at every individual frames with real-time. Nevertheless the performance is degraded when a large scene change occur which raises the need for a combination with the recursive tracking. In this thesis, we propose a combined approach of tracking-by-detection and recursive tracking methods to correct AR implementations. By combining two approaches, we were able to augment the virtual object even when the large view change without jitter effect that may caused by wrong matched pairs. For the detection, FAST corners were used repeatedly in various viewpoints as features of registered image. Using these features, the matching was performed speedy and stable even with viewpoint changes. The matching was invariant to rotation, scale, and light changes. The rotation invariance was achieved by using absolute value of the Zernike moments. The invariance of scale changes were achieved by multiple scaled registered images. The invariance of illumination changes were achieved by normalizing the image intensity values using global standard deviation of image. The results of matching were used to predict the camera pose of next frame by Kalman filter. To implement AR robust to large view changes as well as jitter effect, the input image was transformed using predicted camera pose combined with off-line trained model. Experiments were carried out in two parts: the feature matching and camera pose tracking. These parts confirm the real-time performance of the proposed approach in terms of invariance properties and accuracy of camera pose tracking. Experimental results showed that the proposed matching algorithm was able to process up to 15-20 frames compared to existing state-of-art feature point matching algorithms such as SIFT and SURF with high accuracy of tracking the camera pose.