다중 센서의 시공간 보정을 이용한 하이브리드 AR 추적 연구

Abstract

증강현실(Augmented Reality)은 주변 환경과 사용자의 관계에 대한 인식과 상호 작용을 통하여 높은 몰입감을 제공한다. 사용자의 시각을 기준으로 자연스러운 증강과 원활한 사용성을 위해서는 외부 환경 및 사용자의 정확한 위치 파악과 사용자의 빠른 움직임에 대응할 수 있는 빠른 시스템 응답이 요구된다. 사용자의 정확한 위치 파악을 위한 많은 방법 중 카메라의 영상 정보를 활용하는 컴퓨터 시각 기반의 추적은 사용자의 시점에서 외부 환경을 바라보는 방식의 추적이 가능하며 모션 캡쳐(Motion Capture)와 같은 외부에서 사용자를 바라보는 방식과 비교할 때 이동성이 중요한 모바일(Mobile) 환경에 더 적합하다. 그러나 컴퓨터 시각 기반 추적의 높은 연산량은 모바일 기기에 사용되는 어플리케이션 프로세서(Application Processor, AP)의 성능에 제약을 받는다. 또한 상용 모바일 기기에 주로 사용되는 롤링셔터(Rolling Shutter) 이미지 센서는 상대적으로 낮은 프레임율에 의한 응답 지연으로 멀미(Motion sickness) 등 사용성 저하를 가져올 수 있으며, 빠른 움직임에서의 모션 블러(Motion blur)와 이미지 왜곡으로 컴퓨터 시각 기반 추적 실패의 원인이 된다. 모바일 기기에서 자세, 방위, 방향 등 사용자의 공간적인 상황을 인지하기 위하여 가속도(Accelerometer)센서, 자이로(Gyro)센서, 지자계(Magnetometer)센서 등 다양한 IMU(Inerial Measurement Unit) 센서 정보를 융합(Sensor Fusion)한다. 최근 사용되는 모바일 기기의 IMU의 경우 100Hz 이상의 빠른 응답을 가지며 가상현실(Virtual Reality) 응용에서 사용자 자세 및 방향 인식에 활용되고 있다. IMU의 빠른 응답과 지속적인 출력은 정보를 가공하여 카메라의 느린 응답과 추적 실패를 보완하는데 사용되나 고유의 오차특성과 정보 가공에 의한 오차 누적, 카메라 시스템과의 시간 차이는 비동기 문제의 원인이 된다. 본 논문에서는 Handheld 상황에서 IMU 센서와 카메라의 비동기 문제를 해결하기 위하여 두 시스템간의 시간 및 공간 편차를 최소화하였을 때의 추적 오차 개선을 확인하는데 초점을 맞추었다. 첫 번째 단계로 IMU 센서의 공간적인 오차 특성을 보정하기 위하여 분산을 통한 정지 판단으로 중력 방향 범위의 선별적인 데이터를 취득하였으며, 점진적 경사 하강법을 사용한 중력 가속도 대비 오차 비용 최소화(Error cost minimization) 탐색으로 가속도 센서와 자이로 센서의 오차 특성을 추정하였다. 두 번째 단계로 카메라의 기하정보를 IMU 센서의 출력 단위와 프레임율(Frame rate)에 맞춰 가공하고 가속도 센서의 출력에서 중력 성분을 분리한 뒤, 신호 대 잡음비(SNR, Signal to Noise Ratio)가 고려된 데이터 세트를 추출하였다. 이후 두 데이터 세트의 상호상관 계산, 이상치 제거 및 양자화 히스토그램(Histogram)을 이용하여 최적의 시간차를 추정하였다. 마지막 세 번째 단계로 IMU 센서의 융합(Sensor Fusion) 기반 추적과 카메라의 컴퓨터 비전(Computer vision) 기반 추적의 공간을 동기화하고 IMU 센서의 정지 확률을 가중치로 속도에 반영하여 IMU 센서의 오차 누적 특성을 최소화 하였다. 본 논문에서 제안된 세 단계의 시공간 보정에 따른 성능을 검증하기 위하여 전, 후의 시간에 따른 각 시스템 기반 추적 위치를 단계별로 비교 분석하였다. 실험 결과, 본 논문에서 제안하는 방법으로 1076 프레임, 10314ms의 시간동안의 카메라와 IMU 센서 기반 추적에서 상호 간의 최대 위치 오차는 55.3cm에서 13.4cm로 개선되었고 누적 오차 거리는 76.8%가 개선되었다. 제안된 방법의 정량적 분석 결과를 통하여 IMU의 공간 오차 특성과 카메라 시스템과의 시간차 보정, 그리고 오차누적 최소화 방법을 사용하였을 때 공간 동기화된 두 시스템 간의 추적 거리 오차가 감소할 수 있음을 확인할 수 있다.