3D Pose Estimation and Evaluation with New Calibration Method Based on Lighthouse Technology

Abstract

2015년, 가상현실 시스템인 Vive는 HTC와 Valve사에서 개발됐다. 이 시스템은 실내 위치 측정 시스템(Indoor Positioning System, 이하 IPS)의 한 종류이며 적외선 레이저를 기반으로 한다. 물체의 포즈(위치와 자세)를 측정하는데 있어서 "라이트 하우스" 또는 "베이스 스테이션"이라는 장비를 사용하는데, 기존에 사용되고 있는 IPS에 비해 가격이 저렴하고 높은 정확성과 낮은 지연성을 가지고 있어 많은 주목을 받고 있다.

하나의 카메라로 물체(Rigid body)의 포즈추정을 할 때, 물체의 기하학적 특징점이 최소 3개가 필요하다. 그 점으로부터 PnP(Perspective n-points) 방법을 사용하여 카메라 좌표계에 대한 물체의 포즈를 추정할 수 있다. 두 개의 라이트 하우스로 카메라 시스템의 스테레오 비전처럼 삼각법(Triangulation)을 사용하여 물체의 포즈를 추정할 수 있다. 삼각법을 사용하기 위해서는 두 라이트 하우스 간의 위치와 회전관계를 알아야한다. 이러한 관계를 찾는 것을 캘리브레이션이라고 한다. 캘리브레이션 할 때, 이미 알고 있는 물체의 기하학적 정보(예, 특징점들 간 상대적 거리정보)를 사용한다. 이 정보에 오차가 있으면 정확한 캘리브레이션이 되지 않고, 물체의 포즈를 측정할 때 오차가 발생한다. Vive 시스템에서 캘리브레이션을 하려면 특징점이 있는 물체가 필요하고 특징점들 간의 정확한 기하학적 정보가 필요하다. 여기서 특징점은 라이트 하우스에서 나오는 적외선 레이저를 감지하는 센서이다. 이러한 센서를 부착하여 캘리브레이션과 포즈추정을 위해 직접 물체를 제작하여 사용하는데, 이렇게 제작된 물체를 마커라고 한다. 하지만 마커를 제작하면서 발생되는 가공오차와 제작된 마커에 센서를 부착하면서 발생하는 오차로 인해 마커에 위치한 센서들간의 정확한 기하학적 정보를 얻는데 어려움이 있다.

본 논문에서는 Vive 시스템 사용을 위한 캘리브레이션 과정에서 센서 간의 정확한 기하학 정보를 얻을 수 있는 새로운 캘리브레이션 방법을 제안한다. 실험을 통하여 센서의 기하학적 정보 오차에 따른 포즈 추정 정확성을 검증한다. 또한, 본 논문에서 제안하는 방법을 적용하여 마커의 포즈 정확성을 검증하고 상용 시스템과 포즈 정확성을 비교와 분석을 해본다. 실험 결과로는 캘리브레이션 과정에서 5 mm의 기하학적 오차가 발생하면 오차가 발생하지 않을 때보다 위치는 약 6배, 자세는 약 3배 정도 정확성이 떨어진다. 상용 시스템은 물체의 포즈를 매우 정확하게 추정하지만 자연 광에 민감하여 오류가 발생할 수 있으며 감지되는 영역이 약 3$m^3$로 한정적이다. 반면에 라이트 하우스 시스템은 상용 시스템보다 상대적으로 광 축 방향에 대한 정확성이 떨어지지만 자연 광에 의한 오류가 없고 감지되는 영역이 약 10 m^3으로 3배이상 크다. 그리고 100배 이상 저렴하기 때문에 가격 경쟁력을 가지고 있다. 결론적으로 위치오차가 1.5 mm이상, 자세오차가 0.3^\circ 이상 허용되는 포즈추정 어플리케이션에서는 Vive 시스템을 저렴하고 높은 정확성을 가진 IPS로 적용 가능하다.; In 2015, Vive is virtual reality system developed by HTC and Valve Corporation. This is a type of an indoor positioning system (IPS) and it based on an infrared laser. To estimate a pose (position and orientation) of an object, an equipment called "lighthouse" or “base station" is used. Presently this IPS attracts much attention as it has low cost compared with other commercial systems as well as high precision and low latency.

Geometry feature points of an object (rigid body) need at least three when measuring the pose of the object with single camera. From that points, the pose with respect to the camera coordinates is able to be estimated by the method of Pnp(Perspective n-points). With two lighthouses, the method of triangulation can be used for estimating the pose like stereo vision of camera system. In order to use the method of triangulation, the relationships of position and rotation between two lighthouses must be known. These relationships are called calibration. A geometric information which is distances among the feature points is used for calibration. If the information contains an error, not just it causes an invalid calibration, but it is impossible to find the accurate pose of the object. Calibration in Vive system requires the object with feature points that are sensors which can detect an infrared ray emitted by lighthouses and exact geometric information among the sensors. These sensors are attached to the object which is manufactured in person for calibration and pose estimation, such the object is called marker. However, a limitation of this calibration is difficult to measure the exact geometric information due to the error in marker manufacturing, or sensors that attached to the marker.

In this thesis, a new calibration method to obtain accurate geometric information among the sensors has been proposed. The accuracy of the pose estimation according to the information error was verified through experiments. In addition, the pose accuracy of the marker by applying the proposed method is checked and compared it with the commercial system. When the geometrical error of 5 mm occurs in the calibration, the position is about 6 times and the orientation is about 3 times less accurate than when there is no error. The commercial system estimates the pose of the object very accurately, sometimes errors occurs as it can be sensitive to natural light. Besides the detected area is limited to about 3 m^3. On the other hand, the lighthouse system is less accurate than the commercial system in terms of the accuracy of the optical axis, but there is no error due to natural light. Also, the detected area is about 10 m^3. Moreover, it has price competitiveness because of 100 times cheaper than commercial system. In summary, the Vive system can be applied to inexpensive and highly accurate IPS in pose estimation applications where the position and orientation error are allowed more than 1.5 mm and 0.3 ^\circ .