그래픽 프로그램과 계층적 방법을 이용한 실시간 스테레오 정합

Abstract

본 논문은 그래픽 프로그램을 이용하여 일반 PC 환경에서 실시간으로 스테레오 영상의 시차를 추정하는 알고리즘을제안한다. 본 논문에서는 실시간 동작에 초점을 맞추며 이를 위하여 병렬연산이 가능한 알고리즘은 그래픽 프로그램으로구현하고 시차추정의 정확도를 개선하기 위하여 적응적인 에너지 함수를 후처리 과정으로 도입한다. 우선 스테레오 영상간의 정합은 순위변환(rank transform)을 그래픽 프로그램으로 구현하는데 병렬처리 및 적응적인 메모리 접근 방법을 통하여 블록정합을 고속화한다. 영상간의 블록정합으로 초기 시차가 추정되면 시차에 대한 사전 모델로 시차간의 연속성을보장하기 위하여 이웃하는 시차값의 상관성을 적응적인 에너지 함수로 정의하여 시차를 반복적으로 재추정한다. 그리고이러한 과정은 계층적 구조에서 수행된다. 즉 가우시안 피라미드 구조에서 가장 낮은 해상도의 영상으로부터 시차를 추정하고 그 시차지도를 다음 해상도로 보간한 후 축소된 탐색구간을 통하여 시차를 재추정한다. 시차지도를 보간할 때는 픽셀의 컬러정보를 이용하여 유사한 컬러정보를 갖는 픽셀의 시차값으로 보간한다. Middlebury 스테레오 영상을 이용하여 성능을 평가한 결과 본 논문에서 제안한 알고리즘은 640x480, 60픽셀 시차범위를 기준으로 30프레임/초 이상의 속도를 보여 주며 정확도 측면에서도 다른 고속 알고리즘의 결과보다 우수하다. 본 논문에서 제안된 알고리즘은 실시간 스테레오 카메라에서 3차원 정보추출 및 다양한 응용 시스템 개발에 적용될 수 있을 것으로 기대된다.This paper proposes a real-time stereo matching algorithm using GPU programming. The fast algorithms are implemented using GPU programming for real-time operation, and adaptive energy function is modeled for improving the accuracy of disparity estimation. First, the likelihood matching based on rank transform is implemented in GPU programming. The adaptive memory handling in graphic hardware is introduced in aggregating the matching errors. Once an initial disparity map is determined based on the likelihood matching, then the disparity map is iteratively updated by the prior model of disparity field. The prior model reflects the smoothness of disparity map and is implemented by a pixel-wise energy function. The disparity is determined by minimizing the joint energy function which combines the likelihood matching with the prior energy model. These processes are performed in the hierarchical approach. The disparity map is interpolated using color-based weights. This paper evaluates the proposed approach with the Middlebury stereo images. According to the experiments, the proposed method shows good estimation accuracy with more than 30 frame/second for 640x480 images. The proposed method is suitable for real-time stereo system in the usual PC environment.