3차원 디스플레이를 위한 깊이지도 기반의 고속 영상 합성 기법

Abstract

3D display uses stereoscopic vision to acquire 3D depth information, and use this information to provide users a realistic 3D multimedia service. In order to obtain highly realistic 3D scene for 3D display TV, it is important to have a wide field of view using stereoscopic vision. Stereo images are, in general, acquired from at least two views which are based on human eyes. Using the stereo images, virtual views can be synthesized and it is called view synthesis. For the view synthesis, there should be at least two cameras (or views) and the 3D depth information of a scene (i.e. depth map) from multiple views. The depth map is acquired from the stereo matching using stereo images. Given two images of different view and the depth map, virtual views could be generated using the geometric relationship between two views, and it can be further implemented in 3D display. When conventional computer generates multiple views using the multiple view synthesis method, it is not fast enough to be applied in 3D display. As a matter fact, it takes about 0.5 frames per second to generate 9 intermediate (virtual) view images when SD images were used. Therefore, this thesis addresses the issue of developing a fast view synthesis method that generates multiple intermediate (virtual) views in real-time so that it can be applied in the 3D display system. In this regard, a new fast view synthesis method, which generates 9 intermediate virtual views from a pair of stereo images and their depth map, is proposed. The proposed fast view synthesis is effective by carefully examining the trade-off between the quality of novel synthesized view and the running time. The proposed method achieves faster view synthesis than previous approaches by parallel processing the entire computations required for the view synthesis. For the forward mapping that maps the left view of stereo images to the virtual view, SIMD (Single Instruction Multiple Data) architecture is used on each pixel. The backward mapping that fills the uncovered areas, which are resulted from the forward mapping, is also processed using SIMD architecture. The fast view synthesis is achieved by allowing the GPU’s SIMD architecture to process as many processes as possible. For the effective parallel processing using GPU, CUDATM (by Nvidia) is used to control GPU device and optimize the speed effectiveness of the proposed fast view synthesis method. The data transfer time between host (e.g. main memory in PC) and device (memory in GPU device) must be taken into account when GPU based parallel processing is implemented. Therefore, the proposed method optimized the parallel processing to minimize the data transfer time between host and device. Although the pixel-wise process of forward and backward mapping can be converted to parallel processing, the pixel-wise interpolation of uncovered area cannot be processed in parallel due to the fact that the interpolation must be done in a sequential order. Therefore, a new interpolation approach that performs the interpolation in parallel is proposed. The proposed interpolation method divides the image into column-wise pieces and then processes these column-wise pieces in parallel. By carefully analyzing the CUDA architecture and optimizing the implementation, the increased effectiveness and speed are achieved. The feasibility of the proposed method is shown through the experimental results, and it shows the potential of the proposed method in the field of 3D display.; 3차원 디스플레이는 다시점 스테레오스코픽 비전(stereoscopic vision) 기술을 이용하여 2차원의 영상에 3차원 깊이 정보를 부가하고, 이를 이용하여 사용자에게 실감형 3차원 입체 멀티미디어서비스를 제공한다. 3차원 디스플레이 실현을 위한 디스플레이 컨텐츠를 제작하기 위해서는 다수의 시점에서의 영상을 자유로이 생성할 수 있어야 한다. 다수의 시점에서의 영상을 생성하려면 우선 두 기준 시점 이상에서 획득한 영상이 있어야 하며, 일반적으로 인간의 눈을 실마리로 한 좌우 두 개의 카메라를 이용하여 양안 영상(stereo image)을 획득한다. 이렇게 취득한 영상으로 여러 시점에서의 영상을 합성해낼 수 있는데, 이를 영상 합성(View synthesis)이라 한다. 정확한 영상 합성을 하기 위해서는 양안 영상뿐만 아니라 3차원 정보인 깊이 정보도 필요하다. 이는 취득한 양안 영상을 이용한 스테레오 정합(stereo matching)을 거쳐 깊이 지도(depth map)를 추정할 수 있다. 두 개의 카메라 영상과 깊이 지도 정보만 주어진다면, 각 카메라 사이의 기하관계를 이용하여 해당 카메라들 사이에 위치한 가상 시점에서의 중간 영상 합성이 가능하며 이를 3차원 디스플레이에 적용할 수 있다. 다시점 영상 합성을 일반 컴퓨터에서 처리를 하여 여러 시점을 동시에 생성하는 경우 초당 프레임 수가 3차원 디스플레이에 적용하기에는 충분하지 않다. SD급 영상을 이용하여 9개 시점의 영상을 생성할 경우, 초당 0.5프레임 정도의 속도를 가진다. 따라서, 본 논문에서는 3차원 디스플레이 시스템에서 여러 중간 시점 영상을 실시간으로 생성하는 고속 영상 합성 기법의 제안에 초점을 두었다. 중간 시점 영상의 품질과 소요 시간과의 상충 관계를 고려하여 실용가능성이 있는 효과적인 영상 합성 기법을 분석하여 고속화하였다. 기본적으로 본 논문에서는 영상 합성 기법의 모든 과정을 병렬 처리함으로써 고속화를 할 수 있었다. 영상 합성의 첫 번째 단계인 양안 기준 영상의 좌측 영상을 가상 시점으로 보내는 전방 사상의 경우 각 화소에 대해 사상을 하는 SIMD(Single Instruction Multiple Data)구조로 처리된다. 또한, 전방 사상 후에 생기는 새롭게 나타나는 영역을 채우는 후방 사상도 SIMD구조로 처리된다. 이러한 SIMD구조는 GPU(Graphics Processing Unit)의 강점인 병렬처리를 이용함으로써 고속화할 수 있다. GPU를 효과적으로 활용하기 위해 최근 Nvidia에서 발표한 CUDATM를 이용하였다. 영상 합성 기법에 특화된 방법으로 CUDA를 이용하여 GPU를 제어, 고속화 효율을 높일 수 있었다. GPU 프로그래밍을 할 때에 고려해야 할 사항은 CPU가 있는 호스트와 GPU가 있는 디바이스 간의 데이터 이동 시간이 영상 합성 실행 시간에 비교하여 오래 걸린다는 점이다. 이 때문에 호스트와 디바이스 간의 데이터 이동을 최소화하기 위해 모든 영상 합성 과정을 디바이스에서 처리할 수 있도록 하였다. 전방 사상과 후방 사상은 영상 전체를 영역으로 한 화소별 병렬처리가 가능했으나, 새롭게 나타나는 영역에 대한 보간은 화소 간에 순차적인 처리를 해야 하므로 영상 전체를 영역으로 한 화소별 처리가 불가능하다. 따라서 이를 위해 영상의 전체 영역을 세로 열 단위인 부분 영역으로 나누어서 부분 영역에 대해 화소별 병렬 처리하는 방법을 고안하여 해결하였다. 또한, CUDA의 구조에 맞게 구현하고 최적화 과정을 거침으로써 고속화 효율을 더욱 높일 수 있었다. 본 논문은 양안 영상과 깊이 지도를 이용하여 기준 영상 위치 사이의 9개 이상의 중간 시점 영상을 생성할 수 있는 영상 합성 방법과 3차원 디스플레이 시스템으로의 실용화를 위해 필요한 고속화 기법을 제안하고 그 가능성을 제시하였다.