사용자 개입을 통한 평면기반 3차원 장면 재구성

Abstract

3차원 장면 재구성은 일반적으로 카메라 연속 영상, 스테레오 카메라 영상, 혹은 레이저 센서정보 등을 이용하여 현실의 특정 부분을 컴퓨터 내의 가상공간에 구성하는 기술을 뜻한다. 효과적인 3차원 장면 재구성을 하기 위하여 다양한 각도에서 연구가 진행되고 있으며 현실에 가까울 정도의 결과가 나올 수 있을 정도로 기술이 발전되었다. 최근에는 저렴한 가격으로 쉽게 구입이 가능한 카메라를 이용하여 3차원 장면을 재구성 할 수 있는 기술이 주목받고 있는데 고가의 장비를 사용한 방법에 비해 크게 다르지 않은 결과를 내어 많은 응용분야에 이용되고 있다. 하지만 카메라 영상 기반의 3차원 장면 재구성 방법은 제한적인 환경을 컴퓨터의 능력으로 스스로 극복하기 어려운 점이 있다. 이를 해결하기 위해 다양한 환경에서도 3차원 장면을 재구성할 때 컴퓨터가 스스로 알아내거나 판단할 수 없는 정보를 사용자가 직접 제공하는 방법에 관한 연구가 나오게 되었다. 본 논문은 사용자가 자신의 손을 이용하여 3차원 장면 재구성에 관한 영상 내 평면 정보를 컴퓨터에 알려주고 컴퓨터는 사용자에 의해 주어진 정보와 스테레오 카메라로부터 얻어낸 정보를 종합해 3차원 장면을 재구성 하는 방법을 제안한다. 컴퓨터가 3차원 장면을 재구성 하는 데 있어 필요한 정보를 사용자가 직접 전해주게 되어 컴퓨터의 한계를 극복하고 사용자가 원하는 만큼의 적당한 3차원 장면 재구성에 집중 할 수 있기 때문에 자동으로 모든 과정을 처리하는 것에 비하여 빠르고 정확하게 사용자가 만족할만한 결과를 보여줄 수 있다. 제안하는 시스템이 시작되면 사용자는 제스처를 이용한 인터페이스의 사용을 위해 특정 손동작을 취해 손 색상을 인식 시켜 준다. 손 색상 인식이 완료되면 사용자가 손을 사용해 영상 내의 평면들을 지정해주고 시스템은 이 정보를 이용하여 영상을 각 평면 단위로 분할한다. 분할된 각 평면을 스테레오 카메라 영상을 이용해 계산한 깊이 값들에 의해 3차원 공간상에 배치하여 3차원 공간 재구성을 완료한다. 시스템은 카메라의 움직임을 계속해서 추적하여 사용자의 다음 평면 지정을 준비한다. 이후 또 다른 3차원 장면 재구성 결과가 나오게 되면 각 장면에서 카메라 위치의 상대적인 움직임을 계산하여 기존의 결과와 결합하면 전체적인 3차원 장면 재구성을 완료된다.