2D/3D 객체 추적에 기반한 가상광고 기법

Abstract

오늘날 AR 기술은 사용자에게 새로운 경험을 제공하기 위한 핵심 기술로 발전하고 있다. 최근에 출시된 포켓몬고는 AR 기술을 활용하여 현실 세계에 애니메이션의 몬스터이 출몰하여 이를 수집하는 콘텐츠로 많은 인기를 끌 수 있었다. AR 기술이 다른 기술과 차별화 될 수 있는 가장 근본적인 것은 현실 세계와 가상 세계의 결합으로 사용자들이 자연스럽게 적응할 수 있다는 것이다. 하지만 사용자들이 이질감을 느끼지 않고, 자연스럽게 체험하기 위해서는 다양한 기술적 문제들이 존재하기 때문에 AR 기술을 기반으로 한 완벽한 어플리케이션을 만드는 것은 기술적으로 도전적인 문제이다. 최근에 광고 시장은 다양한 방법으로 발전해왔다. 그 중에서도 컴퓨터 그래픽 기술을 활용한 가상 광고는 2000년대 초에 스포츠경기에 등장하며 새로운 광고 패러다임을 제시하였다. 하지만 기존의 가상 광고 기법은 광고 시간과 광고 삽입위치에 제약이 있다. 이는 시청자들이 가상광고에 거부감이나 이질감을 느끼지 않도록 하기 위한 것으로 광고 삽입 영역에는 사람이 있는 곳에 광고가 되어서는 안 되는 제약이 있다. 가상광고에 관한 제약은 이미 영상에 존재하는 광고 영역에 가상 광고를 삽입하는 경우에는 해당사항이 없지만, 이를 위한 자동화 기술은 상용화되어 있지 않다. 본 논문에서는 가상 광고에 적용할 수 있는 기법을 제안하고자 한다. 첫 번째로 영상처리를 활용하여 클립영상의 간판 영역을 다른 광고 이미지로 교체하는 기법을 제안한다. 이를 위하여 영상에서의 간판 영역을 추적하는 기법과 자연스럽게 합성하기 위한 색 보정 방법 그리고 가려짐을 처리하기 위한 방안을 제시함으로써 실제로 영상에 적용될 수 있음을 실험을 통하여 보일 것이다. 두 번째로는 미래 가상광고 기법에 적용될 수 있는 3차원 정보를 활용한 객체의 텍스쳐 교체 기법을 제안한다. 이는 RGB-D 카메라를 사용하여 객체의 3차원 정보를 복원하고, 3차원 물체에 텍스쳐를 맵핑하는 모델링 기법과 모델 기반의 카메라 추적 기법을 적용하여 RGB 영상에서 실시간으로 객체의 텍스쳐가 교체된 것을 증강하는 것을 실험을 통하여 가능성을 확인함으로써 미래의 가상광고에 활용될 수 있는 핵심 기법을 제안할 것이다.