양방향 특징요소 기반 강인한 실제 움직임 추정을 이용한 고해상도 프레임율 증강 기법

Abstract

최근 통신과 방송 기술이 발전함으로써 영상 통신 기술의 중요성이 증대됨에 따라 관련 기술이 빠르게 발전하고 있다. 또한 국내외 디스플레이 기술의 발전으로 TV 방송은 과거 흑백 TV 방송을 시작으로 현대의 디지털 고해상도 (high definition TV: HDTV) 방송에 이르기까지 빠른 기술발전을 이루었고 이에 따라 대용량의 고해상도 영상 수요가 크게 증가하고 있는 추세이다. 이러한 시대적 요구에 부합하기 위해 대용량의 데이터를 성능과 속도를 고려하여 효율적으로 다루는 높은 단계의 비디오 압축 기술이 필요성이 증대되었다. 그러나 영상 데이터의 방대한 양을 고려하였을 때 데이터를 제한된 대역폭 내에서 손실 없이 압축하여 전송하는 것은 매우 비효율적이다. 이러한 문제점을 극복하기 위하여 프레임율 증강 기법(frame rate up conversion: FRUC)이 활용되고 있다. 프레임율 증강 기법은 영상 통신 시, 제한된 대역폭 내에서 원본 프레임들 간의 움직임 정보를 활용하여 낮은 프레임율의 영상을 높은 프레임율의 영상으로 전환시키는 기술로써, 영상의 움직임을 더욱 부드럽고 자연스럽게 표현하여 영상 화질을 향상시킬 수 있는 기술이다. 현재 영상의 프레임율 향상을 위해 원본 프레임으로부터 움직임 추정된 움직임 벡터를 활용하여 움직임 보상 과정을 통해 새로운 보간 프레임을 형성하는 방법이 사용된다. 즉, 움직임 추정 과정 및 움직임 보상 과정은 프레임율 증강 기법의 가장 핵심적인 기술이라고 할 수 있다. 다양한 움직임 추정 방법 중에서 크게 전역 탐색(full search) 기술과 실제 움직임 추정(true motion estimation) 기술이 있으며 탐색 영역 내에서 최적의 움직임 벡터를 추정하게 된다. 프레임율 증강 기법은 특성상 효율적인 성능을 보임과 동시에 빠른 속도로 프레임율을 증가 시켜야 하기 때문에 전역 탐색 기술에 비해 주변 움직임 벡터들을 후보군으로 활용하는 실제 움직임 추정 기술이 큰 장점을 보이고 있다. 그러나 기존의 실제 움직임 추정 시, 현재 처리하는 블록 주변의 공간적, 시간적 이외에 업데이트 움직임 벡터 후보군들의 최소 SBAD(sum of bi-directional absolute differences) 값을 활용하여 현재 블록의 움직임 벡터를 채우기 때문에 잘못 추정된 움직임 벡터가 후보군으로 설정되어 현재 블록에 영향을 주게 될 시, 심각한 오류 전파 현상이 나타나는 단점이 있다. 따라서 실제 움직임 추정 시 오류 전파 현상을 효율적으로 없애는 것이 가장 중요한 이슈라고 할 수 있다. 본 논문에서는 양방향 특징요소 검출에 기반하여 적응적인 실제 움직임 추정을 통한 고해상도 프레임율 증강 기법 알고리듬을 제안한다. 제안하는 알고리듬은 실제 움직임 추정 시 발생되는 오류 전파 현상을 방지하기 위해 원본 프레임 내에서 특징점 검출 알고리듬인 FAST(features-from accelerated segment test) Detector를 기반으로 새로운 적응적 임계값 추정을 활용하여 양질의 특징점을 검출한 후, 특징점을 중심으로 블록화를 통해 단방향 움직임 추정을 수행한다. 이후 보간 프레임 내에서 특징점 후보군을 형성하고, 공간적, 시간적, 업데이트 후보군에 특징점 후보군을 포함하는 새로운 primary. secondary 후보군을 형성하여 각각의 후보군을 재귀적으로 활용한 강인한 실제 움직임 추정을 수행한다. 최종적으로 움직임 보상 과정에서는 OBMC(overlapped block motion compensation)를 통하여 블록 열화를 줄이고 주관적 화질을 향상시킨 보간 프레임을 생성한다. 본 논문에서는 제안하는 알고리듬과 기존 알고리듬의 객관적 화질 성능을 PSNR, SSIM을 통하여 평가하며, 처리 속도와 주관적 화질 평가를 통해 전체적인 성능을 분석한다. 실험 결과를 통해 제안하는 알고리듬이 기존의 알고리듬에 비해 향상된 화질 성능과 빠른 속도를 보임을 알 수 있다.