Frame Rate Up-Conversion에서 자막처리에 관한 연구

Abstract

본 논문에서는 frame rate up-conversion (FRUC)에서 새로운 영상을 생성할 때 자막 영역에서 발생할 수 있는 블록 잡음(block artifact)을 줄이기 위해 자막 영역을 처리하는 방법을 제안한다.. 제안하는 방법은 크게 움직임 추정 단계, 자막 영역 검출 단계 그리고 적응적인 중복 블록 움직임 보상 단계로 구성되어 있다. 먼저 움직임 추정 단계에서는 블록 기반 양방향 움직임 추정 방법(bi-directional BMA)을 사용한다. 이전 영상과 이후 영상에서 블록간의 차이를 계산하기 위해 일반적으로 사용하는 sum of bilateral absolute difference(SBAD)와 추가적으로 영상의 밝기 변화에 강인한 sum of absolute RGB rate difference(SARD)를 사용하여 에러 값을 측정하였다. 또한, 제안하는 방법에서는 더 정확한 움직임 벡터를 구하기 위해 블록보다 일정한 크기만큼 더 큰 가상의 블록을 사용하여 더 많은 정보를 반영한 SBAD와 SARD을 측정하였다. 일반적으로 영상에서 같은 물체 상에 있는 블록들은 물체의 움직임에 똑같은 영향을 받기 때문에 비슷한 움직임 벡터를 가져야 한다. 따라서, 어떤 블록이 이웃하는 주변 블록들과 다른 움직임 벡터를 가진다면 중간값 필터(median filter)를 통해 움직임 벡터를 교정하였다. 다음으로 자막 영역을 검출 단계에서는 정지된 자막과 흐르는 자막으로 구분하여 자막을 검출하였다. 정지된 자막 검출을 위해 자막이 변하는 구간을 구한 후, 각 구간에 포함된 영상들을 이용하여 동일한 위치에 존재하는 경계선 영역을 각각 구하는 것으로 정지된 자막영역을 검출한다. 흐르는 자막을 처리하기 위해서는 각 행 별로 움직임 벡터의 평균을 구한 후 그 평균 벡터를 사용하여 흐르는 자막 영역을 검출하였다. 마지막으로 적응적인 중복 블록 움직임 보상 단계에서는 생성되는 영상의 모든 블록에서 각각 이웃하는 블록과의 움직임 벡터의 차이를 측정하여 그 차이가 클 경우 낮은 가중치를 적용하고 그 차이가 낮을 경우 높은 가중치를 적용하여 이웃하는 블록들간의 가중치 합을 통한 밝기값 평탄화 방법을 제안한다. 실험 결과 제안하는 방법은 자막이 존재하는 영상에서 흐르는 자막과 정지된 자막 영역을 적절하게 처리함과 동시에 기존 방법보다 더 정확한 움직임 벡터를 사용하는 것으로 자막 영역 뿐 만 아니라 영상 전체적으로 블록 잡음이 감소되어 자연스러운 영상을 얻을 수 있었다. 또한, 중간 영상을 생성할 때 사용되는 적응적인 중첩 블록기반 움직임 보상 방법을 통해 물체와 물체의 경계에서도 블록 잡음이 없이 효과적으로 영상을 생성할 수 있었다.