적응적 임계값과 움직임 재추정에 기반한 효율적인 프레임율 증가 알고리듬

Abstract

최근 광대역 시대로의 급속한 발전에 따라 통신과 방송의 융합이 주목 받고 본격적인 영상 통신 시대가 도래하고 있다. 또한 디스플레이 장치의 발전으로 방대한 양의 고해상도 영상의 수요가 증가하고 있다. 이러한 시대적 요구에 부합하기 위해서 더욱 고성능의 비디오 압축 기술이 필요하게 되었다. 그러나 제한된 대역폭에서 고해상도의 데이터를 손실 없이 압축하여 전송하기는 어렵다. 이러한 문제점을 극복하기 위하여 다양한 프레임 레이트 업 컨버젼(frame rate-up conversion) 기술이 적용되고 있다. 프레임 레이트 업 컨버전은 영상이 가지는 프레임 레이트(frame rate)를 존재하는 프레임을 이용하여 증가시키는 방법을 의미한다. 현재는 영상의 프레임 레이트를 향상시키기 위해 인접하는 프레임으로부터 움직임 보상을 통해 예측된 움직임 벡터를 이용하는 방법이 사용된다. 즉, 움직임 벡터 탐색 방법인 전역 탐색(full search) 기술을 이용하여 탐색 영역내의 최적의 움직임 벡터를 추정하여 새로움 프레임을 보간한다. 여기서 정확하지 않은 움직임 벡터를 예측할 경우에는 보간되는 프레임에는 심각한 에러를 포함하게 된다. 따라서 움직임 벡터를 추정하고 보상하는 과정은 프레임 레이트 업 컨버전의 가장 핵심적인 기술이라고 할 수 있다. 본 논문에서는 움직임 보상 과정에서 예측된 움직임 벡터를 이용하여 영상을 보간하는 프레임 보간 기법을 제안하였다. 또한 기준 프레임과 움직임 벡터가 예측되는 참조 프레임을 다르게 적용하는 양방향 움직임 보상 과정을 적용하였다. 그리고 예측된 움직임 벡터를 이용하여 보간 프레임을 생성하는 과정에서 블록 위치 기반과 움직임 벡터 위치 기반 보간 방법을 적용함으로써 총 4장의 예비 프레임을 생성하게 된다. 이 과정에서 정확한 움직임 벡터만을 선택하기 위해 임계값을 설정하여 임계값에 만족하는 예측 블록만을 보간한다. 여기서 신뢰도가 높은 블록만을 보간하기 때문에 생성되는 예비 프레임은 폐색 구간을 포함한다. 각각의 예비 프레임은 움직임 벡터와 블록 보간 위치가 다르기 때문에 포함하고 있는 폐색 구간의 위치 또한 다르다. 따라서 프레임 병합 과정을 통해 폐색 구간을 보간할 수 있다. 또한 모든 프레임에 폐색 구간을 포함하는 위치가 발생하는데, 이 영역에 대해서는 보간된 영상의 데이터를 재탐색 과정에 이용함으로써 최종적인 보간 프레임을 생성한다. 본 논문에서는 제안하는 알고리듬의 성능을 입증하기 위해 기존 알고리듬과의 주관적 화질 및 객관적인 성능 분석을 위해 PSNR을 평가한다. 실험 결과를 통해 제안된 알고리듬이 기존 알고리듬보다 더 좋은 결과를 나타내는 것을 확인할 수 있다.|Recently, as the wideband technology develops rapidly, the convergence of communication and broadcast is becoming the issue. Also, the development of communication technology means that the data processing is efficiently required in order to transmit high resolution video of huge amounts of data. To satisfy this trend, high efficient video coding techniques are needed. However, the missing data occur when the image compression is performed in the limited bandwidth. Various frame rate-up conversion algorithms have been applied to solve this problem. Frame rate-up conversion is a technique increasing the frame rates. The motion vectors that are estimated by adjacent frames are applied to enhance the frame rates and minimize the missing data. In other words, the interpolated frame is generated by the full search in the motion estimation technique. If an interpolated frame has inaccurate motion vectors, serious error is occurred. Therefore, the motion estimation and compensation are fundamental to frame rate-up conversion algorithm. This thesis presented a frame interpolation algorithm using the motion vectors that are obtained by the motion compensation. We also applied the bi-direction motion compensation that a standard and reference frames are used differently, and the interpolation method of the block-based and the motion vector-based. Then, we can make four preliminary frames. In this process, the estimated blocks satisfying threshold are only interpolated to select accurate motion vectors. The occlusion areas are occurred in four preliminary frames. These preliminary frames have the different occlusion area respectively since the motion vectors and the positions of the interpolated blocks in each preliminary frame are also different. These preliminary frames are merged in order to interpolate the occlusion area. The occlusion areas, which still exist in the merged frame, are interpolated by using the neighbouring pixels and the available data in the occlusion block. In this thesis, the experimental results show that the performance of the proposed algorithm has better PSNR and the visual quality than the conventional algorithm.; Recently, as the wideband technology develops rapidly, the convergence of communication and broadcast is becoming the issue. Also, the development of communication technology means that the data processing is efficiently required in order to transmit high resolution video of huge amounts of data. To satisfy this trend, high efficient video coding techniques are needed. However, the missing data occur when the image compression is performed in the limited bandwidth. Various frame rate-up conversion algorithms have been applied to solve this problem. Frame rate-up conversion is a technique increasing the frame rates. The motion vectors that are estimated by adjacent frames are applied to enhance the frame rates and minimize the missing data. In other words, the interpolated frame is generated by the full search in the motion estimation technique. If an interpolated frame has inaccurate motion vectors, serious error is occurred. Therefore, the motion estimation and compensation are fundamental to frame rate-up conversion algorithm. This thesis presented a frame interpolation algorithm using the motion vectors that are obtained by the motion compensation. We also applied the bi-direction motion compensation that a standard and reference frames are used differently, and the interpolation method of the block-based and the motion vector-based. Then, we can make four preliminary frames. In this process, the estimated blocks satisfying threshold are only interpolated to select accurate motion vectors. The occlusion areas are occurred in four preliminary frames. These preliminary frames have the different occlusion area respectively since the motion vectors and the positions of the interpolated blocks in each preliminary frame are also different. These preliminary frames are merged in order to interpolate the occlusion area. The occlusion areas, which still exist in the merged frame, are interpolated by using the neighbouring pixels and the available data in the occlusion block. In this thesis, the experimental results show that the performance of the proposed algorithm has better PSNR and the visual quality than the conventional algorithm.