프레임 보간을 위한 프레임 차이 기반의 적응형 확장 블록 움직임 추정 및 구현

Abstract

Hold-type 디스플레이인 LCD 장치는 하나의 프레임 동안 픽셀 값을 유지하기 때문에 영상 끌림 현상 (motion blurring) 이 발생한다. 이 문제를 극복하기 위하여 다양한 프레임 레이트 업 컨버젼 (Frame Rate-up Conversiosn : FRC) 알고리즘이 적용되고 있다. FRC 기술은 초당 프레임 사이의 시간을 줄이기 위하여 프레임 보간을 수행하여 프레임 수를 증가시키는 방법을 의미한다. FRC는 일반적으로 움직임 추정 (Motion Estimation : ME) 과 움직임 보상 (Motion Compensation) 으로 구성이 된다. 움직임 추정은 연속된 프레임에서 움직임 벡터를 찾는 과정이고 움직임 보상은 움직임 벡터를 이용하여 새로운 프레임을 만드는 과정을 말한다. 여기서 움직임 추정에서 잘못된 움직임 벡터를 찾게 되면 보간될 프레임에 화질 열화를 일으키기 때문에 움직임 추정의 과정이 중요하다. 본 논문에서는 정확한 움직임 벡터를 구하기 위하여 프레임 차이 맵에 기반한 적응형 확장 블록 움직임 추정을 제안하였다. 제안된 알고리즘은 연산될 블록에 대하여 이웃한 블록의 상관도를 고려하여 상관성이 높은 이웃 블록과 현재 블록의 픽셀을 이용하여 움직임 추정을 수행한다. 또한 프레임 차이 맵을 기반으로 현재 블록의 3가지의 블록으로 나눈 다음, 각 블록에 대하여 연산 방법을 결정하게 된다. 움직임이 있는 블록은 적응형 확장 블록으로 움직임 추정을 수행하고 빛의 변화가 있는 블록은 이전 블록과 현재 블록의 평균 값으로 대체하며 마지막으로 움직임이 없는 블록에는 이전 블록의 반복을 사용한다. 이로써 전체적인 연산량도 줄일 수 있다. 제안된 알고리즘을 평가하기 위하여 시각적인 평가와 객관적인 평가를 수행하였다. 시각적인 평가는 각 알고리즘의 결과 영상을 비교함으로써 수행되었고, 객관적인 평가는 PSNR (Peak Signal to Noise Ratio) 와 연산이 수행된 블록의 개수를 비교함으로 수행되었다. 실험 결과에서 살펴보면 제안된 알고리즘이 기존의 알고리즘보다 화질과 연산량에 대하여 더 좋은 결과를 나타냄을 알 수 있다. 제안된 알고리즘은 verilog HDL 을 통하여 설계되었으며 사용 툴은 Xilinx92i와 ModelSim6.2g 를 사용하였다. FPGA 디바이스는 Spartan3-2000을 사용하였다. 설계된 프로세서에서 사용되는 동작 주파수는 50MHz이고 시스템의 총 게이트 수는 프레임 메모리를 제외하고 362,154개가 사용되었다.; Motion blurring that occurs by maintaining the pixel values from the current to the next frame in a liquid crystal display (LCD) is one of the serious problems of the hold-type display panel such as a LCD. Various frame rate-up conversion (FRC) algorithms have been applied to reduce the motion blurring. FRC refers to the technique that performs frame interpolation to shorten frame intervals by increasing frame rates. FRC consists of Motion Estimation (ME) and Motion Compensation (MC). ME is to find motion vectors between two sequential frames, and the MC is to construct new frames using the motion vectors. ME is important process, because the accuracy of motion vectors has an effect on quality of constructed frames. In order to find true motion vectors, we propose a motion estimation method using an adaptively expanded block based on a frame difference map. The proposed algorithm can find its corresponding true motion vector from a new block, which is an adaptively constructed expanded block with neighborhood blocks. And the number of calculated blocks can be reduced by observing the frame difference map. Performance of the proposed algorithm was assessed through visual and quantitative evaluations. The visual evaluation was executed by comparison between the proposed algorithm and the existing algorithms such as FSME and OBME. Quantitative evaluation was performed by the peak signal to noise ratio (PSNR) and number of calculated blocks. The experimental results show that the proposed method has better performance and lower complexity than conventional methods. The proposed method has been designed by verilog HDL and FPGA. Spartan3-2000 device is used for implementing. The proposed hardware system uses 100MHz system-clock. And the total gate count of proposed method is 362,154.