향상된 율-왜곡 최적화 및 움직임 벡터 탐색을 통한 H.264/AVC 비디오 부호화기 개선 기법

Abstract

H.264/AVC는 ISO/IEC의 Moving Picture Experts Group (MPEG)과 ITU-T Video Coding Experts Group (VCEG)의 공동 작업으로 제정된 동영상 부호화를 위한 국제 표준이다. H.264/AVC는 부호화 효율을 높이기 위하여 이전의 여러 동영상 부호화 표준에는 없던 새로운 기술 요소들을 사용하였으며, 이러한 기술 요소들에는 가변 블록 크기를 비롯한 1/4-화소단위의 움직임 추정 및 보상, 다중 참조 프레임의 사용, 루프필터, 인트라 예측 등이 포함된다. H.264/AVC의 VBS는 복잡하고 움직임이 많은 영역에서 보다 정확한 움직임 예측/보상을 제공하기 위해 16x16보다 작은 크기의 블록을 허용한다. 또한 블록 크기는 한 화면 안에서 영역별로 다를 수 있으며 프레임 별로도 다를 수 있다. VBS는 부호화 효율 향상에 중요한 역할을 하지만 H.264/AVC 부호화기 구현 시 몇 가지 문제를 야기한다. 먼저 VBS는 부호화 효율에 많은 영향을 끼치는 모드 선택의 문제를 야기한다. VBS의 활용도를 극대화 하기 위해 H.264/AVC 참조 소프트웨어인 JM은 율-왜곡 최적화 (RDO)를 모드 결정 방법으로 제공한다. RDO는 많은 모드를 율-왜곡 최적화 측면에서 효율적으로 고려할 수 있다. 하지만 RDO는 많은 복잡도를 요구하기 때문에 실시간 처리를 요구하는 응용에는 적합하지 않다. 그렇기 때문에 많은 응용에서 H.264/AVC 부호화기는 부호화 효율 저하를 일으키지 않는 고속 모드 결정 기법이 필요하다. 또한 VBS는 특정한 고속 움직임 벡터 탐색 기법이 H.264/AVC 부호화기에 적용되는 과정에서 문제를 일으킨다. 고속 움직임 벡터 탐색 방법 중 하나인 이진 블록 기반 움직임 벡터 탐색 방법은 변환을 사용하여 참조 프레임과 현제 프레임을 이진 표현으로 바꾼 뒤 XOR 연산을 사용하여 최적 움직임 벡터를 결정한다. 비트 연산은 ALU를 사용하지 않기 때문에 이러한 움직임 벡터 탐색 방법들은 특히 하드웨어로 구현된 비디오 부호화기에서 많은 복잡도 감소를 가져온다. 하지만 이진 블록 기반 움직임 벡터 탐색 방법은 작은 블록 단위 움직임 벡터 예측 시 많은 성능 저하를 일으킨다. H.264/AVC 부호화의 VBS는 작은 블록 단위 움직임 벡터 예측을 허용하기 때문에 이진 블록 기반 움직임 벡터 예측이 H.264/AVC 부호화기에 적용되기 위해서는 성능 향상이 필요하다. 본 논문은 RDO와 이진 블록 기반 움직임 벡터 예측을 H.264/AVC 부호화기를 위해 향상시키는데 초점을 두고 있다. 먼저 H.264/AVC inter 부호화를 위한 고속 모드 결정 방법이 제안된다. 제안하는 inter 모드 결정 방법은 현재 블록의 특성에 따라 제한된 블록 모드에 대해서만 모드 결정 과정을 수행하며 많은 복잡도 감소를 얻을 수 있드나 약간의 부호화 효율 감소를 불러온다. 제안된 inter 모드 결정 방법에 의해 발생한 부호화 효율 저하를 보상하기 위하여 향상된 intra 모드 결정 방법을 제안한다. 제안하는 intra 모드 결정방법은 예측 모드를 선택하는 과정에서 블록 간 의존성을 고려함으로써 부호화 효율을 향상시킨다. 이와 더불어 이진 블록 기반 움직임 벡터 예측을 위한 개선된 블록 정합 기준을 제안한다. 제안하는 블록 정합 기준은 기존 블록 정합 기준의 정밀도를 높임으로써 기존 방법에 비해 작은 블록 단위 움직임 벡터 예측 시 높은 성능을 얻을 수 있기 때문에 H.264/AVC 부호화기에 적용시 Full Search와 비슷한 성능을 얻을 수 있다.; H.264/AVC, the result of the collaboration between ISO/IEC Moving Picture Experts Group (MPEG) and ITU-T Video Coding Experts Group (VCEG), is the state-of-the-art standard for video coding. For improvement of compression efficiency, H.264/AVC adopts several new coding tools including quarter-pixel-accuracy motion estimation/compensation, Variable Block Size (VBS), multiple reference frames, in-loop de-blocking filter, intra-prediction in spatial domain, and so on, which the previous coding standards do not employ. In H.264/AVC, VBS allows the smaller block size than 16x16 for more accurate motion estimation/compensation in detailed and active regions. Additionally, block size for motion compensation can be different between different areas of the picture, as well as between frames. VBS for inter and intra blocks plays an important role in the improvement of coding efficiency, but it results in several problems in implementation of H.264/AVC encoder. First of all, the mode decision problem is caused by VBS because selecting the optimal mode significantly impacts on the coding efficiency. To take full advantage of VBS, H.264/AVC reference software, JM, employs Rate Distortion Optimization (RDO) as a mode decision method. RDO can effectively evaluate a large number of possible coding modes in an optimized fashion. However, RDO is not suitable for the real-time encoding because it requires a large amount of computations. Therefore, H.264/AVC encoder in many applications requires a fast mode decision method which does not result in significant coding efficiency drop. Moreover, VBS makes it difficult to apply some fast motion estimation algorithms for H.264/AVC encoder. Binary block-based motion estimation methods convert the reference frame and the current frame into one-bit representation using a transform kernel and calculate the matching error using exclusive-OR (XOR) operation. Because XOR does not use Arithmetic and Logic Unit (ALU) in calculating matching error, binary block-based motion estimation algorithms achieve significant complexity reduction especially in hardware implemented video encoders. However, these algorithms usually result in significant prediction accuracy drop in motion estimations with the small search blocks (ex, 8x8, 8x4, 8x4, and 4x4). In this reason, binary block-based motion estimation algorithms should be modified for H.264/AVC encoder because VBS of H.264/AVC includes small size block modes. This dissertation focuses on improving RDO and binary block-based motion estimation to enhance H.264/AVC encoder. To solve the complexity problem of RDO, a fast mode decision algorithm for H.264/AVC inter coding is proposed. The proposed inter mode decision performs RDO for the reduced number of candidate modes according to the characteristic of the current macroblock. The proposed inter mode decision algorithm achieves noticeable coding time reduction but results in some coding efficiency drop. To complement coding efficiency drop caused by the proposed inter mode decision, an improved intra mode decision algorithm is proposed. The proposed intra mode decision algorithm choices prediction modes by efficiently considering inter block dependence between neighboring blocks. Then, a modified block matching criterion for binary block-based motion estimations is proposed. The proposed block matching criterion makes it possible to implement binary block-based motion estimation in H.264/AVC encoder without noticeable motion estimation accuracy drop by expanding the precision of the block matching criterion. The proposed block matching criterion only requires a little additional computation compared to the original binary block-based motion estimation methods.