Fast Encoding and Error Concealment Techniques for H.264/AVC Video Compression

Abstract

H.264/AVC는 ISO/IEC의 Moving Picture Experts Group (MPEG)과 ITU-T Video Coding Experts Group (VCEG)의 공동 작업으로 제정된 동영상 부호화를 위한 국제 표준이다. H.264/AVC는 부호화 효율을 높이기 위해서 이전의 여러 동영상 부호화 표준에는 없던 새로운 부호화 도구들을 사용하였으며, 이러한 부호화 도구들에는 다양한 블록크기를 사용한 1/4-화소단위의 움직임 추정 및 보상, 다중 참조 프레임의 사용, 루프필터, 공간영역에서의 예측 등이 포함된다. 비록 이전의 여러 부호화 표준들처럼 H.264/AVC 표준 또한 부호기의 구조를 직접 정의하지는 않지만, H.264/AVC에서 추가된 새롭게 추가된 부호화 도구들은 실제 구현 시 이전의 여러 부호화 표준들과 비교하여 많은 연산량을 요구한다. 이렇게 증가된 부호기의 연산량으로 인해 저속(低速) 단말기에서 H.264/AVC 비디오의 실시간 부호화는 많은 제약이 따르게 된다. 이러한 문제점을 해결하기 위한 방법으로서 본 학위 논문에서는 H.264/AVC 비디오의 부호화 과정에서의 매크로블록 모드의 예측을 통한 고속 부호화 기법을 제안한다. 이는 인트라모드(intra-mode)와 해당블록의 에지 방향 사이에 높은 상관성이 있다는 점과 움직임 벡터 추정을 위해 사용되는 여러 매크로블록 모드들의 비용값이 블록이 나뉘는 방향에 따라 단조 증가 또는 단조 감소한다는 점을 이용한 알고리듬이다. 또한 본 학위논문은 H.264/AVC 비디오의 복호화 과정에서 사용될 수 있는 저복잡도(低複雜度)를 가지는 에러은닉 기법을 제안한다. H.264/AVC는 이전의 여러 부호화 표준들과 비교하여 많은 새로운 특징을 가짐에도 불구하고 H.264/AVC를 위한 대부분의 에러은닉기법들은 이러한 특징들을 충분히 활용하지 못하고 있다. 제안하는 알고리듬은 H.264/AVC의 새로운 특징, 보다 정확히 말해 H.264/AVC 비트열 내에 포함되어 있는 정보를 활용하는 공간적 에러은닉기법과 두 가지의 시간적 에러은닉 기법을 제안한다. 먼저 인트라프레임(intra-frame)에 적용할 수 있는 공간적 에러은닉 기법에는 손실 블록 주변에 위치한 예측모드 정보를 사용하여 손실된 블록을 복원하며, 인터프레임(inter-frame)에 적용할 수 있는 시간적 에러은닉 기법 중 하나는 옵티컬플로워를 이용하여 손실된 매크로블록내의 움직임벡터를 복원하고, 다른 하나는 OBMA에 기반한 비용함수를 사용하여 손실된 매크로블록을 복원한다. 요약하면, 본 학위논문은 H.264/AVC 비디오의 고속 부호화 및 에러은닉을 위한 다섯 가지 서로 다른 알고리듬을 포함하고 있다. 실험을 통하여 제안한 H.264/AVC의 고속 부호화 알고리듬은 인트라프레임의 부호화 시간 및 인터프레임의 부호화 시간을 각각 81% 및 79% 감소시키는 것으로 나타났다. 제안하는 공간적 에러은닉 기법은 현재 H.264/AVC 참조소프트웨어에서의 방법과 비교하여 고립된(isolated) 매크로블록 오류 및 연속된(consecutive) 매크로블록 오류에 대해서 각각 최대 4 dB 및 1 dB의 객관적 화질 향상을 가져오며, 두 개의 제안한 시간적 에러은닉 기법 역시 약 1-3dB의 객관적 화질 향상을 가져옴을 알 수 있다. 더욱이 높은 화질 향상 성능에도 불구하고, 제안하는 에러은닉 기법은 현재의 H.264/AVC에서 사용되는 방법보다도 적은 곱셈연산만을 가진다.; H.264/AVC, the result of the collaboration between ISO/IEC Moving Picture Experts Group (MPEG) and ITU-T Video Coding Experts Group (VCEG), is the state-of-the-art standard for video coding. For improvement of compression efficiency, H.264/AVC adopts several new coding tools including quarter-pixel-accuracy motion estimation and compensation using variable block size (VBS), multiple reference frames, in-loop filter, intra-prediction in spatial domain, and so on, which the previous coding standards do not have. The implementation of new coding tools generally requires higher computational load than previous coding standards, even if H.264/AVC does not explicitly define an encoder structure in common with earlier coding standards. Owing to increased complexity, the real-time encoding in low-speed terminals has a lot of restrictions. In order to alleviate this problem, this dissertation proposes a fast encoding algorithm of H.264/AVC video through prediction of macroblock mode. It exploits the fact that there is high correlation between intra-mode and edge tendency of the corresponding block in intra-frame, and the fact that the cost of macroblock is increased or decreased monotonically according to the partitioned directions in inter-frame. This dissertation also includes error concealment algorithms with low complexity for H.264/AVC video. Although H.264/AVC has new characteristics, they are not reflected in most of techniques for error concealment of H.264/AVC. By using these characteristics, strictly speaking, the information included in H.264/AVC-coded bitstream, one spatial error concealment algorithm and two temporal error concealment algorithms are proposed. The proposed spatial error concealment method uses prediction mode information of neighboring blocks to recover damaged macroblocks in intra-frame. One of the temporal error concealment methods restores motion vectors of damaged macroblocks using flow velocity vectors, and the other recovers damaged macroblocks using overlapping boundary matching (OBMA) cost function. Consequently, five proposed algorithms were included for fast encoding and error concealment of H.264/AVC video in this dissertation. Simulation results showed that the proposed algorithm for fast encoding could save the total encoding time of 81% and 79% in intra- and inter-frames, respectively. The spatial error concealment improved the objective video qualities up to 4 dB and 1 dB for isolated block error and consecutive block error, respectively. Temporal error concealment method based on optical flow and OBMA also improved the objective video quality of reconstructed images about 1-3dB. Besides, the proposed error concealment techniques had the fewer number of multiplications than the existing method of H.264/AVC reference software.