율-왜곡 최적화에 기반한 H.264/AVC 부호화기의 복잡도 감소 및 트랜스코딩에의 응용

Abstract

H.264/AVC는 ISO/IEC의 Moving Picture Experts Group (MPEG)과 ITU-T Video Coding Experts Group (VCEG)의 공동 작업으로 제정된 최신의 비디오 부호화를 위한 국제 표준이다. H.264/AVC는 기존의 비디오 부호화 표준보다 높은 부호화 효율을 나타낸다. 이것은 인트라 예측, 다양한 크기의 블록 기반 움직임 추정 기술, 다중 참조 프레임을 이용한 움직임 추정, 정수 기반 변화 기법, 디블록킹을 위한 루프필터, 내용 기반 가변 길이 부호와 같은 새로운 기능의 적용에 따른 것이다. 이러한 다양한 기능들의 최적의 부호화 조합을 찾기 위해 H.264/AVC 부호화기는 율-왜곡 최적화 기술을 사용한다. 율-왜곡 최적화 과정에서 최적의 부호화 모드의 조합은 가장 작은 율-왜곡 값을 가지는 모드의 조합으로 선택된다. 하지만 율-왜곡 값은 부호화 과정 후에 계산될 수 있으므로 부호화기에 많은 연산량을 필요로 한다. 이러한 구조은 실시간 부호화기의 구현에 적합하지 않다. 따라서 부호화 효율은 유지하면서 율-왜곡 과정에서 발생하는 연산량을 감소시키기 위한 방법에 대한 연구가 필요하다. 율-왜곡 과정에서 발생하는 부호화기의 복잡도를 감소시키기 위해 본 논문에서는 다중 참조프레임의 선택 방법과 트랜스코더에서의 인터 모드 선택 과정의 복잡도 감소 방법에 관한 연구에 초점을 맞추었다. 다중 참조 프레임을 이용한 움직임 보상 과정에서는 이전에 부호화된 프레임 여러장의 프레임이 움직임 추정과정에서 사용된다. 비록 다중 참조 프레임을 사용한 움직임 보상 방법이 한 장의 프레임만을 사용하는 방법보다 높은 화면간 부호화 성능을 나타내지만 요구되는 복잡도는 움직임 추정에 사용된 프레임의 개수에 따라 증가한다. 이러한 복잡도 문제를 해결하기 위해 제안된 참조 프레임 선택 방법은 움직임 추정 과정에서 선택된 참조 영역과 현재의 매크로 블록의 공간적 복잡도의 상관성을 이용한다. 이러한 상관관계를 이용하여 제안된 방법은 무시할 만한 부호화 효율의 감소와 높은 부호화 시간 감소 효과를 보여준다. 비디오의 범용성을 높이기 위해 사용되는 트랜스코딩은 많은 응용분야를 가지고 있다. 특히 기존의 비디오 부호화 표준으로부터 높은 부호화 효율을 가진 H.264/AVC로의 트랜스코딩의 중요성이 현재 강조되고 있다. 이러한 트랜스코딩 과정에서 부호화단에 위치한 율-왜곡 최적화 방법에 기반한 H.264/AVC 부호화기의 복잡도는 실시간 트랜스코더 구현에 적합하지 않다. 따라서, 본 논문에서는 트랜스코더 복호단으로부터의 정보를 이용한 고속 인터 모드 결정 방법이 제안된다. 제안한 방법은 입력 비트열의 움직임 벡터에 의해 지시되는 참조영역 복잡도 정보와 적응적 결정값 선택 방법에 기반한다. 이러한 과정을 통해 부호화 효율의 감소 없이 트랜스코더의 복잡도를 줄일 수 있다.; H.264/AVC is the latest video coding standard which was developed by the joint video team of ISO/IEC Motion Picture Experts Group (MPEG) and ITU-T Video Coding Experts Group (VCEG). It has significantly better coding performance than other coding standards due to the adoption of several new techniques including directional prediction of intra-coded blocks, variable block size motion estimation, multi-reference frame motion compensation, integer transform, an in-loop de-blocking filter, and context adaptive variable length code. To find the most efficient coding mode combination, the H.264/AVC encoder generally uses a rate distortion optimization (RDO) technique. In the RDO process, the best coding mode combination is one that produces the least rate distortion (RD) cost. However, since the RD cost is calculated only after a sequence of encoding operations, it results in extremely high computational complexity in the encoder. This process is not suitable for real-time encoding. Therefore, the algorithms for reducing the complexity of H.264/AVC caused by the RDO process are required with maintaining the coding efficiency. To reduce the complexity of the H.264/AVC encoder caused by RDO, this dissertation focuses on the multiple reference frame selection problem and inter-mode decision problem in transcoding to H.264/AVC. When using the multiple reference frame motion compensation (MRF-MC) method, the best picture in several pre-coded frames is used to perform motion estimation. Although MRF-MC supports better inter-prediction performance than those of methods that use just one previous frame, the required computational complexity increases with the number of searched frames. To solve this problem, the proposed multiple reference frame selection algorithm is based on the correlation between the temporal complexity of the reference region for a motion estimation process and the current macro block. The proposed algorithm uses this property to achieve a noticeable coding time reduction with a negligible drop in coding efficiency. Transcoding for universal multimedia access is used in many applications. In particular, the transcoding to H.264/AVC, which is improved in terms of coding efficiency, is required. In the transcoding process, the complexity of the H.264/AVC encoder part with RDO is not suitable for real-time implementation. To alleviate the complexity, information from the decoding part in transcoder is used. The proposed algorithm is based on reference region complexity information, which is indicated by the motion vector in the input bitstream, and the adaptive threshold selection method. By using this algorithm, the transcoder complexity is alleviated without significant loss of the RD performance.