Fast Thumbnail Extraction Methods with Partial Decoding in HEVC Bitstream

Abstract

HEVC (High Efficiency Video Coding)는 VCEG (Video Coding Experts Group)와 MPEG (Moving Picture Experts Group)이 공동으로 개발한 비디오 압축의 새로운 표준이다. HEVC는 기존 비디오 코딩 표준인 H.264/AVC와 동일한 주관적 화질로 비트율을 50% 수준으로 낮춤으로써 좋은 압축 성능을 보여주었다. 최근에는 HEVC표준을 이용한 다양한 서비스 어플리케이션이 개발되어 UHD에서의 고속 영상처리 방법들이 활발히 연구되고 있다. 이러한 연구 중 하나는 이미지 크기를 줄이는 것으로써, 이 줄어든 이미지를 축소판 영상이라 한다. 축소 영상인 썸네일은 영상의 특성을 대략적으로 표현하는 데 필요한 전반적인 요소가 포함되어 있기 때문에 비디오의 빠르게 인덱싱하거나 비디오에서 원하는 부분을 빠르게 검색하는 것에 사용된다. 썸네일을 사용하는 또 한가지 이유는 원본 영상을 완전히 재구성하는 것보다 축소 영상을 추출하는 데 필요한 메모리와 연산량이 굉장히 낮기 때문이다. 부호화된 비디오 비트 스트림으로부터 썸네일 이미지를 생성하는 데 사용되는 방법은 썸네일의 한 픽셀, 즉 비트 스트림의 I 프레임 또는 I 슬라이스에서 부호화된 블록의 DC 값을 얻는 것이다. 이는 부호화된 주파수영역의 블록의 DC 값이 화소영역에서의 이미지 블록의 평균 값이라는 사실에 기반한다. 이 방법은 이미지 축소 및 역변환이 필요 없기 때문에 비트 스트림에서 이미지를 축소 및 보정하여 축소판 이미지를 생성하는 방법보다 복잡하지 않다. 그러나, HEVC에서는 화면내 예측을 사용하여 프레임 내의 예측 블록과 부호화 하려는 블록간의 차분치를 구한 뒤 부호화 된다. 즉, HEVC에서 DCT 영역의 DC 계수는 원래 블록의 평균값이 아니라 잔여 블록의 평균값이다. H.264/AVC에서도 화면내 예측이 수행되는데, 이러한 문제를 해결하기 위해서 H.264/AVC에서 주파수 영역에서 미리 정의한 Look-Up 표를 사용하여 썸네일 이미지를 빠르게 추출하는 몇 가지 접근법이 제안되었다. 그러나 각 모드 및 코딩 블록의 크기에 따른 Look-Up 표가 필요하기 때문에, 이들 방법은 굉장히 많은 Look-Up 표가 필요하게 된다. 본 논문에서는 HEVC에서 간단한 다운 샘플링 방법을 사용하여 빠르게 썸네일을 추출하는 알고리듬을 제안한다. 제안하는 방법은 썸네일을 추출하기 위한 계산 복잡도를 줄이기 위해 부분 복호화를 사용하여 4×4 경계부분마다 화소를 복원하고 in-loop filter를 생략한다. 제안하는 부분 복호화 과정은 변환 유닛 (TU) 및 예측 유닛 (PU)상에서 수행된다. 간단한 다운 샘플링 방법은 매 4×4 크기마다 썸네일 화소를 추출하는 4대1 다운 샘플링과 4×4 경계부분에만 복원된 7개의 화소에 대한 평균값을 사용한다. 또한, 앨리어싱 현상를 줄이기 위해 제안된 방법은 화면내 예측 모드에 기반한 미리 정의된 가중치 표를 사용하여 썸네일 이미지를 생성한다. 계산 복잡도와 앨리어싱 현상을 더욱 줄이기 위해서 효율적인 고속 썸네일 추출 알고리듬이 제안되었다. 제안된 알고리듬은 TU와 PU에 대해 부분 복호화룰 사용하여 TU 경계만을 재구성한다. 또한, TU 경계는 화면내 예측 모드에 따라 선택적으로 재구성된다. 썸네일 화소는 DCT영역의 저주파 영역에 있는 DCT계수에 대한 IDCT 및 미리 정의 된 가중치 표를 이용하여 생성된다. 제안된 알고리듬은 여러 시퀀스에 대해서 실험했으며 낮은 복잡도를 가지며 전체 복호화 후 썸네일을 추출하는 방법과 유사한 주관적 화질을 제공한다. 실험 결과, 제안하는 알고리듬은 기존 방법과 비교했을 때 39.93% 빠르게 썸네일 영상을 추출했고, 시각적 품질은 전체 복호화 후 썸네일을 추출하는 방법과 유사하지만 썸네일 추출에 필요한 연산량이 현저하게 감소하는 것을 증명한다.; High efficiency video coding (HEVC) is a new standard for video compression, developed jointly by the video coding experts group (VCEG) and moving picture experts group (MPEG). The aim of HEVC is to achieve significant coding performance improvements: in the range of 50% bit-rate reduction with the same subjective quality as H.264/AVC, which was the previous video coding standard. Presently, various service applications using the HEVC standard have been developed, and fast image processing methods for UHD are actively being researched. One of these studies focuses on reducing image size (thumbnail image). Thumbnail images are used for fast indexing or searching videos, because they contain the overall elements needed for approximately representing the characteristics of an image. In addition, extracting thumbnail images requires less memory and computational complexity than completely reconstructing the original image. The method used to generate thumbnail images from encoded video bit-streams is to obtain one pixel of a thumbnail, which is the DC value of the coded block of the I-frame (or I-slice in the bit-stream). This process is based on the DC value of the coded block being the average value of the block in the image. This method has lower complexity than the method that generates a thumbnail image by reducing and compensating images in a bit-stream, because image-reduction and inverse transforms are not required. However, in HEVC a residual block is encoded between the prediction and original blocks in the frame using intra-prediction. Therefore, the DC coefficient of a DCT domain in HEVC is the average value of the residual block, not the average value of the original block. Further, H.264/AVC also performs intra-prediction. Several approaches have been proposed to quickly extract thumbnail images by using look-up tables in the frequency domain. However, these methods require too many look-up tables, because each mode and coding block need a corresponding look-up table. In this dissertation, fast thumbnail extraction algorithms using simple down sampling methods for HEVC are proposed. To reduce the computational complexity for the thumbnails, the proposed methods only decode the 4×4 boundaries using partial decoding processes, and omit the in-loop filters. These partial decoding processes are performed on the transform unit (TU) and the prediction unit (PU). The simple down sampling methods use 4-to-1 downsampling (that extract a thumbnail pixel every 4×4 size), and the average method that only calculates 7 pixels on 4×4 boundaries. Further, the proposed method generates a thumbnail image with the use of a pre-defined weight table (based on intra prediction modes), to reduce aliasing artifacts. An efficient fast thumbnail extraction algorithm with selective partial decoding is proposed, to further reduce the computational complexity and aliasing artifacts. The proposed algorithm only reconstructs the TU boundary with partial decoding for the TU and PU. In addition, the TU boundary is reconstructed optionally, according to the intra prediction modes. A thumbnail pixel is generated: with the predefined weight table and the IDCT for DCT coefficients in the low frequency region of the DCT domain. The proposed algorithms have been tested on several sequences with the thumbnail extraction method after full decoding. They were found to provide less computational complexity, and similar visual performance. The experimental results prove that the visual quality of the proposed algorithms is similar to the thumbnail extraction method after full decoding, while the computational loads are significantly reduced.