Improved Deblocking Filters for Higher Video Coding Efficiency

Abstract

영상 압축 기술은 성공적으로 상용화되어 있는 현재까지도 방송통신에서 사용되는 2003년에 표준화된 비디오 부호화 표준 AVC (Advanced Video Coding)을 비롯하여, 2013년에 표준화되고 4K UHD 영상까지도 효과적으로 압축할 수 있는 비디오 부호화 표준 HEVC (High Efficiency Video Coding) 등 지속적인 발전을 통해 다양한 미디어 서비스 분야의 진화를 촉진하고 있다. 4K UHD를 넘어 8K UHD 미디어 컨텐츠, High Dynamic Range (HDR) 컨텐츠, 360도 가상현실 (VR) 서비스 등의 다양한 미디어 서비스 컨텐츠에 맞게 Video Coding Expert Group (VCEG)과 Moving Picture Experts Group (MPEG)은 Joint Video Expert Group (JVET)을 구성하여 새로운 비디오 부호화 표준 VVC (Versatile Video Coding)을 2015년부터 기술을 개선하고, 표준화 과정 중에 있다. 비디오 압축 표준은 예측, 변환, 양자화, 엔트로피 코딩하는 과정을 통해 부호화가 이루어진다. 이러한 과정들은 입력영상을 블록 단위로 나누어 처리된다. 압축된 데이터를 다시 영상으로 만드는 복호화 과정으로 복원된 영상에서는 압축과정에서 손실된 오차들에 의해 다양한 형태의 열화가 발견된다. 이러한 열화들을 제거하고, 원본 영상에 가깝게 만들기 위해 인-루프 필터 과정을 영상 압축 표준에서 포함하고 있다. 블록 단위의 부호화 과정으로 인해 발생하는 블록킹 열화를 제거하기 위한 디블록킹 필터가 그 대표적인 예시이다. 블록 주변의 화소들을 대상으로, 화소단위의 필터링 계산이 이루어져 복잡도가 상당하지만, 블록킹 열화 제거 효과가 탁월하여 필수적으로 사용되고 있다. 이 논문에서는 VVC의 디블록킹 필터 중 HEVC부터 VVC까지의 표준에서 변경사항이 없었던 약한 필터링 방법에 대하여 다룬다. 먼저 코덱 표준 내에서 약한 필터링 방법의 성능 분석을 진행한다. 약한 필터링 방법은 크게 두 단계로 나누어지며 상당한 복잡도를 가지고 있다. 두 단계별 약한 필터링 방법의 성능을 측정하기 위해 간단한 약한 필터링 방법과 비-약한 필터링 방법을 제안한다. 약한 필터링 방법이 HEVC와 VVC에서 갖는 효과를 각각 측정하여, VVC 표준에서는 약한 필터링 방법에 대해 수정이 필요함을 증명한다. 다음으로 VVC 표준에 알맞은 약한 필터를 찾기 위해 세 가지 관점에서 수정 방안을 제안한다. 약한 필터링 시행 조건 측면, 약한 필터링을 통한 보정값 측면, 그리고 테스트 소프트웨어 내 부호화 및 복호화 시간 절약 측면의 수정 방법을 제안했다. 약한 필터링 방법의 단계별 성능 측정을 위해 간단한 약한 필터링 방법과 비-약한 필터링 방법을 사용한 결과, 두 번째 약한 필터링 방법이나 전체 약한 필터링을 제외한 방법에서 기존 VVC보다 BDBR 측면에서 개선된 성능을 보였다. 이는 VVC에서는 기존의 약한 필터링 방법이 제외되거나 수정되어야 한다는 결론을 뒷받침하고 있다. 제안하는 세 가지 측면의 약한 필터링 수정방법들의 실험 결과, 첫 번째 약한 필터링 시행 조건 측면에서는 현재 약한 필터링 방법 기준에서 최적의 조건을 찾을 수 없었다. 시행 기준이 엄격 할수록 약한 필터링의 사용이 줄어드는 경향을 관찰할 수 있었고, 최종적으로 약한 필터링을 아예 사용하지 않는 비-약한 필터링 방법인 상황에서 가장 높은 코딩 성능을 얻을 수 있었다. 약한 필터링 방법의 보정값 측면에서 수정을 위해 제안된 하프-델타 방법과 쿼터-델타 방법에서도 기존 VVC와 비교하여 각 BDBR 성능 개선을 확인할 수 있었다. 주관적 화질 비교를 통해서도 실제로 강한 필터링에 의한 디블록킹 효과는 시각적으로 확인이 가능하나, VVC의 약한 필터링 방법의 효과는 주관적 화질 비교로 발견하기 어려울 정도였다. 부호화/복호화 시간 감축을 위해 제안된 테스트 소프트웨어적 최적화 측면에서는 현재 VVC 표준의 상태에서는 성능을 측정할 수 없었다. 약한 필터링 방법이 전체 VVC 부호화/복호화 과정에서 차지하는 정도가 매우 적어, 전체 시간에 주는 영향을 측정할 수 없었다. 하지만 약한 필터링 실행 상황에서 제안하는 방법을 적용할 수 있는 경우가 평균적으로 약 42%에 달하기 때문에, 수 초에 달하는 시간 감소 효과는 분명히 기대할 수 있다. 앞으로 VVC 표준의 다른 과정들의 부호화/복호화 과정 시간이 줄어들게 된다면, 제안하는 방법 또한 시간 감축에 기여할 수 있을 것이다. 제안하는 방법들의 실험결과를 통해 VVC 표준에서는 디블록킹 필터 부의 약한 필터링에 대한 수정의 필요성을 확인하였다. 제안하는 하프-델타 방법이나 쿼터-델타 방법으로도 현재 VVC 표준의 약한 필터링 방법을 대체할 수 있다. 제안하는 방법이 최적의 방법이라고 결론짓기는 어렵기 때문에, VVC 표준에 알맞은 더 개선된 약한 필터링 방법의 연구가 계속 되어야 한다. VVC 표준에 알맞은 약한 필터링 방법은 필터 방법이 아예 새로운 필터가 될 수도 있고, 이 연구처럼 기존의 필터 방법이 일부 수정된 필터가 될 수도 있다. 새로운 약한 필터링에 대하여 강한 필터링 사이 최적의 시행 조건에 대한 추가적인 연구도 이루어져야 할 것이다.; Video compression technology has promoted the evolution of various media services through continuous development, as video codec standards. Typical examples are H.264/advanced video coding (AVC), which was standardized in 2003 and is still utilized in the HDTV broadcasting field, and high efficiency video coding (HEVC), which was standardized in 2013 and can effectively compress 4K ultra high definition (UHD) videos. Beyond 4K UHD, the video coding expert group (VCEG) and moving picture experts group (MPEG) collaborated to form the joint video expert team (JVET) to meet various media service content requirements, such as 8K UHD media content, high dynamic range (HDR) content, and 360 virtual reality (VR) services. The new video coding standard, which is versatile video coding (VVC), has been improved since 2015 and is in the process of being standardized. Video coding standards include the following processes prediction, transform, quantization, and entropy coding for encoding. These processes are conducted in blocks of input videos. Various artifacts are found in the reconstructed image owing to the lost information during the compression process, which decodes compressed data and reconstructs frame units. The in-loop filter process is incorporated in the video coding standard to remove these artifacts and to bring the reconstructed frame closer to the original frame. Then, a deblocking filter that eliminates the blocking artifacts caused by the coding process of block units. For the pixels around the block boundary, the filtering calculation of the pixel unit is quite complicated; however, it is essential because of its excellent blocking artifact removal effect. In this dissertation, we propose improved methods for the weak filter (WF), which has not changed from HEVC to VVC, in the deblocking filter of VVC. The proposed method comprises two steps. In the first step, we measure the performance of the WF on the video codecs. The WF is divided into two stages and has considerable complexity. The proposed method measures the performance of the WF in HEVC and VVC, and proves that the WF requires optimization in VVC. In the second step, we propose three revised methods of WF in VVC. For effectively replacing the conventional WF, we propose methods to revise the WF execution conditions, revise the calibration methods, or optimize the software. The performance evaluation method confirmed that the current WF was not functioning in the VVC test model (VTM). The proposed non-weak filtering (NWF) method allowed average Bjøntegaard-Delta Bit-Rate (BDBR) gains of 0.40%, 0.72%, and 0.60% over the VTM 6 to be obtained from each all intra (AI), low delay (LD), and random access (RA) configurations, respectively. We propose two methods, a half-delta method and a quarter-delta method, in terms of filter calibration method. The half-delta method yielded an average BDBR gain of 0.45% over VTM 6 in the AI configuration. Furthermore, the quarter-delta method achieved an average BDBR gain of 0.45% over VTM 6 in the AI configuration. With regard to the subjective image quality, the resulting images decoded by the proposed methods exhibit almost the same quality as in VTM 6. The experimental results demonstrate that the conventional weak filter need to be eliminated or be revised for the VVC standard.