멀티코어 시스템 기반의 병렬화 비디오 디코딩

Abstract

최근 사용자들은 고해상도의 영상 서비스를 요구하고 있다. 이로 인하여 고해상도 동영상 서비스를 위한 동영상 압축 처리에 대한 연구가 활발히 진행되고 있다. 최근 영상처리 코덱에서 높은 압축률을 지원하기 위하여 기존의 비디오 코덱에 비교하여 복잡도가 높은 알고리즘을 사용하고 있다. 이러한 문제를 해결하기 위하여 프로세서 코어 수를 늘리고 병렬 처리를 이용하는 멀티 코어 시스템의 연구가 지속적으로 이루어지고 있다. 본 논문에서는 고해상도에서 영상처리 디코더의 성능을 개선하기 위한 효과적인 병렬화 방법을 연구하였다. 대표적인 영상처리 디코더 병렬화 방법으로 태스크 레벨 병렬화 방법과 데이터 레벨 병렬화 방법이 있다. 태스크 레벨 병렬화 방법은 하나의 작업을 여러 개의 작업으로 나누어 각 스레드에서 각각을 수행하는 방법이다. 그리고 데이터 레벨 병렬화 방법은 영상처리 데이터를 병렬화가 가능하도록 나누어 여러 스레드에서 동시에 처리하는 방법이다. 첫 번째로 본 논문에서 태스크 레벨 병렬화 방법의 단점을 극복하기 위한 영상처리 병렬화 방법을 제안 하였다. 태스크 레벨 병렬화 방법은 영상처리 디코더의 기능 별로 처리 시간 다르기 때문에 성능 향상에 어려움이 있다. 우리가 제안하는 Stage-based Frame-Partitioned Parallelization (SFPP) 방법은 병렬화 과정에서 발생하는 문제점을 해결하여 H.264/AVC 디코더 성능을 향상 하였다. SFPP 방법은 프레임을 매크로 블록 묶음으로 나누어 병렬화 한다. 그리고 병렬화 과정에서 스레드를 처리하는 방법을 개선하고, 메모리를 재사용함으로써 영상처리 디코더의 성능을 향상 시켰다. 두 번째로 본 논문에서 데이터 레벨 병렬화 방법의 단점을 극복하기 위한 영상처리 병렬화 방법을 제안 하였다. 데이터 레벨 병렬화 방법은 비디오 디코딩 과정에서 데이터를 병렬화가 가능하도록 나누어 여러 스레드에서 동시에 처리하는 방법이다. 데이터 레벨 병렬화 방법은 영상처리 데이터 의존성을 지키면서 병렬화를 진행 한다. 하지만 엔트로피 부호화 부분은 순차적으로 처리해야 하기 때문에 병렬로 처리하는데 어려움이 있어서 병렬화를 통한 영상처리 디코더 성능 향상의 걸림돌이 된다. 우리가 제안하는 병렬화 방법은 멀티코어 시스템에서 소프트웨어 기반의 CABAC 병렬화 비디오 디코더 방법을 제안한다. 병렬화 비디오 디코더를 소프트웨어를 기반으로 구현하는 경우 다양한 비디오 코덱을 유연하고 빠르게 적용할 수 있다. 그리고 멀티 코어 시스템에서 멀티 스레드 방법이 적용 가능하기 때문에 성능 확장이 용이하다는 장점이 있다. 우리는 CABAC 병렬화 알고리즘인 Syntax Element Partitioning 알고리즘을 이용한 Multi-Threaded Syntax Element Partitioning (MT-SEP)을 제안하였다. 우리는 MT-SEP 방법을 실제 멀티코어 시스템에서 멀티 스레드를 이용하여 구현하여 그 성능을 확인해 보았으며, 이를 멀티코어 시스템 상에서 효과적으로 병렬화하기 위한 방법을 제시하였다.|Strong demands for high resolution video services lead to active studies on high speed video processing. Recently, enhancing performance through intelligent parallel processing with multiple cores integrated in a single chip has actively been attempted. Since a multi-core system typically has better power efficiency than a single core system with a comparable processing power, it is expected that many high performance mobile embedded systems will adopt multi-core system-on-chip platforms soon. Even though multi-core systems can provide potentially ample computation power, it is not straightforward to achieve such high performance because efficient parallel programming for a multi-core system is difficult. Thus, it is crucial that a software implementation should be more suitable for parallel processing. In the first this dissertation proposes a novel parallel H.264/AVC decoding scheme on a homogeneous multi-core platform. Parallelization of H.264/AVC decoding is challenging not only because parallelization may incur significant synchronization overhead but also because software may have complicated dependencies. To overcome such issues, this dissertation proposes a novel approach called Stage-based Frame-Partitioned Parallelization (SFPP). In SFPP, this dissertation divides a frame into multiple partitions, and execute them in a pipelined fashion. To reduce synchronization overhead, a separate thread is allocated to each stage in the pipeline. In addition, an efficient memory reuse technique is used to reduce the memory requirement. Even if parallelization of other decoding steps on a multi-core platform may improve performance, entropy decoding often becomes a performance bottleneck since it should be processed sequentially. To resolve this concern, parallel entropy coding algorithms have been proposed. Syntax element partitioning is an algorithm for parallelization of Context Adaptive Binary Arithmetic Coding (CABAC). In the second this dissertation proposes Multi-Threaded Syntax Element Partitioning (MT-SEP) for parallel entropy decoding. One major advantage of software parallel video decoding over hardware implementations will be that versatile video codecs can be implemented flexibly.; Strong demands for high resolution video services lead to active studies on high speed video processing. Recently, enhancing performance through intelligent parallel processing with multiple cores integrated in a single chip has actively been attempted. Since a multi-core system typically has better power efficiency than a single core system with a comparable processing power, it is expected that many high performance mobile embedded systems will adopt multi-core system-on-chip platforms soon. Even though multi-core systems can provide potentially ample computation power, it is not straightforward to achieve such high performance because efficient parallel programming for a multi-core system is difficult. Thus, it is crucial that a software implementation should be more suitable for parallel processing. In the first this dissertation proposes a novel parallel H.264/AVC decoding scheme on a homogeneous multi-core platform. Parallelization of H.264/AVC decoding is challenging not only because parallelization may incur significant synchronization overhead but also because software may have complicated dependencies. To overcome such issues, this dissertation proposes a novel approach called Stage-based Frame-Partitioned Parallelization (SFPP). In SFPP, this dissertation divides a frame into multiple partitions, and execute them in a pipelined fashion. To reduce synchronization overhead, a separate thread is allocated to each stage in the pipeline. In addition, an efficient memory reuse technique is used to reduce the memory requirement. Even if parallelization of other decoding steps on a multi-core platform may improve performance, entropy decoding often becomes a performance bottleneck since it should be processed sequentially. To resolve this concern, parallel entropy coding algorithms have been proposed. Syntax element partitioning is an algorithm for parallelization of Context Adaptive Binary Arithmetic Coding (CABAC). In the second this dissertation proposes Multi-Threaded Syntax Element Partitioning (MT-SEP) for parallel entropy decoding. One major advantage of software parallel video decoding over hardware implementations will be that versatile video codecs can be implemented flexibly.