모바일 기기를 위한 오픈소스 기반 카메라용 Gstreamer 소프트웨어 프레임워크개발

Abstract

현재의 Mobile 환경에서 System의 집적회로를 통한 SOC(System on Chip) 형태의 CPU가 발전함에 따라 내장된 Camera 사용에 대한 기능 및 의존도가 높아지고 있다. Mobile 디바이스를 위한 SOC(System on Chip)는 다양한 기능을 지원하게 되는데 대표적인 기능중에 하나인 카메라 기능을 영상 처리기술이 집약되어 있는 HW및 IP기술 구조를 가지게 된다. 이러한 SOC 기반에 시스템에서 Camera 연동을 위해서는 다양한 OS환경에서 여러가지 형태의 플랫폼과 프레임워크를 기반으로 구동되게 되는데, 최근에는 오픈소스인 리눅스 및 x86에서의 카메라 구동도 활발하게 이루어져 왔었는데, 다양한 플랫폼에 따른 구동 방식이 개별적으로 달라지고 있기 때문에 표준화된 프레임워크의 개발의 필요성이 대두되고 있다.

본 논문에서는 리눅스 기반 모바일 플랫폼에서 카메라 구동을 기반으로 한 Gstreamer 소프트웨어 프레임워크를 제안하여 설계하였다. Gstreamer는 오픈소스 기반으로 기본적인 Gstreamer core와 라이브러리를 포함한 플러그인 구조로 되어 있어서 기존에 x86이나 PC 시스템에 멀티미디어 어플리케이션에서 사용하였으며, 본 논문을 통하여 카메라 구동을 기반으로 Gstreamer를 모바일 임베디드 기반으로 사용할수 있도록 최적화하고 정형화하도록 실험을 통해 검증하였다. 본 논문에서 연구한 내용으로는, SOC의 카메라를 기반으로한 구동방식이 Gstreamer라는 소프트웨어 프레임워크를 적용전에 어떻게 구동되는지에 대한 이해와 연구를 위해, 임베디드 기기에 가장 많이 사용되는 Mobile SOC에 내장된 카메라 IP에 대한 동작에 대한 이해와 연구를 진행하여서 SOC내부에 카메라 Interface인 ITU의 동작을 연구하고 조사하였다. 또한 기존의 Linux OS기반 시스템에서 카메라를 구동하였을때 커널 프레임워크인 V4L2(Video4Linux)인 이용하게 되는데 해당경우에 V4L2를 이용할때의 카메라 시스템에 대한 성능을 측정결과 초당 60frame의 Frame-rate과 23%의 CPU 점유율로 카메라 동작되는 것을 확인하였고, 커널 프레임워크로만 구동했을 때 한정적인 자원으로 인해 추가적인 다양한 멀티미디어 처리가 어렵다는 것을 확인하게 되었다. 이러한 리눅스 커널 프레임워크의 단점을 개선하기 위하여 리눅스 OS위에 상위 Layer를 올리기 위해 오픈소스 기반으로 현재 멀티미디어 프레임워크로 사용되고 있는 Gstreamer 설계하여 모바일 기기에 적합한 성능을 구현하였고, 각각의 VideoSink 파이프라인에 대한 구동 및 성능 평가를 진행하여 Fbdevsink라는 VideoSink로 구현한 Application을 구현하여 커널 프레임워크 단독으로 구동했을때와 동등수준의 성능을 가지는 초당 60frame의 Frame-rate과 25%의 CPU 점유율을 가지는 소프트웨어 프레임워크를 설계하였다.