비트스트림을 이용한 임베디드 시스템에서의 효율적인 객체 탐지

Abstract

딥러닝 기술의 발전으로 인해 지능형 비디오 감시 기술이 CCTV 감시 센터에서 더욱 활발하게 적용되고 있다. 그러나 감시 센터의 제한된 컴퓨팅 파워로 인해 많은 CCTV 중 일부만이 실시간으로 분석된다. 이를 해결하기 위해 압축된 비디오를 활용하는 것은 대안이 될 수 있지만, 압축 데이터의 정보 불충분으로 인해 감지 성능이 부족한 문제가 있다.

본 연구에서는 압축된 비트스트림 특징에서 객체를 탐지하고자“REO(Resource Efficient Object detection)" 비디오 객체 감지 프레임워크를 제안한다. 이 프레임워크는 압축된 비디오의 특징을 더 효과적으로 활용하기 위해 이전 프레임의 감지 결과를 현재 프레임에 마킹하여 탐지하고자 하는 객체를 두드러지게 표현한다. 또한, HEVC (High-Efficiency Video Coding)의 엔트로피 디코딩 단계에서 추출된 비트스트림 특징을 효율적으로 사용할 수 있는 가이드라인 모델을 추가함으로써, 리소스와 실시간 탐지에 도움을 준다. 이러한 방식으로 CCTV 관리 센터의 채널 커버리지를 확장시킬 수 있다.

비트스트림 특징을 효과적으로 표현하기 위해, 본 연구에서는 두 가지 특징인 모션 벡터 (MV)와 예측 단위 크기 (PUS)를 개발했다. 또한, 이를 조합하고 HSV (색상, 채도, 명도) 공간으로 재구성하여 PUMV 특징을 생성했다. 이 과정을 통해, 좋지 않은 품질의 P-프레임 특징에서도 객체의 움직임을 효과적으로 포착할 수 있다.

REO의 절차는 이전 프레임의 결과를 다음 프레임에 전파함으로써 성능을 향상시킨다. 또한 비트스트림 특징의 객체를 추출할 수 있는 얕은 모델을 사용하여 이전 P-프레임을 지원함으로써 실시간 처리와 임베디드 시스템 배포가 용이하다. REO는 희소한 I-프레임에 대해서만 전체 디코딩이 필요하기 때문에 리소스를 크게 절약할 수 있다. 실험 결과에 따르면, REO는 계산 효율성에도 불구하고 시간적 특징으로 모델링한 객체 감지 방법보다 더 우수한 성능을 나타내며 특히 복잡한 환경에서도 강건함을 보인다.