다중 카메라 환경에서 사람 검출 및 추적을 위한 겹침 해결 방법

Abstract

카메라를 이용한 물체 검출에 대한 관심이 급증함에 따라 영상 보안(Surveillance) 관련 연구가 활발히 진행되고 있다. 물체를 검출하기 위해서는 카메라로부터 촬영된 영상을 전경과 배경으로 구분해야 한다. 전경 검출을 위해 영상처리를 이용한 배경을 모델링 하는 방법을 사용한다. 배경 정보를 모델링 하여 배경의 정보를 기준으로 전 경과 배경으로 구분하여 전경을 검출한다. 그러나 배경의 정보가 외부적인 환경에 의 해 변화하면 픽셀 정보가 이동하여 배경 정보를 분석하기 어렵다. 외부적인 환경으로 바람이나 진동에 의한 동적 배경이 있으며, 제안하는 방법에서는 이러한 문제를 해결 하기 위해 해당 픽셀의 위치 그리고 주변 픽셀의 정보고 고려한다. 본 논문에서는 코 드북을 기반으로 하는 동적 배경에 강인한 배경 모델링 알고리즘을 제안한다. 제안하 는 방법은 한 장의 배경 영상과 주변 픽셀 정보를 이용하여 동적 배경 환경에도 전경 을 검출한다. 단일 카메라 환경에서 배경의 정보를 모델링하여 전경과 배경 구분이 가능하다. 그 러나 단일 카메라 영상에서 물체의 겹침(Occlusion)이 발생했을 경우 겹침 (Occlusion)된 물체의 구분이 어렵다. 겹침 문제를 해결하기 위해 많은 연구가 진행되 고 있으며, 다양한 해결 방법들이 제안되고 있다. 기존의 제안된 접근 해결 방법에서 는 카메라의 캘리브레이션(Calibration) 정보를 이용했다. 그러나 각 카메라의 캘리브 레이션(Calibration) 정보를 구성하기 위해서는 많은 과정이 필요하다. 이러한 과정을 줄이기 위해 카메라와 2차원 평면 사이의 관계로 호모그래피(Homography)정보를 사 용하여 문제 해결 방법을 제안한다. 각 카메라 영상에서 전경 영역을 추출하고 검출 된 사람의 발 포인트의 확률이 최대가 되도록 모델링하고 분리된 영상 정보를 하나로 탑뷰(Topview)를 이용한다. 탑뷰에 투영된 각 확률 정보에 평균 이동 알고리즘을 이 용하여 최고의 값을 가지는 영역을 사람의 위치로 검출한다. 위와 같은 과정을 통해 겹침을 해결하였지만 물체의 이동 궤적 및 발 포인트 보정 을 위한 과정이 필요하다. 이러한 과정을 위해 본 논문에서는 추적을 위한 칼만 필터 와 다중 물체의 정합(Assignment problem)을 해결하기 위한 헝가리안(Hungarian) 알고리즘을 적용한다. 칼만 필터를 적용하므로 영상에서 검출하지 못한 발 포인트를 연속적으로 추적이 가능하고, 갑작스러운 검출 오류 문제를 해결 할 수 있었다. 그리 고 단일 물체가 추적이 아닌 다중 물체의 정합 문제를 헝가리안 알고리즘을 사용했 다. 본 논문에서 제안하는 방법의 성능을 측정하기 위해 Pets2009, Pets2006, Perception 그리고 지상검증자료(Ground Truth)를 이용한다. 제안하는 배경 모델링 방법을 Perception의 Watersurface에 적용했을 때 조화평균(F-Measure)는 0.89566 으로 검출되어 가우시안모델(Mixture of Gaussian)과 비슷한 성능을 확인할 수 있었 다. Pets2009 데이터 셋은 동적 배경이 포함된 데이터 셋이며, 제안하는 배경 모델링 방법을 적용했을 때 동적 배경을 배경으로 구분하는 검출 결과를 확인하였다. 겹침(Occlusion) 해결 방법의 성능 측정은 지상검증자료(Ground Truth)를 수동으 로 제작하였다. 완성된 지상검증자료(Ground Truth)와 검출된 결과를 비교하여 픽셀 오차 성능을 평가 하였다. 먼저 추적을 적용한 탑뷰(Topview)의 픽셀 오차는 13.28 이다. 탑뷰(Topview)의 검출 결과를 이용하여 Pets2006 데이터 셋의 카메라1,2 영상 에서 사람의 위치를 검출하여 지상검증자료(Ground Truth)와 픽셀 오차를 계산했다. 추적을 적용한 탑뷰(Topview)의 결과를 이용한 카메라1의 픽셀 오차는 7.4 픽셀이 고, 카메라2의 픽셀 오차는 5.59 픽셀 이였다. 추적을 적용하지 않은 탑뷰 결과를 이 용한 카메라1의 픽셀 오차는 5.83 카메라2는 7.58 픽셀의 오차가 발생하였다. 추가적 으로 캘리브레이션(Calibration)환경에서 겹침(Occlusion)을 해결한 결과와 제안하는 방법의 결과를 비교하였다.