비음수행렬분해의 복원 기법을 이용한 눈 검출

Abstract

얼굴 인식(face recognition), 얼굴 표정 인식(facial expression recognition), 얼굴 자세 추정(facial pose estimation)과 같은 얼굴 영상과 관련된 다양한 연구 분야는 일반적으로 입력 얼굴 영상에 대한 정규화(normalization) 또는 눈(eye)과 같은 얼굴 영역내의 대표 특징점에 대한 위치 검출이 필요하다. 사람의 얼굴 영상은 표정, 자세, 안경착용, 장신구착용 및 주변 환경에서의 조명 변화 등에 의해 다양한 형태 변화가 있기 때문에 입력 얼굴 영상마다 정확한 대표 특징점을 찾는 것은 어려운 문제이다. 특히, 감고 있는 눈(closed eye)이나 작은 눈 등은 정보의 양이 적어 검출하기 어렵기 때문에 얼굴 영상 관련된 연구에서 성능을 저하시키는 주요한 원인이 되고 있다. 따라서 본 논문에서는 얼굴 표정, 안경착용, 조명 변화 등의 다양한 변화에 강건한 눈 검출 방법을 제안한다. 이를 위해서, 사람의 눈 영역이 갖는 질감 특성(textural Characteristics) 및 구조적인 특성(structural characteristics)을 고려하여 눈 후보 영역(eye candidate regions)을 효과적으로 검출하기 위한 눈 필터(Eye filter)를 정의한다. 사람의 눈 형태는 외형적으로 수평 방향으로 길고, 원형의 눈동자로 구성된 질감 및 구조적인 특성을 가진다. 이러한 두 가지 특성을 효과적으로 기술하는 질감 필터로서 가보 필터(Gabor filter)와 원형 필터(Circular filter)의 조합(combination)을 눈 필터로 정의하고 이를 이용하여 눈 후보 영역을 검출한다. 검출된 눈 후보 영역들은 사람 얼굴의 구조적인 정보를 이용하여 후처리 과정(post-processing)을 수행한 후, 눈 후보점들(eye candidate points)을 얻는다. 눈 후보점들 중에서 최종적인 눈 위치점의 쌍을 구하기 위하여, 비음수행렬 분해(Non-negative Matrix Factorization) 기반의 영상 복원(image reconstruction) 오차(error)를 이용한다. 이를 위해서, 미리 수동으로 정렬된 얼굴 데이터베이스를 비음수행렬 분해를 이용하여 부공간(subspace)으로 학습한다. 기저(basis) 벡터들에 잘 정렬된 얼굴 영상을 투영(projection)하여 계수값들을 구하고, 이를 복원하면 입력된 얼굴 영상과 유사한 영상으로 복원된다. 그러나 잘 정렬되지 못한 얼굴 영상을 이용하여 복원하면 입력된 얼굴 영상과는 유사하지 않은 영상이 복원된다. 여기서 입력 영상과 복원된 영상간의 화소값(pixel value) 차이의 합을 복원 오차로 정의한다. 이러한 특성을 이용하여 눈 후보점의 쌍들을 올바른 눈의 위치로 가정하고 정렬한 후 투영한다. 그리고 복원된 영상과 입력 영상간의 복원 오차가 최소화 되는 눈 후보점의 쌍을 최종 눈의 위치로 결정한다. 제안한 방법의 성능을 실험적으로 확인한 결과, 제안한 눈 검출 방법이 기존의 방법에 비해서 향상된 검출 결과를 보이는 것을 확인하였다.