딥러닝 모델의 앙상블을 활용한 근적외선 얼굴 인식 방법

Abstract

최근 딥러닝을 적용한 연구가 활발히 진행됨에 따라, RGB 얼굴 인식에 딥러닝을 적용하여 높은 인식 성능을 획득하였다. RGB 영상은 공용 데이터베이스가 많이 공개되어 있어 좋은 성능을 보이는 복잡한 딥러닝 모델을 학습시키기에 용이하지만, 조명 변화에 취약하다는 단점이 있다. 반면에, NIR 영상은 조명 변화에 강인하다는 장점이 있어, NIR 영상을 사용한 딥러닝 기반 얼굴 인식 알고리즘이 개발되었다. 그러나, NIR 공용 데이터베이스는 적은 양만 공개되어 있기 때문에, 기존의 딥러닝 기반 NIR 얼굴 인식 알고리즘은 구조를 간략화한 딥러닝 모델을 사용하였다. 이 모델은 높은 인식 성능을 보였지만 적은 학습 데이터와 제한된 환경에서 학습을 진행하였기 때문에, 다양한 환경의 데이터에 대해서는 높은 성능을 기대하기 어렵다는 문제가 있다. 이 문제를 해결하기 위해, 본 논문에서는 복잡한 딥러닝 모델을 대규모 학습 데이터로 학습시킨 모델의 파라미터를 사용하는 transfer learning 방법을 접목하며, 얼굴 전체 영상에 대한 정보와 함께 얼굴 부분의 디테일한 정보를 융합하여 얼굴 인식을 수행하는 ensemble 딥러닝 모델을 제안한다. 제안하는 방법은 학습과 테스트에 각각 다른 환경에서 촬영된 데이터베이스를 사용하였음에도 99.97%의 성능을 보이며, 제안하는 방법에 기존 딥러닝 모델의 구조를 간략화한 모델을 사용한 경우에도 99.57%의 높은 성능을 보인다. 이는 동일한 데이터베이스를 사용하여 실험한 선행 연구에 비해 약 5% 향상된 결과이다.; Recently, deep learning-based research has been actively conducted, and RGB face recognition algorithms applying deep learning achieve high performance. It is easy to train a complex deep learning model that can obtain high performance, because a lot of RGB face databases are in the public. However, there is a shortcoming that the RGB face images weak the illumination changes. On the other hand, near-infrared (NIR) images are robust to illumination changes. Thus, deep learning-based face recognition algorithms using near-infrared images are researched. Because small amount NIR face databases are in the public, existing NIR face recognition algorithms based on deep learning use the deep learning models having simplified architecture. Although these models have high performances in limited environment, it is difficult to look forward to high performance in various environments because of a few training data. To resolve this problem, in this thesis, we apply transfer learning method that uses parameters of complex deep learning model trained with large RGB training data onto the proposed method. In addition, we propose an ensemble deep learning model that perform face recognition converging with the information of whole face image and parts of face. The proposed method achieves 99.97% although we use taken databases on different environments respectively for training and test. Moreover, in case of using a simplified deep learning model, the proposed method achieves 99.57%. These performances are the results improving about 5% in comparison with preceding research that uses the same databases.