합성곱 신경망 기반 적외선 열영상 얼굴 검출을 통한 거짓말에서의 피부 온도 변화 분석

Abstract

거짓말(Deception)은 상대를 속이려는 의도를 가진 행위나 진술이며, 그 주체는 인지 부조화(Cognitive Dissonance)를 경험하게 된다. 거짓말 탐지(Polygraph)는 인지 부조화 과정에 발생한 자율신경계의 생리적 반응을 측정하여 진술의 진위 여부를 판단하는 검사 방법이다. 거짓말 탐지기를 활발히 사용하는 수사현장에서는 피검사자가 해당 장치의 착용이 익숙하지 않기 때문에, 움직임이 제한되면서 발생한 심리적 불편감이 거짓말 신호로 오인되었을 가능성이 꾸준히 제기되고 있다. 이에 은 적외선 열영상(Thermal Imaging) 카메라를 이용하여 접촉식 거짓말 탐지기의 한계점을 개선하고자 한다.

거짓말로 인한 교감신경계(Sympathetic Nervous System) 활성화는 온도 조절 중추에 영향을 미쳐 혈액 순환, 땀 분비, 근육 움직임 등을 통해 피부 온도를 변화시킨다. 이러한 생리 기전에 착안하여, 많은 연구자들이 적외선 열영상을 이용해 거짓말에서의 온도 변화를 관찰하였지만, 서로 다른 실험 프로토콜과 적절하지 않은 분석 방법을 사용해 연구 간의 온도 경향성이 불일치하는 결과를 보였다.

은 기존 연구의 한계점을 해결하고자 적외선 열영상에서 얼굴을 자동으로 검출하는 합성곱 신경망(Convolutional Neural Network: CNN)과 거짓말에서의 피부 온도 변화를 시공간적 특성으로 나타내는 특징점을 제안한다. 거짓말을 할 때 가장 큰 온도 변화를 보이는 코끝(Nose Tip)을 관심 영역(Region of Interest: ROI)으로 설정하였고, 참과 거짓말에서 피부 온도 변화 양상이 다르게 나타날 것이라는 연구 가설을 세웠다.

이러한 가설을 검증하기 위해, 인지 부조화 유발 실험을 진행해 참 16건, 거짓 16건의 데이터를 취득하였고, 얼굴 내 관심 영역을 자동으로 검출하는 합성곱 신경망 기반의 적외선 열영상 얼굴 검출 모델을 설계하였다. 제안하는 얼굴 검출 모델은 기존 연구보다 정확한 성능(IoU: , NRMSE: )을 보였으며, 실험 데이터에 대해서도 안정적인 추론을 수행하였다. 또한, 정교하게 검출된 관심 영역 내에서 시공간상의 특징점(Spatio-temporal Feature)을 추출해 피부 온도 변화를 분석한 결과, 최대최소 온도차, 온도 회복시간, 면적, 표준 편차를 통해 참, 거짓 데이터 간의 피부 온도 변화 양상이 다르게 나타남을 확인하였다.

제안하는 얼굴 검출 모델은 얼굴 영역 분할(Semantic Segmentation), 얼굴 특징점 검출(Landmark Detection) 작업을 수행하는 두 가지 합성곱 신경망으로 완전 합성곱 신경망(Fully Convolutional Network: FCN)을 기반으로 한다. 데이터 증대(Data Augmentation)를 통해 학습 데이터베이스의 다양성을 증가시켰으며, Unsharp Masking(USM)을 통해 온도의 분포가 크게 변화하는 부분을 강조하는 전처리를 진행하였다. 또한, 얼굴 검출 모델을 통해 획득한 코 영역과 코끝 주변의 5개의 얼굴 특징점을 활용하여 발화 과정에 발생하는 다양한 움직임에도 코끝을 정교하게 추적하기 위한 관심 영역 검출 알고리즘을 설계하였다. 제안하는 관심 영역 내 공간 특징점으로 평균값을 사용하였으며, 시간 특징점으로는 최대최소 온도차, 온도 하강 시간, 온도 회복 시간, 면적, 표준 편차를 사용하였다.