코 영역 피부온도를 사용한 클래스 활성화 맵 기반 거짓말 탐지 알고리즘 개발

Abstract

Polygraph measure changing autonomic nervous system responses such as heart rate, respiration, and skin conductivity in a contact based as a result of cognitive dissonance caused by deception. However, long-term wearing of sensors can cause movement constraints and psychological discomfort, which can lead to unreliability in the analysis results of the examinee. Therefore, in an effort to address the limitations this study analyzes skin temperature data through an infrared thermal imaging using a non-contact method to determine whether there is a deception. Infrared thermal imaging causes various physiological changes such as sweating, increased respiration, and blood flow changes based on the fight or flight response during deception, and physiological responses can be identified through the skin temperature of the face. As a related work, various research results were reported according to the experimental protocol and the region of interest in the face. In particular, many studies have been conducted using respiration and skin temperature changes in the nasal area, and significant results have been derived. However, compared to other emotions, there is a lack of research related to deception, and the number of feature to determine the characteristics of deception in skin temperature data was small. In addition, in the case of a classification model using machine learning based on feature extraction, temporal information is partially lost. In this study, we developed a class activation mapping-based deception detection model that finds features of deception caused by cognitive dissonance through respiration and skin temperature by separating the nasal area into two areas, nostril and nose tip, and solves the opacity of predicted artificial intelligence models using visual information. Therefore, we used time-series data of the two areas to supplement the number of insufficient features, and using all time areas as input data, we can find and interpret the discriminative part between truth and deception through the activation map of what the model saw and predicted. Data were obtained from 120 subjects consisting of two truths and one deception through cognitive dissonance inducing experiment advised by the National Police Agency. The OpenCV-based Adaboost algorithm was used to detect the region of interest in the face, and 98 Nostril and Nose tip signals were obtained due to tracking errors. As a pilot test, after comparing four machine learning classification models with the proposed algorithm in 15 subjects, an additional experiment was conducted with 98 subjects by increasing the number of subjects. For the class activation map based deception detection model, the performance was 73.3%, and the results were improved by about 2% compared to previous research. In addition, the activation map confirmed that in the case of deception, the skin temperature of the nose tip did not recover and decreased further as the sweat cooled, and in the case of Nostril, it was difficult to hold or respiration evenly as a result of cognitive dissonance. The proposed algorithm showed similar performance to the previous research method, and the model was learned without loss of information using input data using all time domains. The activation map enables the autonomic nervous system response highlight caused by deception during the actual investigation process to present useful indicators for examiners to analyze.| 거짓말 탐지기는 거짓말로 인한 인지부조화의 결과로 심박수, 호흡, 피부전도도 등 변화하는 자율신경계 반응을 접촉식 형태로 측정한다. 그러나 장시간의 센서 착용이 움직임 제약과 심리적인 불편감을 조성할 수 있어 검사 대상자의 분석 결과에 신뢰성이 떨어질 수 있다. 따라서 이러한 한계점을 해결하고자 비접촉식 방법으로 적외선 열영상 카메라를 통해 피부온도 데이터를 분석하여 거짓말 유무를 판별하고자 한다. 적외선 열영상은 거짓말 행위 시 투쟁 도피 반응에 근거하여 땀 분비, 호흡 증가, 혈류 변화 등 다양한 신체 변화가 발생하며 얼굴의 피부온도를 통해 생체 반응을 측정할 수 있다. 선행연구에서는 실험 프로토콜과 얼굴의 관심 영역에 따라 다양한 연구 결과를 보고하였다. 특히 코 영역에서의 호흡과 피부온도 변화를 활용한 많은 연구가 수행되었으며 유의미한 결과들을 도출하였다. 하지만 다른 감정들과 비교하여 거짓말 관련 연구는 부족하며, 피부온도 데이터에서 거짓의 특성을 판별하기 위한 특징점 수가 적었다. 또한 특징점 추출 기반 기계학습 분류 모델의 경우 시간의 정보가 부분적으로 손실된다는 단점을 가지고 있다. 본 연구는 코 영역에서 Nostril, Nose tip 두 가지 영역으로 분리하여 호흡과 피부온도를 통해 인지부조화로 인한 거짓말의 특징을 찾고, 시각적인 정보를 활용하여 예측된 인공지능 모델의 불투명성을 해결하는 클래스 활성화 맵 기반 거짓말 탐지 모델을 개발하였다. 따라서 분할된 두 영역의 시계열 데이터를 활용하여 부족한 특징점의 수를 보완하였고, 모든 시간 영역을 입력 데이터로 사용하여 모델이 어떤 부분을 보고 예측하였는지 활성화 맵을 통해 진실과 거짓 사이에서 특징적인 부분을 발견하고 해석할 수 있다. 데이터는 경찰청으로부터 자문받은 인지부조화 유발 실험을 통해 진실 2개, 거짓 1개로 구성된 120명의 피험자 데이터를 획득하였다. 얼굴의 관심 영역을 검출하기 위해 OpenCV 기반 Adaboost 알고리즘을 사용하였으며, Tracking의 오류로 98명의 Nostril, Nose tip 영역의 신호를 획득하였다. 파일럿 테스트로 15명 피험자 대상으로 4가지 기계학습 분류 모델과 제안한 알고리즘을 비교한 후 피험자 수를 늘려 98명 대상으로 추가 실험을 진행하였다. 클래스 활성화 맵 기반 거짓말 탐지 모델의 경우 73.3%의 성능을 보였으며, 선행연구와 비교했을 때 약 2% 정도 향상된 결과를 보여주었다. 또한, 활성화 맵을 통해 거짓의 경우 Nose tip에서 땀이 식으면서 피부온도가 감소하는 부분을 보고 예측하였고, Nostril의 경우 인지부조화의 결과로 숨을 참거나 고르게 쉬지 못하여 호흡의 주기가 긴 부분을 보고 예측하였다. 제안한 알고리즘은 기존 연구 방법과 비슷한 성능을 보였으며, 모든 시간 영역의 데이터를 사용하여 정보의 손실 없이 모델을 학습하였다. 활성화 맵을 통해 실제 수사 과정에서 거짓말로 인한 자율신경계 반응을 시각화하여 검사관이 분석하는데 유용한 지표를 제시할 수 있다.