Face Landmark & HOG(Histogram of Gradient)를 활용한 CNN Ensemble 기반 얼굴 표정 인식

Abstract

In recent years, in an environment where social distancing and other restrictions have limited actual contact between people due to the pandemic caused by the coronavirus (COVID-19), alternative solutions such as metaverse and videoconferencing applications have emerged. Accordingly, the technology to recognize human facial expressions has emerged as a key element for natural communication.

In this paper, we study facial expression recognition in these virtual environments using Convolution Neural Network (CNN). We propose a system that utilizes image datasets with various facial expressions to learn CNN models and recognize facial expressions in real-time from face images and face images of real users through trained models. In addition, two new approaches are applied to improve the performance of the models used for learning.

First, in the past, only one face image was used as input data for a normal model, but in this paper, feature points such as Face Landmark and HOG (Historic of Gradient) were extracted from the face image and used as multiple inputs. Considering various feature points provided the advantage of being able to more accurately recognize the complexity of facial expressions.

Second, a new soft voting method utilizing the average Accuracy of several models was introduced by improving the soft voting method used in the existing Ensemble Methods. Six models were experimented, each with a different number and structure of Convolutional Layers, confirming whether the proposed approach provides the same performance improvement in various model environments.

Each model first performed performance measurements using only face images of the face. In addition, as a result of using face images and Face Landmark feature points, the performance of the model was compared by deriving the results of using both face images, Face Landmark, and HOG.

In the case of the Ensemble Method, the results were first measured using the soft voting method, which uses the average of the probabilities of the existing model, and the results of the proposed soft voting method were also measured to compare the results.

This paper drew the following conclusions from the performance comparison results. The additional use of Face Landmark feature points in the face data increased model accuracy by 2.1% on average, and the use of both Face Landmark and HOG feature points increased model accuracy by 2.7%. In addition, the proposed new soft voting method has an average model accuracy of 0.7% compared to the existing soft voting method. It was confirmed that the proposed approaches improved the performance of the facial expression recognition model by up to 6.1%. |최근 몇 년간 코로나 바이러스(COVID-19)로 인한 팬데믹 등의 영향으로 사회적 거리두기 및 여타 제한 사항으로 사람들 간의 실제 접촉을 제한했던 환경에서, 가상 공간에서의 상호작용과 소통을 가능하게 해주는 메타버스, 화상 회의 어플리케이션과 같은 대안적인 솔루션들이 부상하게 되었다. 이에 따라 인간의 얼굴 표정을 인식하는 기술은 자연스러운 커뮤니케이션을 위한 핵심적인 요소로 부각되었다.

본 논문에서는 Convolution Neural Network (CNN)을 활용하여 이러한 가상 환경에서의 얼굴 표정 인식을 연구하였다. 다양한 표정을 가진 이미지 데이터셋을 활용하여 CNN 모델을 학습시키고, 훈련된 모델을 통해 실제 사용자의 얼굴 영상 및 얼굴 이미지에서 실시간으로 표정을 인식하는 시스템을 제안한다. 또한, 학습에 사용하는 모델의 성능을 향상시키기 위해 두 가지의 새로운 접근방식을 적용하였다.

첫 번째로, 기존에는 보통 모델의 입력 데이터로 얼굴 이미지 하나만을 사용하였지만, 이 논문에서는 얼굴 이미지에서 Face Landmark, HOG (Histogram of Gradient) 라는 특징 점들을 추출하여 다중 입력으로 활용하였다. 다양한 특징 점들을 고려하는 것은 얼굴 표정의 복잡성을 더 정확하게 인식할 수 있는 장점을 제공하였다.

두 번째로, 기존의 Ensemble Methods에서 사용되던 soft voting 방식을 개선하여 여러 모델의 Accuracy 평균값을 활용하는 새로운 soft voting 방식을 도입하였다. 여섯 개의 모델을 실험하였으며, 각 모델들은 Convolutional Layer의 개수 및 구조를 상이하게 설정하여 제안된 접근방식이 다양한 모델 환경에서 동일한 성능 개선을 제공하는지를 확인하였다.

각 모델들은 먼저 얼굴 이미지 만을 사용하여 성능 측정을 진행하였다. 그리고 얼굴 이미지와 Face Landmark 특징 점을 사용한 결과, 얼굴 이미지와 Face Landmark, HOG를 모두 사용한 결과를 도출하여 모델의 성능을 비교하였다.

Ensemble Method의 경우 기존의 모델의 확률의 평균을 사용하는 soft voting 방식으로 먼저 결과를 측정하고, 제안된 soft voting 방식의 결과 또한 측정하여 결과 성능을 비교하였다.

본 논문은 성능 비교 결과를 통해 다음과 같은 결론을 얻었다. 얼굴 데이터에 Face Landmark 특징 점을 추가로 사용한 경우 평균 2.1%의 모델 정확도가 증가하였고, Face Landmark, HOG 특징 점을 모두 사용한 경우 평균 2.7%의 모델 정확도가 증가하였다. 또한, 제안된 새로운 soft voting 방식은 기존의 soft voting 방식과 비교하여 평균 0.7%의 모델 정확도가 증가하였다. 제안된 접근 방식들이 얼굴 표정 인식 모델의 성능을 최대 6.1%가량 향상시켜주는 것을 확인할 수 있었다.