머신러닝 기반의 얼굴 변환 시스템 구현 및 연구

Abstract

인공지능 관련 기술이 발전함에 따라 딥러닝을 기반으로 사람의 얼굴이나 부위를 합성하거나 교체하는, ‘딥페이크’영상에 대한 논란이 커지고 있다. 반면 제한된 상황에서 합법적으로 사용된다면 많은 가능성을 내포하고 있는 기술이기도 하다.

본 논문은 영상에서 노출되는 특정인의 얼굴을 입력된 얼굴로 실시간 변환하는 시스템을 개발하는 것을 골자로 그 기능을 구현한다. 기존 VOD 영상 구조에서 특정인의 얼굴을 입력받아 영상의 얼굴을 변환하여 재생한다. 이미지 합성의 완성도를 높이기 위해서는 딥페이크의 경우에서도 볼 수 있듯 특정 이미지에 대한 학습 시간이 소요되는 것이 불가피하다. 따라서 실시간 변환의 특성상 얼굴 변환의 완성도보다는 변환 속도와 효율성에 중점을 두었다.

얼굴인식에는 HOG(Histogram of Oriented Gradient)를 사용하였고 얼굴변환에는 보편적으로 사용되는 Face Alignment 방식으로 구현하였으며 추가로 GAN 모델을 사용한 얼굴변환을 제안하였다. Face Alignment 방식의 경우 속도와 유사도 모두가 GAN 모델을 사용한 얼굴변환보다 우수하게 나타났다. 하지만 GAN 모델은 장애물로 인한 폐색 등을 해결하는데 확장성을 갖고 접근이 가능하여 보다 더 자연스러운 결과물을 도출할 수 있다. 추가 연구를 통한 개선을 거친다면 실시간 얼굴변환에서도 GAN 모델이 Face Alignment 방식을 대체하는 성능을 낼 수 있을 것이라 예상한다.; As artificial intelligence-related technologies develop, controversy is growing over "DeepFake" videos that synthesize or replace human faces or body parts based on deep learning. On the other hand, it is a technology that implies many possibilities if it is used legally limited situations.

This paper embodies its function with the aim of developing a system that converts the face of a specific person exposed in the video into an input face. In the existing VOD video structure, a specific person's face is inputted and the video's face is converted and played. In order to improve the completeness of image synthesis, it is inevitable that it takes time to learn a specific image, as can be seen in the case of Deepfake. Therefore, due to the nature of real-time transformation, the focus was on conversion speed and efficiency rather than the completeness of face transformation.

HOG (Histogram of Oriented Gradient) was used for face recognition, and Face Alignment method, which is commonly used for face transformation, was implemented and additional face transformation using GAN model was proposed. For the Face Alignment method, both speed and similarity were superior to face conversion using the GAN model. However, the GAN model has scalability and access to address obstruction-induced occlusion, which can produce more natural results. It is expected that the GAN model will be able to replace the Face Alignment method in real-time face transformation if further research improves.