Selective face de-identification scheme using multiple face recognition and classification techniques

Abstract

Social media is rapidly growing by creating and sharing videos of various contents based on platforms such as youtube and twitter. However, as social media grows, the number of cases of personal information infringement where the faces of people unrelated to the video are indiscreetly exposed are also increasing. A video may include personal sensitive information such as a name, address and face, and representative sensitive information capable of identifying an individual is face. For this reason, various face de-identification methods for protecting personal information by obfuscating faces in the video have been proposed. However, most face de-identification methods then to de-identify all detected faces in images or videos, and focus on minimizing the loss of facial features due to obfuscation for preserving the usefulness of data. These methods are not suitable for social media environment. The reason is that videos shared on social media intentionally expose the faces of main characters such as host, creators, and actors, and convey the main story of its contents to viewers through them. So, the faces of main characters should be exposed on purpose, whereas the faces of surrounding people not related to the video, such as pedestrians or crowds, should not be exposed in the video. As a result, a face de-identification method that selectively obfuscates faces by classifying the faces in the video into the main characters and surrounding people is needed, and this method is essential to improve the privacy of social media. In this paper, we propose a selective face de-identification system that exposes faces of exposing targets and de-identifies faces of obfuscating targets by recognizing all faces in the video and classifying them into exposing targets and obfuscating targets. Our system detects and tracks multiple faces and classifies them into exposing targets and obfuscating targets by using deep-learning based face recognition techniques, and finally de-identifies the faces of obfuscating targets on purpose. We also propose a face de-identificaion pipelining scheme that matching existing faces in continuous frames of a video and rearranges the order of faces to be identified in each frame for efficient batch processing of face de-identification in our system. |소셜 미디어는 유튜브, 트위터 등과 같은 플랫폼을 기반으로 다양한 콘텐츠의 동영상을 제작하고 공유하며 빠르게 성장하고 있다. 그러나 소셜 미디어가 성장하면서 동영상과 관련 없는 사람들의 얼굴이 무차별적으로 노출되는 개인정보침해 사례 또한 증가하고 있다. 동영상은 이름, 주소, 얼굴 등과 같은 개인의 민감 정보를 포함할 수 있으며, 개인을 식별할 수 있는 대표적인 민감 정보는 얼굴이다. 이로 인해서, 동영상에서 얼굴을 난독화하여 개인정보를 보호하는 다양한 얼굴 비식별화 방법이 제안되고 있다. 하지만 대부분의 얼굴 비식별화 방법들은 이미지 또는 동영상에서 탐지되는 모든 얼굴을 비식별화하거나, 데이터의 유용성을 보존하기 위해서 난독화로 인한 얼굴 특징의 손실을 최소화하는 것에 집중하는 경향이 있다. 이러한 방법들은 소셜 미디어의 환경에는 적합하지 않다. 그 이유는 소셜 미디어에서 공유되는 동영상들은 호스트, 크리에이터 그리고 배우와 같은 주인공의 얼굴들을 의도적으로 노출하고 그들을 통해서 시청자에게 중심 스토리를 전달하기 때문이다. 그래서 주인공의 얼굴들은 의독적으로 노출되어야 하는 반면에 보행자 또는 군중과 같은 동영상과 관련이 없는 주변 인물의 얼굴들은 동영상에서 노출되지 않아야 한다. 결과적으로, 동영상에 등장하는 얼굴들을 주인공과 주변 인물로 분류함으로써 얼굴을 선택적으로 난독화하는 얼굴 비식별화 방법이 필요하고, 이 방법은 소셜 미디어의 프라이버시를 향상시키기 위해서 필수적이다. 본 논문에서는, 동영상의 모든 얼굴을 인식하고 노출 대상과 난독화 대상으로 분류함으로써 노출 대상의 얼굴들은 노출시키고 난독화 대상의 얼굴들은 비식별화하는 선택적 얼굴 비식별화 시스템을 제안한다. 우리의 시스템은 딥 러닝 기반의 얼굴 인식 기술을 이용하여 여러 얼굴을 탐지 및 추적하고 노출 대상과 난독화 대상으로 분류하여 최종적으로 난독화 대상의 얼굴만 의도적으로 비식별화한다. 또한, 우리는 우리의 시스템의 효율적인 얼굴 비식별화 일괄 처리를 위해서 동영상의 연속 프레임에서 존재하는 얼굴을 매칭하고 각 프레임에서 식별할 얼굴의 순서를 재배열하는 얼굴 비식별화 파이프라이닝 기법을 제안한다.