A Study of Spatial Domain Trace in CNN-generated Images using Layer-wise Relevance Propagation

Abstract

Recently, fake images generated by Generative Adversarial Neural network (GAN) have shown high similarity to real images, making it difficult for humans to classify them. In parallel, fake image detection models based on CNN structures have been proposed. Particularly, some studies have shown good performance in cross-dataset evaluation through generalization of the detection model, so it is evaluated that the detection model is well generalized, but it also suggests the possibility that images generated by GAN have common traces. In this paper, to find common traces of images created by GAN in the spatial domain, the contribution (Relevance-Score) is expressed and analyzed as a pixel level of the image through Layer-wise Relevance Propagation (LRP) in a detection model with various contextual meanings. As a result, we found a very small number of traces in the same image pixels that are commonly influenced by multiple models with high performance in the real/fake detection task. Our results show that there are few common traces in the image pixels of GAN-generated images and suggest the possibility that the traces seen by general-purpose detection models may exist in different regions.|최근 생성적 적대 신경망(GAN)으로 생성된 Fake Image는 사람이 보기에 분류하기 어려울 정도로 Real Image와 높은 유사도를 보이고 있다. 한편으로 는 CNN 구조를 기반으로 한 Fake Image Detection Model 연구도 병행되고 있다. 특히 일부 연구에서 Detection Model의 일반화를 통해 교차 Dataset 평 가에서도 좋은 성능을 보여, Detection Model이 일반화가 잘 되었다고 평가 되지만 GAN으로 생성된 Image가 공통된 흔적을 가지고 있다는 가능성을 제 시하기도 한다. 본 논문에서는 GAN에서 만들어진 Image의 공통된 흔적을 공 간 영역에서 찾기 위해 Context적인 의미가 다양한 Detection Model에 Layer-wise Relevance Propagation(LRP)을 적용하여 기여도 (Relevance-Score)를 Image의 Pixel 단위로 표현하고 분석하였다. 그 결과 Real/Fake Detection Task에 높은 성능을 보이는 여러 Model이 같은 Image 의 Pixel에서 공통적으로 영향을 주는 매우 적은 개수의 흔적을 발견하였다. 우리의 연구 결과는 GAN으로 생성된 이미지의 이미지 픽셀에는 공통된 흔적 이 거의 없으며 범용 감지 모델에서 볼 수 있는 흔적이 다른 영역에 존재할 수 있다는 가능성을 시사한다