비전 트랜스포머의 시각화를 위한 적대적 정규화 연구

Abstract

Vision Transformer는 이미지의 클래스 예측에 있어서 주로 [CLS] 토큰을 활용하도록 개발되어 왔다. 설명 가능한 vision transformer의 시각화는 [CLS] 토큰과의 연관성 정보를 활용하거나, self-attention 과정에서의 attention score에 주목하여 연구되어 왔다. 하지만, transformer 구조의 skip connection 및 attention operators에 대한 의존성, 학습 과정에서의 비선형성으로 인한 불안정성, 그리고 attention score가 relevancy를 충분히 반영하지 못하는 이슈 등은 Vision Transformer의 시각화를 어렵게 만드는 요인이다. 본 논문에서, 우리는 Vision Transformer에서 각 입력 패치 토큰에 대한 출력 벡터가 각 패치 위치의 이미지 정보를 유지하고, 이것이 이미지 클래스의 예측을 용이하게 할 수 있다고 주목한다. 이를 기반으로 우리는 모델이 이미지의 각 패치에 대해 학습된 클래스를 예측하게 하고, 이미지의 클래스를 결정짓지 않는 패치들에 대해서는 배경 클래스로 예측하게 하여 Vision Transformer의 설명 가능성을 효과적으로 시각화 할 수 있는 방법론인 ICE (Adversarial Normalization: I Can visualize Everything)를 제안한다. 우리는 설명 가능한 Vision Transformer의 시각화 연구에서 대표적으로 사용되는 DeiT-S 모델을 활용하여 ImageNet-Segmentation 데이터 셋에서 네 가지 모델 크기에 대해 기존 설명 가능한 시각화 방법론들을 능가하였다. 또한, 우리는 약지도학습 객체 탐지와 비지도 객체 탐지에 대해 정량적 및 정성적 분석을 실시하였다. CUB-200-2011과 PASCALVOC07/12 데이터셋에서 ICE는 최신 방법론들과 비교할 만한 성능을 보였다. ImageNet 데이터셋에서 DeiT-S의 인코더에 ICE를 통합하여 기존 DeiT-S 모델보다 44.01% 효율성을 개선하였다. 이는 최신 가지치기 모델인 EViT와 비교하여 정확도 및 효율성에 있어서 ICE의 효과성을 입증하였다.