Deep SHAP을 통한 Shapley value의 노이즈 강건성 분석

Abstract

설명가능한 인공지능인 SHAP(SHapley value Additive exPlanations)는 입력 데이터에 의존적이기 때문에 입력 변형에 취약하다. 본 논문은 노이즈에 대한 Deep SHAP의 노이즈 강건성을 확인하기 위해 노이즈 추가에 따른 이미지의 Shapley value 차이를 비교한다. 기존의이미지 품질평가 방법은 DeepSHAP 결과의 시각적 차이를 비교하기에 한계가 있다. 따라서본 논문에서는 시각적 차이를 반영한 Shapley value 기반의 새로운 평가 방법인SVE(Shapley Value Error)를 제안한다. SVE를 적용하여 노이즈 제거 후 이미지의 Shapleyvalue가 원본의 Shapley value와 더 유사함을 보이고 Deep SHAP 전처리 과정으로 노이즈제거가 필요함을 보인다.

Post-hoc explanations techniques that rely on input perturbations, such as SHAP, are not reliable. This paper shows that Deep SHAP is not robust in noisy environment. Furthermore, It is difficult to evaluate SHAP performance with existing distance-based values. Thus This paper proposes a novel algorithm to evaluate performance, SVE(Shapley Value Error). We show that image preprocessing like denoising is needed to apply Deep SHAP and Shapley values of denoised image is closer with shapley value of original image by using proposed algorithm in experiment.