Deep SHAP을 통한 Shapley Value의 노이즈 강건성 분석

Abstract

설명가능한 인공지능 기술 중 하나인 SHAP(Shapley Value Additive exPlanations)는 입력 데이터에 의존적이기 때문에 입력 변형에 취약하다고 알려진 바 있다. 본 논문은 딥러닝 모델에 적용 가능한 Deep SHAP을 이미지 분류 모델에 적용하여 노이즈 추가 전후 Shapley Value 사이의 차이를 비교하는 새로운 성능 평가 방법을 제안한다. 기존의 이미지 품질평가 방법에는 각 픽셀 값 차이의 총합을 계산하거나 구조적 유사도를 계산하는 방법이 있다. 하지만 기존의 방법은 값의 스케일링 문제뿐만 아니라 히트맵(Heat Map)으로 나타나는 Shapley Value의 시각적 차이를 반영하는데 한계가 있다. 따라서 본 논문에서는 이러한 한계에 영향을 받지 않는 Shapley Value 기반 새로운 평가 방법인 SVE(Shapley Value Error)를 제안한다. 제안하는 평가 방법을 적용하여 원본 이미지에 노이즈를 추가하여 노이즈 제거 전 후의 Shapley Value간 차이를 통해 Shapley Value가 노이즈에 민감한지 실험하였다. 실험에서 노이즈 제거 방법으로 선행 연구 주제인 퍼지 변환(Fuzzy Transformation, FT)를 사용하였으며, 실험 결과를 통해 Deep SHAP 전처리 과정으로 노이즈 제거가 필요함을 보였다.|Post hoc explanations techniques that rely on input perturbations, such as LIME(Local Interpretable Model-Agnostic Explanations) and SHAP(Shapley Value Addivite exPlanations), are not reliable. This paper proposes a novel performance evaluation method for analyzing the noise robustness of Deep SHAP. Traditional image quality metrics like Mean Square Error(MSE). Peak Signal to Noise Ratio(PSNR), Structural SIMilarity(SSIM) is methods of evaluating numerical errors or human visual quality differences. These methods, however, disregards scaling process and visual difference of Shapley Value. Therefore, in this paper, we propose SVE(Shapley Value Error), a evaluation method and is experimented the noise robustness with the proposed method.