XAI의 보안을 위한 딥러닝 기반의 히트맵 왜곡 탐지 앙상블 모델

Abstract

인공지능의 발전으로 다양한 산업에서 다양한 형태로 적용된 인공지능은 우리의 삶에 이미 많은 부분 적용되어 활용되고 있다. 그 배경에 있는 딥러닝 기술은 머신러닝 기법의 일종으로 현재 인공지능 기술의 근간이라 할 수 있다. 최근 많은 연구와 발전을 이루어 높은 예측 성능을 보여주고 있지만 그 결과를 도출하는 과정과 이유에 대한 해석이 불가능한 블랙박스 모델이라는 한계점을 가지고 있다. XAI는 기존 블랙박스였던 인공지능 모델의 투명성을 제공함으로써 결과의 신뢰성과 해당 결과를 도출하기 위한 과정을 확인함으로 딥러닝 모델의 원리를 이해해고 설계를 가능하게 한다. 하지만 기존 딥러닝 모델의 신뢰성을 부여하기 위한 XAI 기술도 해킹의 위험성이 있다. 본 논문에서는 XAI 기술 중 하나인 LRP를 속이는 방법으로 기하학적 왜곡을 소개하고, 최근에 많은 관심과 연구 개발이 이루어지고 있는 딥러닝 기술을 활용하여 기하학적 왜곡을 탐지하는 앙상블 모델을 제안한다. 제안 모델은 MobileNet과 Xception을 결합해 이미지를 분석하고 CNN을 활용해 분석한 히트맵 이미지 분석 정보와 결합한다. 마지막으로 분석한 결과를 XGBoost 앙상블 모델을 활용해 한 번 더 학습하고 히트맵 왜곡을 탐지한다. 제안 모델은 이미지 분석에 많이 사용하는 이미지 분석 딥러닝 모델들과 정확도, 정밀도, 재현율, F1-score 등을 비교해 성능을 평가한다. 제안하는 모델은 99.5%라는 수치의 정확도를 보여준다. 제안하는 앙상블 모델은 95%의 정확도로 기하학적 왜곡을 탐지할 수 있음을 보여준다. 제안 모델은 비교하는 다른 히트맵 왜곡 탐지 모델에 비해 정확도, 정밀도, 재현율, F1-Score 등 여러 수치에서 우위에 있음을 보여준다. 이를 통해 기하학적 왜곡으로 왜곡된 데이터가 들어와 LRP의 설명이 왜곡되었는지 검증이 가능해져 설명이 왜곡되는것을 방지하고 LRP의 결과를 더 신뢰할 수 있게 됨을 기대한다.