멀티 패턴 매칭을 이용한 안티 디버깅 기술 회피 시스템

Abstract

최근 저작권의 중요성이 대두됨에 따라 이에 따른 많은 분석 방지 방법 연구가 활발하게 이루어지고 있다. 하지만 이러한 분석 방지 방법들은 악성 코드들에도 디버깅 환경을 탐지하면 악성 행위를 숨기고 정상 행위를 하거나 프로그램을 바로 종료시키고 자취를 지워버리는 등과 같은 방법으로 활용되기도 한다.

동적 분석 시에는 안티 디버깅 기술들을 회피하기 위해 디버거에 플러그인을 사용하기도 한다. 하지만 디버거의 플러그인 부착 방법은 플러그인으로 인해 늘어나는 Tracing의 시간, 디버거 탐지 기술, 빠르게 늘어나는 안티 디버깅 기술 등 여러 문제점이 존재한다.

본 논문에서는 바이너리를 디스어셈블하여 룰을 기반으로 안티 디버깅 기술을 정적으로 탐지하고 멀티 패턴 매칭을 이용하여 해당 Byte Seqeunce를 수정하는 시스템을 제안한다. 바이너리의 어셈블리 코드를 보고 안티 디버깅 API가 호출되는 코드나, General-Purpose Register를 추적하여 안티 디버깅 기술을 탐지한다. 탐지 과정을 통해 수정할 곳으로 정해진 Byte Seqeunce들을 수집한 후 Aho-Corasick 알고리즘을 이용하여 패치할 장소를 빠르게 탐색하여 규칙에 따라 패치하도록 한다

안티 디버깅 방지 시스템을 실험하기 위해 안티 디버깅 기능을 가진 제작한 샘플을 이용하여 먼저 실험하였고, 5개의 악성코드 패밀리, 총 20여개 샘플의 안티 디버깅 기술 존재 여부를 수작업으로 분석하였고 실험 검증을 위해 바이너리 수정 후 Trace의 변화를 관찰하였다. 또 안티 디버깅 기술이 적용된 상용 프로그램에서도 바이너리 수정 후 Trace의 변화가 있는지 살펴보았다. 마지막으로 패치 방법의 ASLR을 사용 시 한계점에 대한 해결책을 제시하고 향후 연구로도 계획하였다.