하드웨어 트레이싱을 이용한 역공학 기법이 적용된 바이너리에서의 대칭키 암호 루틴 검출 방법

Abstract

소프트웨어는 통신의 기밀성과 인증을 제공하기 위해 암호화를 사용한다. 게다가, 암호화 알고리즘은 소프트웨어 구현의 핵심 알고리즘이 누출되는 것을 막기 위해 소프트웨어를 보호하는데 사용될 수도 있다.

최근, 맬웨어 및 랜섬웨어가 스스로를 분석으로부터 보호하기 위해 자신의 코드를 암호화하기 시작하였다. 이러한 분석을 요구하는 프로그램들로부터 암호화 알고리즘을 탐지하는 연구들이 지금까지 진행되어 왔으나, 이전 연구들은 분석 환경과 일반 실행 환경 간의 차이를 탐지하는 안티 리버싱 기법이 적용된 바이너리를 분석하는데 한계를 지닌다. 이를 해결하기 위해 본 논문에서는 하드웨어 트레이싱을 이용한 새로운 대칭키 암호화 루틴 탐지 방법을 제시한다.

실험 결과 9개의 대칭키 암호화 알고리즘에 대해 성공적으로 패턴을 생성하고 탐지할 수 있었다. 추가적으로, 실험 결과는 제안하는 방법의 오탐율이 매우 낮으며, 프로토타입 구현이 성공적으로 안티 리버싱 기법을 우회함을 보인다. 본 논문에서 제안하는 방법은 안티 리버싱 기법이 적용된 맬웨어/랜섬웨어에서 대칭키 암호화 루틴을 탐지하는데 사용될 수 있을 것으로 보인다.