PE 구조와 인공신경망을 사용한 패커 식별 방안 연구

Abstract

악성코드는 컴퓨터 보안의 주요 관심 분야 중 하나로, 최근 악성코드의 수는 점점 증가하고 있다. 패커는 상용 프로그램에서 중요한 내용을 보호하기 위해 사용되지만 악성 코드 개발자는 분석가의 분석을 어렵게 하고 악성 코드의 탐지를 회피하기 위해 패커를 악용하여 프로그램의 실행에 필요한 정보들을 압축 및 난독화하는데 사용하고 있다. 이에, 분석가들이 패킹(Packing)된 악성코드를 분석하기 위해서는 언패킹(Unpacking)을 해야 하며, 언패킹을 할 때 패킹된 프로그램의 패커 종류를 식별하는 것은 언패킹을 하는데 많은 도움이 된다.

기존에는 서명 기반 탐지 방식의 기법이 사용되었으나 식별을 위해서는 미리 만들어 둔 서명 데이터베이스가 필요하고, 최신 패커의 경우 식별이 어렵다는 문제점이 존재한다. 이에, 본 논문에서는 머신러닝 기반의 알고리즘을 사용하여 패킹된 PE(Portable Executable) 프로그램의 패커를 식별하는 방법을 제안한다.

제안한 방법은 파서(Parser)를 사용하여 패킹된 프로그램의 PE 정보를 추출한다. 이후, 언패킹을 위한 코드와 섹션(Section)의 특징에 관련된 항목을 추출하고 추출된 데이터와 ANN(Artificial Neural Network) 알고리즘을 사용하여 패커를 식별한다. 실험을 위해 사용된 데이터는 TUSTS4YOU와 VIRUSTOTAL에서 수집한 20가지 종류의 패커로 패킹된 PE 프로그램을 사용하였으며, 제안한 기법은 약 95%의 정확도로 패커를 식별할 수 있었다. 또한, 기존의 서명 기반 PE 식별 도구인 PEiD와 기존 머신 러닝 기반의 식별 방법의 정확도를 측정하였다. 본 논문에서 제안한 방법의 정확도가 기존의 방법보다 더 높으며 패커를 식별하는데 더 뛰어난 성능을 발휘하는 것을 확인할 수 있었다.