IPT를 활용한 딥러닝 기반 대칭키 암호화 알고리즘 식별에 대한 연구

Abstract

Malware and ransomware are often encrypted to protect their own code, making it challenging to apply reverse engineering to analyze them. Recently, various studies have been underway to identify cryptography algorithms in malware or ransomware that use anti-reversing technology via deep-learning technology. In particular, CNNs (convolution neural networks) are deep-learning algorithms with superior performance, as compared to existing machine-learning algorithms in image classification. In the cases of malicious files to which anti-debugging techniques or anti-DBI (dynamic binary instrumentation) techniques are applied, if the traces are extracted using various debuggers or DBI, the traces are cut off due to these techniques. The IPT (Intel processor trace) has the advantage of extracting an accurate trace of a program by bypassing the anti-debugging or anti-DBI technique. This paper presents a novel method by which to identify the symmetric-key algorithms by applying a CNN to the traces extracted from the IPT. The IPT minimally interrupts software execution. First, the trace encrypted by the symmetric-key algorithms is extracted using the IPT. Then it is converted into an image to be an input into the CNN. The experiments were carried out with two different datasets. The first dataset contained traces extracted by different types of symmetric-key algorithms, and the training results were classified into nine classes with 100% accuracy. The second dataset contained traces that included the various bit sizes of the security keys and the block-cipher modes for each type of symmetric-key algorithm. Training results were classified into 36 classes with an accuracy of 70.55%. While previous studies have identified the types of encryption algorithms, this study employed a CNN to identify the number of key bits and the block-cipher modes as well.|멜웨어와 랜섬웨어는 자신의 코드를 보호하기 위해 암호화되어 리버싱 엔지니어들의 분석에 어려움을 겪게 한다. 최근 딥러닝 기술을 이용하여 안티리버싱 기법이 적용된 멜웨어나 랜섬웨어의 암호화 알고리즘을 판별하기 위한 다양한 연구들이 진행중이다. 특히 CNN (Convoution Neural Network)은 이미지 분류와 같은 작업에서 기존의 머신러닝 방법에 비해 우수한 성능을 보이는 딥러닝 방법이다. anti-debugging 기법이나 anti-dbi (dynamic binary instrumentation) 기법이 적용된 악성 파일의 경우에는 각종 디버거나 dbi를 이용하여 트레이스를 추출할 경우 위 기법들로 인해 트레이스가 달라진다. IPT(Intel Processor Trace)는 위 기법들을 모두 우회하여 프로그램의 정확한 트레이스를 추출할 수 있는 장점이 있다.

본 연구에서는 IPT로부터 추출된 트레이스에 대해 CNN을 적용하여 대칭키 암호화 알고리즘의 판별을 위한 연구를 수행하였다. IPT는 소프트웨어 실행에 거의 영향을 주지 않는다. 먼저 암호화 알고리즘이 암호화하는 트레이스를 IPT를 이용하여 추출하고, 추출된 트레이스는 이미지화하여 CNN의 입력이 된다. 본 연구에서는 2개의 서로 다른 데이터 세트에 대해서 실험을 진행하였다.

첫 번째 데이터 세트의 구성은 대칭키 암호화 알고리즘의 유형별로 추출된 트레이스가 담겨져 있고 트레이닝 결과는 9개 클래스로 분류되고 정확도는 100%를 달성하였다. 두 번째 데이터 세트의 구성은 대칭키 암호화 알고리즘의 유형별 키 비트수와 블록 암호 모드까지 포함된 트레이스를 담고 있고, 트레이닝 결과는 36개 클래스로 분류되고 정확도는 70.55%를 달성하였다. 기존의 연구는 암호화 알고리즘 종류만 식별하였지만, 본 연구는 분류에 뛰어난 CNN과 소프트웨어 실행정보에 거의 영향을 가하지 않는 IPT를 이용하여 키 비트수와 블록 암호 모드까지 식별을 하였다. 이 점을 이용하여 분석가 입장에서 분석의 효율을 더 증가시킬 수 있는 장점을 제공한다.