기호 실행에 기반한 악성코드 실행 및프로토콜 역공학 자동화 구현 방법론

Abstract

악성코드를 동적으로 분석하고 악성행위를 보다 정확하게 파악하기 위해서는 악성코드가 정상적으로 동작하도록 만들어야 하는 어려움이 존재한다. 일반적으로 실행 환경과 분석 환경에 차이가 존재하기 때문에, 분석 환경에서 정상적으로 동작하지 않는 경우가 많다. 본 논문에서는 명령제어 서버와 통신하는 악성코드를 대상으로 실제 악성행위를 수행하도록 동작시키며, 명령제어 서버와 통신하는데 사용되는 네트워크 프로토콜을 도출하는 연구를 진행한다. 기호 실행 기술을 도입하여 위의 어려움을 극복하고 악성코드를 실제로 실행시키며, 악성코드가 사용하는 프로토콜을 규명하기 위한 방법을 제시한다. 추가적으로 이러한 분석 과정들을 자동화할 수 있는 스크립트를 작성하는 방법론을 제시한다. 제 1장에서는 악성코드를 실제로 동작시키며 네트워크 프로토콜을 규명함에 있어서의 필요성을 강조한다. 또한 향후 활용될 수 있는 분야에 대해 논의한다. 제 2장에서는 선행된 기호 실행 기술 및 프로토콜 역공학 기술에 대하여 기술한다. 제 3장에서는 스크립트를 제작하여 악성코드를 실제 악성행위를 수행하도록 동작시키는 방법을 제시한다. 목표한 API까지 도달할 수 있는 경로를 탐색하고, 탐색한 경로대로 실제 프로그램이 진행하도록 한다. 그 과정에서 기호 실행을 이용하여 각 분기별 제약조건을 풀이하여 의도한 분기로 프로그램이 진행되도록 유도한다. 제 4장에서는 3장에서 실제 실행한 악성코드를 대상으로 프로토콜을 도출하는 프로토콜 역공학을 수행한다. 네트워크 행위를 수행하는 API를 기호화하여 악성코드가 수신 및 송신하는 페이로드를 포함한 버퍼 영역이 어떤 값으로 풀이되는지 추적한다. 추적한 제약조건들을 풀이하여 명령제어 프로토콜을 도출한다. 풀이를 반복하는 깊이가 정해진 깊이 탐색 알고리즘을 이용한다. 제 5장에서는 3장과 4장에서 제작한 스크립트들을 통합하는 통합 스크립트를 구현한다. 또한 통합 스크립트를 작성하는 방법에 대하여 기술한다. 실제 실행에 해당하는 디버깅 과정과 기호 실행에 해당하는 에뮬레이션 과정에 대하여 각 시스템 상태를 동기화 하며 제작하는 방법을 제시한다. 마지막으로 구현한 통합 스크립트를 활용하여 실제 악성코드를 대상으로 실험을 수행하며 활용 활용 방안에 대해 논의한다. 본 연구에서 다루는 사항들 외에 악성코드를 자동화된 분석을 하기 위해서 많은 난점이 존재한다. 여러 악성코드들은 분석을 방해하는 다양한 기법과 난독화가 적용되어 있다. 본 논문의 결론에서는 이러한 난점들을 종합하고, 이를 수동으로 극복할 수 있는 방안을 제시한다. 또한 향후 연구 방향을 제시한다.