Reducing False Negatives in Static Analysis Tool Using Test Code Mutants

Abstract

Modern Software is often exposed to safety accidents due to hacking and defects of software. Most of the accidents are caused by defects and security vulnerabilities in source code. The defects and vulnerabilities should be eliminated during the development phase before a software release because of loss of money and lives. Nowadays, many software developers use static code analysis tools for secure software development. Thus, it is necessary to have an effective way of evaluating the quality of static analysis technique. Despite the advantages of static code analysis, the developers tend to avoid using it because of the immoderate false negatives and positives. Unless the static analysis tool is tested appropriately, the false-alarm rate may be increased. In this paper, we propose an effective method of auto- matically generating test codes for static analysis tool based on mutation testing techniques. Actual false negatives of a commercially released static analysis tool were found by this method.|최근 소프트웨어는 해킹과 결점으로 인한 안전사고에 많이 노출되어 있다. 대부분 안전사고는 소스코드에 존재하는 버그나 보안취약점 때문에 발생한다. 이를 근본적으로 차단하기 위해서는 서비스 이전에 개발단계에서 소스코드에 내포된 버그나 보안취약점을 제거해야 한다. 소프트웨어 품질은 소프트웨어 개발에서 가장 중요하게 고려되는 문제이고 품질을 향상하기 위해 소프트웨어를 테스트하고 시큐어 코딩 가이드라인을 따르는 과정은 필수적이다. 안전한 소프트웨어 개발을 위한 방법으로는 소프트웨어의 소스코드를 분석하여 결점과 보안취약점을 식별해주는 정적 분석 기법과 소프트웨어 테스트기법 중 하나인 뮤테이션 테스트 기법이 있다. 그러나 정적 분석 기법은 많은 장점을 가지고 있지만, 정적 분석의 허위경보는 소프트웨어 개발자가 정적 분석 도구 사용을 피하게 한다. 정적 분석 도구는 충분한 테스트를 거치지 않으면 버그나 보안취약점 식별 능력이 떨어지고 분석 도구의 허위경보 발생률이 증가한다. 본 논문은 정적 분석 도구의 분석 능력을 향상하고 허위 경보 발생률을 줄이기 위해 분석기의 진단 능력을 검증할 때 사용하는 테스트 코드에 뮤테이션 테스트 기법을 적용하여 효율적이고 풍부한 테스트 코드를 생성하는 방안을 제안했다. 실험을 통하여 현재 시중에 나와 있는 정적 분석 도구의 미탐을 효율적으로 찾았다.; Modern Software is often exposed to safety accidents due to hacking and defects of software. Most of the accidents are caused by defects and security vulnerabilities in source code. The defects and vulnerabilities should be eliminated during the development phase before a software release because of loss of money and lives. Nowadays, many software developers use static code analysis tools for secure software development. Thus, it is necessary to have an effective way of evaluating the quality of static analysis technique. Despite the advantages of static code analysis, the developers tend to avoid using it because of the immoderate false negatives and positives. Unless the static analysis tool is tested appropriately, the false-alarm rate may be increased. In this paper, we propose an effective method of auto- matically generating test codes for static analysis tool based on mutation testing techniques. Actual false negatives of a commercially released static analysis tool were found by this method.