Construction of Error Correcting Output Codes for Robust Deep Neural Networks Based on Label Grouping Scheme

Abstract

Error-Correcting Output Codes (ECOCs) have been proposed to construct multi-class classifiers using simple binary classifiers. Recently, the principle of ECOCs has been employed for improving the robustness of deep neural netowrks (DNNs) against perturbations of an input data by performing the error correction function (like error correcting codes) through label encodings. In this thesis, a novel ECOC framework is developed by presenting a novel label grouping and code-construction method. The proposed label grouping is based on linear discriminant analysis (LDA) similarity. Via simulations, it is demonstrated that deep classifiers trained with the proposed ECOC yield better classification performance on pure data and better adversarial robustness than the state-of-the-art deep neural classifiers using ECOCs.| ECOC (Error-correcting output codes)는 간단한 이진 분류기 (Binary classifier)들을 활용하여 다중 분류기 (Multi-class classifier)를 설계하기 위해 연구되어 왔다. 최근, ECOC는 라벨 부호화 (Label encoding)을 통해 오류 정정 부호 (Error correcting codes) 기능을 수행하도록 하여, 심층신경망 (Deep neural network)의 입력 데이터에 더해지는 섭동 (Perturbation)에 대한 강인성을 향상시키기 위해 활용되었다. 본 논문에서는 새로운 라벨 그룹화 (Label grouping) 알고리즘과 코드 설계 기법 (Code-construction method)을 제안하여 새로운 ECOC 프레임워크를 소개한다. 제안된 라벨 그룹화 알고리즘은 선형판별분석 (Linear discriminant analysis)를 기반으로 한다. 실험을 통해 제안된 ECOC를 적용한 심층신경망이 최신의 ECOC 기법들을 적용한 심층신경망보다 원본 데이터에 대해서 더 좋은 성능을 산출할 뿐만 아니라 적대적 예제 (Adversarial example)에 대해 더 좋은 강인성을 보임을 확인한다.