Weighted Hierarchical Ensemble of Twin Support Vector Machine adopting Artificial Neural Network Structure

Abstract

이번 연구에서는 인공신경망의 활성함수의 단점을 극복하면서 앙상블 기법을 통해 분류 성능을 향상시킨 TWSVM의 계층적 앙상블 모형인 wEnTWSVM을 제안했다. TWSVM은 각 그룹을 잘 설명하고 다른 그룹에 이르는 거리를 멀리하는 초평면을 추정하는 분류 알고리즘으로 사이즈가 작은 quadratic programming을 통해 연산 시간을 줄이고 분류 성능 또한 많은 연구 통해 검증된 분류 방법이다. 따라서 TWSVM을 이용하여 활성함수가 가지고 있는 기울기가 0이 되거나 수렴하지 않는 문제를 해결할 수 있다. 또한 인공신경망의 가중치를 사용하므로 예측값과 실제값의 차이를 줄이는 인공신경망의 목적함수와 두 그룹 사이의 거리를 최대로 하는 TWSVM의 목적함수를 동시에 최적화 할 수 있다. 안정적인 분류 성능 향상을 위해 앙상블 기법 중 여러 개의 앙상블 분류기를 통해 나온 예측 값과 입력값을 결합하여 다시 학습에 사용하는 계층적 앙상블 기법을 사용하였다. wEnTWSVM은 계층적 앙상블 기법을 통해 인공신경망 구조에서 출력되는 TWSVM의 예측값을 데이터와 결합한 뒤 최종의사결정모형을 통해 분류를 진행한다. 모형의 모수에 따른 변화와 특성을 파악하기 위해 4개의 시뮬레이션 데이터를 활용하여 분류 성능 및 가중치와 앙상블 기법의 효과를 확인하였다. 또한 실제 측정 데이터인 19개의 NIR 데이터와 2개의 LIBS 데이터를 이용하여 인공신경망, SVM, TWSVM 그리고 wEnTWSVM의 분류 성능을 비교하였다. 그 결과 19개의 NIR 데이터 중 18개의 데이터에서 wEnTWSVM이 가장 좋은 분류 성능을 보였고 LIBS 데이터에서도 의미 있는 분류 성능 향상을 확인하였다.; This study propose a weighted hierarchical ensemble Twin support vector machine(wEnTWSVM) that improves classification performance through ensemble techniques while overcoming shortcomings of activation functions of artificial neural network. Twin support vector machine (TWSVM), which creates two non-parallel planes closer to one group and as far as possible from the other, reduces computation cost because it solves secondary programming with small samples. Since TWSVM is used as an active function, it is able to solve the problem that the slope of the artificial neural network does not converge and becomes zero. Also, since the objective function of the artificial neural network and TWSVM are simultaneously optimized, it is expected to improve the classification performance. In order to improve the classification performance, a hierarchical ensemble technique is adopted that combines predicted values and input values from the ensemble classifier and enters the classification model again. The wEnTWSVM combines predicted values and input data of TWSVM through hierarchical ensemble technique, and then reclassifying it through final decision model. To identify the characteristics of the parameters of the model, two generated data are used to identify the classification performance, effect of ensemble and the amount of change for the weights. For model verification, classification performance of artificial neural network, Support vector machine(SVM), TWSVM, and wEnTWSVM is compared using 19 NIR dataset and 2 LIBS dataset. As a result, wEnTWSVM shows the best classification performance except one NIR data, and it is confirmed that a significant classification performance improvement is found in a lot of dataset.