Self-supervised TabNet 기반 사출성형 품질 분류

Abstract

Class imbalance 데이터란 특정 클래스의 데이터 샘플 수가 다른 클래스에 비해 현저하게 적은 상황을 나타낸다. 이러한 불균형은 주로 분류 문제에서 발생하며, class imbalance 정도가 심하면 모델이 학습할 때 해당 클래스의 패 턴을 충분히 학습하지 못해 문제가 발생할 수 있다. 단순히 모델의 높은 정확도를 얻기 위해 소수 class를 다수 class로 예측한다면 실질적으로 문제를 해결하지 못하며, 특히 불균형한 클래스 간의 성능 차이를 크게 낳을 수 있다. 이러한 class imbalance는 실제 응용 분야에서 매우 흔하게 나타나며, 특히 의료 진단이나 제조업에서의 불량 검출과 같은 실제 문제들에서 주로 관찰된다. 이는 특정 결함이 발생하는 경우가 전반적으로 드물어 해당 클래스의 데이터가 적게 생성되기 때문이다. 이러한 상황에서 모델이 소수 class를 예측하지 않고 다수 class로 예측하는 경향이 강화되면, 모델의 실용성과 신뢰성이 현저히 감소할 수 있다. 따라서 class imbalance에 대한 효과적인 대응은 모델의 실제 성능을 향상시키고, 특히 소수 class에 대한 정확한 학습을 보장하여 실제 활용 가능성을 높일 수 있는 중요한 연구 과제로 주목받고 있다. 본 연구에서는 머신러닝 기반 선행연구들에서 공통적으로 발생한 class imbalance 데이터에 대한 분류 성능 및 일반화 성능의 저하 문제를 해결하기 위해 Self-supervised learning(SSL)과 feature extraction 모듈을 사용했다. Tabular 데이터에 대해 SSL을 적용하기 위해 우수한 성능을 보이는 TabNet을 선택하였으며, 특히 TabNet encoder의 Attentive transformer를 변형하여 분류 및 일반화 성능 저하 문제를 효과적으로 해결했다. 기존의 Attentive transformer에 적용된 Sequential attention을 사용하는 것에 그치지 않고, feature extraction module을 추가함으로써 더 깊은 수준에서 feature를 추출했다. 이를 통해 데이터의 패턴을 뚜렷하게 학습하여, 선행연구들이 겪었던 class imbalance에 따른 문제를 해결하고 분류 성능 및 일반화 성능을 향상했다. 본 연구에서 여러 실험을 통해 새롭게 제안한 연구모형이 가장 우수한 분류 및 일반화 성능을 보이는 것을 확인했다|Class imbalance data represents a situation in which the number of data samples of a specific class is significantly smaller than that of other classes. This imbalance mainly occurs in classification problems, and if the degree of class imbalance is severe, a problem may occur because the model does not sufficiently learn the pattern of the class when learning. If a prime number class is predicted as a majority class simply to obtain high accuracy of the model, the problem may not be solved, and in particular, it may lead to a large difference in performance between imbalanced classes. This class imbalance is very common in practical application fields and is mainly observed in real problems such as medical diagnosis and fault detection in the manufacturing industry. This is because less data for the class is generated because a specific defect is generally rare. In this situation, if the tendency of the model to predict the prime number class without predicting the prime number class is strengthened, the practicality and reliability of the model may be significantly reduced. Therefore, effective response to class imbalance is attracting attention as an important research task that can improve the actual performance of the model, especially by ensuring accurate learning about minority classes. In this study, self-supervised learning (SSL) and feature extraction modules were used to solve the problem of deterioration of classification and generalization performance common to machine learning-based previous studies. To apply SSL to tabular data, TabNet with excellent performance was selected, and in particular, the problem of deterioration of classification and generalization performance was effectively solved by transforming the Attentive transformer of the TabNet encoder. In addition to using the Sequential attraction applied to the existing Attentive transformer, feature was extracted at a deeper level by adding a feature extraction module. Through this, the data patterns were clearly learned, solving the problems caused by the class balance experienced by previous studies, and improving the classification performance and generalization performance. Through several experiments in this study, it was confirmed that the newly proposed research model showed the best classification and generalization performance.