Weakly Supervised Defect Segmentation for Semiconductor Wafer Inspection Based on Golden Template Generation With Synthetic Image Augmentation

Abstract

As quality control has grown in importance, defect inspection has become increasingly important in the manufacturing industries, in order for companies to improve their competitive edge. To this end, a large number of products are examined by human inspectors. Due to the tiny size of defects, semiconductor wafer inspection should be elaborately performed using optical devices such as microscopes since defects. However, it is almost impossible for human inspectors to maintain consistent examination quality during working hours. Because the inspection of the quality of semiconductor wafers is complex, human inspectors need training, which takes time. For these reasons, there is an increasing demand for automated defect inspection. Although there have been major advances in the field of image-based defect inspection, some challenges still remain. Unlike general objects, it is difficult to obtain images of products containing defects, because defects occurring only three or four times per million units or events are allowed in the modern manufacturing industries using Six Sigma methodology. Data imbalance is inevitable in the field of defect inspection, because all of the causes which result in specific defects does not occur at the same rate. When training image-based inspection systems, supervised segmentation requires a large number of defect images with their region-level labels. Annotation for defect segmentation is more difficult because it is quite ambiguous from the perspective of what a region to be annotated is and how large a region is. To alleviate these problems, this dissertation presents a weakly supervised defect segmentation method for semiconductor wafer inspection, which requires only image-level labels. The proposed method consists of synthetic image augmentation, golden template generation, and defective region segmentation. Synthetic defect and non-defect image augmentation using one generator trained only on defect images enhances the quality of generated golden templates and improves the segmentation performance. Through golden template generation, a defect image changes to a defect-free images. In order to generate more reliable golden templates, the identity mapping loss is used. With this loss, a generator preserves defect-free patterns in images while eliminating defects. Defective regions are segmented using class activation mapping for a classification network trained on defect and non-defect images. Before training a network, data preprocessing based on golden template generation is performed, which roughly highlights a defective region in an image and enhances the capability to locate a defective region of a network. To evaluate the competitiveness of the proposed method, segmentation performance and inference time were measured on a semiconductor wafer defect dataset. The experimental results demonstrated that the proposed method outperformed other existing weakly supervised methods, and showed remarkable segmentation results comparable to those of supervised methods without pixel-wise annotation.|제조업 분야에서 품질 관리의 중요성이 커짐에 따라 기업의 경쟁력 향상을 위한 결함 검사 가 점점 더 중요해지고 있다. 이를 위해, 사람이 직접 많은 수의 제품들을 검사하고 있다. 반도체 웨이퍼의 경우 결함의 크기가 굉장히 작기 때문에 현미경과 같은 광학 기기를 사용 하여 정밀하게 검사되어야 한다. 하지만 근무 시간 동안 검사관이 검사 품질을 일관되게 유지하는 것은 거의 불가능하다. 또한, 반도체 웨이퍼의 품질을 검사하는 것은 쉬운 작업이 아니기 때문에 교육을 위한 시간이 필요한 것이 일반적이다. 이러한 이유들로 인해 자동 결함 검사에 대한 수요가 증가하고 있다. 이미지 기반 결함 검사 분야에 큰 진보가 있었지만 여전히 몇 가지 해결해야 할 문제가 남아 있다. 대표적으로 데이터 부족, 데이터 불균형, 데이터 어노테이션 문제가 있다. 일반 적인 물체와 달리 6 시그마 경영을 목표로 하는 현대의 제조 산업 분야에서는 백만 개 당 세 개 혹은 네 개꼴의 불량품이 허용되는 것이 일반적이기 때문에 결함이 포함된 물체가 촬영된 영상은 획득하기 어렵다. 결함의 경우 특정 원인들로 인해 발생하게 되는데, 모든 결함 원인이 동등한 비율로 발생하지 않기 때문에 데이터 불균형은 결함 검사 분야에서 불가피한 문제이다. 또한, 이미지 기반 결함 검사 방법 중 지도 학습 기반의 결함 영역 분할 방법의 경우 많은 양의 결함 영상과 영역 수준의 레이블이 필요하다. 하지만 픽셀 수준의 주석 처리는 난이도가 굉장히 높고 많은 시간이 소요되는 작업이며, 결함 영역 분할을 위한 주석 작업의 경우 어떤 영역이 주석 처리 어야 하는지와 어떤 크기로 결함 영역을 결정할 지에 대한 기준이 모호하기 때문에 작업 난이도가 특히 더 높다. 이러한 문제를 완화하기 위해 본 학위논문은 영상 수준의 레이블만 사용하는 반도체 웨이퍼 결함 검사를 위한 약지도 학습 기반의 결함 영역 분할 방법을 제안한다. 제안하는 방법은 합성 이미지 증강, 골든 템플릿 생성, 결함 영역 분할로 구성된다. 실제 결함 영 상만으로 학습된 하나의 생성기를 이용하여 다량의 합성 결함 및 정상 영상을 생성한다. 이를 통해 골든 템플릿 생성 품질과 결함 영역 분할 성능이 향상될 수 있다. 결함 영역을 분할하기 위해 먼저, 골든 템플릿 생성을 통해 결함 영상에 존재하는 결함 영역이 제거된 정상 영상을 획득한다. 학습 과정에서 identity mapping loss를 사용함으로써 골든 템플릿 생성기가 결함 영상에 포함된 결함을 제거하면서도 정상 패턴을 동일한 위치에 보존할 수 있게 된다. 제안하는 분할 방법은 결함 영상과 정상 영상으로 학습된 분류 네트워크에 대한 클래스 활성화 매핑을 사용하여 결함 영역을 분할한다. 분류 네트워크를 학습하기 전에 골든 템플릿 생성 기반의 데이터 전처리를 수행한다. 이를 통해 영상에 포함된 결함 영역이 강조되어 분류 네트워크가 결함 영역의 위치를 조금 더 정확하게 표현할 수 있다. 제안하는 방법을 평가하기 위해 반도체 웨이퍼 결함 데이터셋에서 분할 성능과 수행 시간을 측정하였다. 실험 결과 제안하는 방법은 기존의 약지도 학습 기반의 방법들보다 우수한 분할 성능을 기록하였고, 픽셀 수준의 레이블링 작업 없이 지도 학습 기반의 방법들에 경쟁력 있는 분할 결과를 보였다.