Data augmentation method for training CNNs in machine vision systems using mono cameras

Abstract

Convolutional neural networks (CNN) are machine learning algorithms used to extract features from image data by reducing the number of dimensions in the image. Recently, this algorithm has also been used in machine vision systems to perform product inspections in factories. Due to very high demands, it is impossible to collect and annotate sufficient data to train CNNs for defect inspection in machine vision systems. Because most products do not have any defects, it takes a considerable amount of time to collect enough examples of defective product images to train the CNN. We propose a data augmentation method that can be used to inspect for defects via CNNs in machine vision systems using mono cameras. The proposed data augmentation method is performed by extracting features through preprocessing and merging them into color images with various features for each channel. To demonstrate the effectiveness of the data augmentation method proposed in this work, we trained and validated CNNs for image classification, object detection, and image segmentation using data available in an actual machine vision system. Through the proposed method, many machine vision-related problems involving the use of mono cameras can be effectively solved using CNNs.|합성곱 신경망은 이미지 데이터로부터 차원을 축소하여 특징을 추출하기 위한 기계학습 알고리즘 중 하나이다. 최근 이 알고리즘은 공장에서의 생산품 불량 검사를 자동화하기 위한 머신 비전 시스템에서 사용되고 있다. 머신 비전 시스템에서 결함 검사를 위한 CNN을 훈련하기 위해 충분한 양의 데이터를 모으고 정리하는 것은 생산적이지 못하다. 대부분의 생산품이 양품이기 때문에 결함이 있는 제품 이미지 천 장을 모으려면 상당한 시간이 필요하기 때문이다. 이번 연구에서는 모노 카메라를 사용하는 머신 비전 시스템에서 CNN을 훈련할 때 사용할 수 있는 데이터 증식 방법을 제안한다. 다양한 전처리를 통해 원본 회색조 이미지에서 특징을 추출하고, 그 결과들을 컬러 이미지로 병합하는 과정을 통해 제안한 데이터 증식을 수행한다. 본 연구에서 제안하는 데이터 증식 방법의 효과를 확인하기 위해 실제 머신 비전 시스템에서 활용하고 있거나 활용할 수 있는 데이터를 활용하여 이미지 분류, 객체 인식, 영역 분할을 위한 신경망을 훈련하고 검증을 수행하였다. 원본 데이터와 증식한 데이터로 각 신경망을 열 번씩 훈련하였으며, 각 열 개의 신경망에 대한 검증 결과의 평균과 표준편차를 비교하였다. 모든 결과에서 데이터 증식을 수행하여 신경망을 훈련하였을 때 원본 데이터만으로 훈련한 신경망보다 높은 검증 결과를 확인할 수 있었다. 본 연구에서 적용한 데이터 증식 방법을 통해 모노 카메라를 활용하는 머신 비전 시스템에서 우수한 성능을 가진 신경망을 훈련할 수 있다.