Development of weld inspection system using event-based vision sensor

Abstract

With a growing interest in automation equipment, the application of the gas metal arc welding process, which is easy to automate and highly productive, is expanding. To secure automation equipment, it is necessary to apply improved automated quality inspection systems along with the construction of automated processes. In particular, welding quality inspection is essentially required because welding quality is directly associated with the performance and safety of the structure. Conventional welding quality inspection is performed through visual inspection or destructive testing, but it depends on the skill of the evaluator and makes complete enumeration impossible. Therefore, an automated quality inspection system capable of objectively evaluating welding quality according to consistent standards is required. In this study, a system for measuring weld bead geometry and predicting and inspecting welding defects in automated high-speed quality inspection was developed using the event-based vision sensor (EVS). In addition, a method for recording events that are asynchronously collected and synchronizing them by generating two-dimensional (2D) event maps was proposed. Weld bead geometry was measured by preprocessing the synchronized data. The measured weld bead profiles were used to develop an algorithm for predicting and inspecting pit defects, which are one of the defects that may occur in GMAW of galva-annealed (GA) steel plates, and an algorithm for predicting and inspecting welding quality. For the algorithms, a deep learning-based convolutional neural network (CNN) structure suitable for 2D data, such as images, was adopted. Consequently, the pit defect inspection algorithm exhibited a prediction accuracy of 99.2%, and the welding quality prediction algorithm showed a prediction accuracy of approximately 99.3%. To examine the superiority of the developed inspection system, the accuracy of predicting the presence or absence of pit defects was compared and verified using an inspection system that applied the conventional frame-based vision sensor. It was found that the developed inspection system exhibited 3.8%p higher performance than the conventional inspection system.|자동화 설비의 관심이 높아짐에 따라 자동화가 용이하고 생산성이 높은 가스메탈아크용접 공정의 적용이 확대되고 있다. 수율 및 생산성 향상을 위한 자동화 설비 확보에는 자동화 공정 구축과 함께 향상된 자동화 품질 검사 시스템 또한 적용되어야 한다. 특히 용접 품질은 구조물의 성능 및 안전과 직결되어 있기 때문에 용접 품질 검사는 필수적이다. 기존의 용접 품질 검사의 경우 육안 검사 또는 파괴 검사를 통해 이루어지고 있지만, 평가자의 숙련도에 의존하게 되고 전수조사가 불가능하다는 한계가 존재한다. 따라서 생산성 및 수율 향상을 위해서는 용접 품질을 일관된 기준에 따라 객관적으로 평가할 수 있는 자동화 품질 검사 시스템이 요구되고 있다. 본 연구에서는 자동화 고속 품질 검사에서 event-based vision sensor를 이용해 용접 비드 형상을 측정하고 용접 결함을 예측 및 검사할 수 있는 시스템을 개발하였다. 검사 시스템은 빛의 밝기 변화를 기록하는 event-based vision sensor와 structured light가 함께 사용되어 설계되었다. 또한, 비동기적으로 수집되는 events를 기록하고 2D event map을 생성해 동기화할 수 있는 방법을 제안하였으며, 동기화된 데이터를 전처리 하여 용접 비드 외관 형상을 측정하였다. 측정된 용접 비드 프로파일을 사용해 GA 강판의 GMAW 용접에서 발생할 수 있는 결함 중 하나인 pit 결함의 예측 및 검사 알고리즘과 용접 품질 예측 및 검사 알고리즘을 개발하였다. 알고리즘은 이미지 형태와 같은 2차원 데이터에 적합한 딥러닝 기반의 convolutional neural network 구조를 채택하였다. 그 결과 pit 결함 검사 알고리즘의 경우 99.2%의 예측 정확도를 보였으며, 용접 품질 예측 알고리즘은 약 99.3%의 예측 정확도를 보였다. 본 연구에서 개발된 검사 시스템의 우수성을 확인하기 위해 기존의 frame-based vision sensor가 적용된 검사 시스템을 이용해 pit 결함 유무의 예측 정확도를 비교 검증하였다. 그 결과 기존의 검사 시스템을 사용하였을 경우 약 95.4%의 예측 정확도로 본 연구의 검사 시스템이 3.8%p 향상된 성능을 보였다.