생성형 모델을 활용한 가상 굴삭기 자세 데이터 증강 방법

Abstract

계산 능력과 데이터 활용 기술의 발전에 따라 건설 장비 모니터링을 위한 자동화 기술에 대한 상당한 연구가 진행되고 있다. 특히 딥러닝과 컴퓨터 비전을 기반으로 한 모니터링 연구가 주류를 이루고 있어 이러한 방법을 적용하기 위해서는 막대한 양의 작업 중심 데이터가 필요하다. 본 논문에서 저자는 1. 시뮬레이션 환경에서 이미지와 포즈 데이터를 합성하고, 2. CycleGAN 기반 생성 모델을 사용하여 이미지를 실제 굴착기 스타일로 변환하는 데이터 생성 방법을 제시한다. 생성 모델에는 원래 이미지의 기하학적 변환을 최소화하기 위해 포즈 추정 모델이 목적 함수로 적용된다. 번역 모델의 포토리얼리티 성능은 번역된 이미지에 사전 훈련된 이미지 분류 모델을 적용하여 측정하였으며, 보존 성능은 포즈 정보의 변위로 측정하였다. 포토리얼리티 성능 측면에서 모델은 의도한 대로 스타일 정보를 반영한다. 향후 연구에서 개선된 이미지 생성 모델이 구현되면 건설 프로젝트에서 얻기 어려운 데이터를 보다 적극적으로 활용할 수 있을 것으로 기대된다.|With the advancement of computational power and data utilization techniques, significant research is being undertaken on automation technologies for monitoring construction equipment. Particularly, monitoring research based on deep learning and computer vision is becoming mainstream, requiring a massive amount of task-oriented data to apply such a method. In this dissertation, the author presents a method for data generation that: 1. synthesizes image and pose data in a simulation environment; and 2. translates the images into a real excavator style using a CycleGAN-based generative model. To the generative model, a pose estimation model is applied as an objective function to minimize the geometric translation of the original image. The photorealism performance of the translation model was measured by applying a pre-trained image classification model to the translated image, while the preservation performance was measured by the displacement of pose information. In terms of photorealism performance, the model reflects style information as intended. If the improved image-generation model is implemented in future research, it is anticipated that difficult-to-obtain data from construction projects can be utilized more actively.