Non-contact Sensor-based Dynamic Displacement Estimation for Structural Health Monitoring: using Vision and Lidar sensor

Abstract

구조물의 동적 특성, 특히 기본 주파수와 모드 형상은 구조물의 건전성을 모니터링하는 데 필수적인 매개 변수이다. 여러 주파수와 관련된 모드 형상은 설계에서 모델과 실제 구조물 사이의 차이를 이해하거나 모델을 업데이트하여 구조물의 운용 조건을 잘 반영할 수 있도록 사용된다. 따라서 구조물의 동적 매개 변수를 보다 쉽고 지속적으로 측정할 수 있도록 관련 센싱 기술이 개발되고 있다. 종래의 센싱 기술은 가속도계, LVDT와 같은 접촉식 센서가 사용되었지만 센서 위치에서 발생하는 공간 앨리어싱으로 인한 정확도의 부정확성과 짧은 센서의 수명으로 인한 유지관리의 제한 사항이 있다. 따라서 비접촉 기반 센서는 모니터링의 실현 가능성을 높이기 위한 유망한 대안으로 간주되고 있다. LDV, Radar, Depth 센서 등 다양한 비접촉식 센서가 연구되고 있지만 앨리어싱 문제, 낮은 해상도, 야외 환경에서의 사용 제한 등 하드웨어적 한계로 인한 제한사항을 가지고 있어 연구가 계속되고 있다. 이러한 센서들 가운데 비전 센서와 라이다 센서가 구조물 건전성 모니터링 분야에서 주목받고 있다. 따라서 본 연구에서는 비접촉식 센서 기반인 비전 센서를 이용한 차량-교량 상호작용에 의한 시변 주파수 추정 및 라이다 센서를 통한 구조물의 동적 특성 추정에 관한 사용성을 검증한다. 비전 센서의 사용성 검증은 다음과 같은 절차로 개발되었다. (1) KLT 알고리즘을 이용한 취약 특징점을 추적을 통해 교량의 절대 변위를 추정한다. (2) 이미지 감지 딥러닝 기술 YOLO를 이용한 교량 위 차량의 위치를 추적한다. (3) RMST를 활용하여 획득한 교량의 절대변위에 따라 바뀌는 시변 주파수를 추정한다. 다음과 같은 절차를 통해 생성된 데이터는 실내 환경의 실험실에서 교량 및 차량 모형을 통해 검증되었다. LVDT와 비전 센서를 통해 얻은 절대 변위는 2.46 mm RMSE 값을 가졌으며, 가속도계와 비전 센서를 통해 얻은 시변 주파수는 높은 상관 관계를 갖는 RMST 그래프를 통해 확인할 수 있었다. 다음으로 라이다 센서를 통한 구조물의 동특성 추정은 다음과 같은 절차로 개발되었다. (1) 하드웨어적 특성으로 인해 발생하는 기울어진 축 및 쌍곡선 스캔 패턴 보정을 위해 기울어진 축을 보정한다. (2) 센서에서 발사되는 레이저 펄스간 타임 스탬프를 정렬한다. (3) 칼만 필터를 이용해 라이다 센서의 측정 오차를 최소화 한다. 다음 방법은 실험실 규모에서 켄틸레버 빔과 4층 전단빌딩 실험을 통해 검증되었다. 라이다 센서는 두 구조물에 대해 모두 5.0% 미만의 1차 고유 진동수 추정 오차를 가졌으며, 모드 쉐입 비교에서는 99.3% 이상의 MAC 결과를 갖는 것을 확인하였다. 결과적으로, 제안된 연구는 비접촉식 센서를 통한 구조물의 동적 거동 모니터링에 대해 비전 센서와 라이다 센서의 사용 가능성을 보여주었다. |The dynamic characteristics of a structure, particularly the fundamental frequency and mode shapes, are essential parameters for monitoring the integrity of a structure. Multiple mode shapes associated with various frequencies are used to understand the discrepancies between the model and the actual structure or to update the model to better reflect the operational conditions of the structure. Consequently, there is ongoing development of relevant sensing technologies to enable easier and continuous measurement of the dynamic parameters of structures. Traditional sensing technologies have employed contact sensors such as accelerometers and LVDTs, but they suffer from inaccuracies due to spatial aliasing at the sensor location and limitations in maintenance due to the short lifespan of the sensors. Therefore, non-contact-based sensors are considered promising alternatives to enhance the feasibility of monitoring. Various non-contact sensors, including LDV, radar, and depth sensors, are being researched; however, their hardware limitations, such as aliasing issues, low resolution, and restricted use in outdoor environments, continue to pose challenges, necessitating further research. Among these sensors, vision sensors and LiDAR sensors have garnered attention in the field of structural integrity monitoring. Thus, in this study, the usability of vision sensors based on non-contact sensors for estimating the time-varying frequencies due to vehicle-bridge interactions and the estimation of the dynamic characteristics of structures using LiDAR sensors is examined. The usability validation of vision sensors is developed through the following procedures: (1) estimation of absolute displacements of the bridge by tracking vulnerable feature points using the KLT algorithm, (2) tracking the position of vehicles on the bridge using image detection deep learning technique YOLO, and (3) estimation of the time-varying frequencies changing with the absolute displacements of the bridge using Reassigned Modified S-Transform (RMST). The generated data through these procedures were validated in an indoor laboratory using bridge and vehicle models. The absolute displacements obtained through LVDTs and vision sensors had an RMSE value of 2.46 mm, and the time-varying frequencies obtained through accelerometers and vision sensors exhibited a high correlation, as confirmed by the RMST graph. Next, the estimation of the dynamic characteristics of structures through LiDAR sensors is developed through the following procedures; (1) correction of tilted axes and hyperbolic scan pattern due to hardware characteristics, (2) alignment of time stamps between laser pulses emitted from the sensor, and (3) minimization of measurement errors of the LiDAR sensor using a Kalman filter. These methods were validated through cantilever beam and four-story shear building experiments in a laboratory-scale setting. The LiDAR sensor exhibited estimation errors of less than 5.0% for the primary natural frequencies of both structures and achieved more than 99.3% matching results in mode shape comparisons according to Modal Assurance Criterion results.