스마트 제조 환경에서의 음향 기반 기기 동작 분석 및 이상검출 시스템

Abstract

IIoT(Industrial Internet of Things)는 기존 산업 환경에 IoT 네트워크 기술을 적용하는 것으로 센서와 디바이스 같은 컴퓨터 시스템을 인터넷으로 연결한 지능화 산업 시스템이다. IIoT는 IoT와 유사한 원리로 동작하지만, 산업 환경에서 능동적인 계측 및 보고를 가능하기 위해 발생한 센서 데이터를 분석하고 이를 기반으로 자동화와 최적화를 제공하여 시스템의 효율성 높이고 비용을 줄이는 것을 목적으로 한다. 이에 많은 국가와 기업에서 산업 환경에 IIoT 기술 적용을 시도 중이다. 그러나 IIoT는 디바이스 간의 M2M 통신이나 클라우드 환경과의 결합 등을 활용하여 디바이스들에 대한 원격 접근이나 제어를 가능하게 한다. 이러한 기능은 편리성을 제공하지만 디바이스들이 인터넷에 상시 연결되어 추가적인 보안 위협들을 일으킨다. 따라서 IIoT를 기반으로 구축된 스마트 제조환경에서는 인터넷에 연결되는 과정에서 발생하는 사이버보안 위협(DoS, DDoS, 백도어 등)에 대한 대응책뿐만 아니라, 산업 제조환경 구성을 위해 자동화되고 무인화된 제조 프로세스를 대상으로 발생하는 물리적 위협(파괴, 침입, 절도 등)에 대응하기 위한 연구가 필요하다. 본 논문에서는 스마트 제조환경을 보호하는 음향신호 기반의 이상 검출 시스템을 제안한다. 해당 시스템은 스마트 제조환경의 디바이스로부터 발생한 음향 신호를 녹음하여 STFT 변환을 통해 시간에 따른 주파수 변화 정보가 포함된 스펙트로그램 이미지 데이터로 변환한다. 스펙트로그램 이미지는 CNN을 통해 디바이스 동작에 의해 발생한 음향 데이터를 분류 학습하는 데 사용되어, 이상을 탐지하기 위해 사용된다. 우리가 제안한 시스템은 실제 스마트 제조환경에서 고려한 환경에서 99.44%의 정확도를 달성하며 음향 기반의 디바이스 동작 분석이나 이상 검출을 효과적으로 탐지할 수 있다는 가능성을 확인했다.| Industrial Internet of Things (IIoT) is an intelligent industrial system that connects computer systems such as sensors and devices to existing industrial environments. IIoT operates on similar principles to IoT, but it is based on the analysis of sensor data generated to enable active measurement and reporting in industrial environments, providing automation and optimization, thus improving system efficiency and reducing costs. For this reason, many countries and companies are trying to apply IIoT technology to the industrial environment. IIoT enables remote access and control of devices by utilizing M2M communication between devices and combining with cloud environments. These features provide convenience, but they can lead to more security threats as devices are constantly connected to the Internet. Therefore, smart manufacturing environments based on IIoT require research not only to respond to cybersecurity threats (DoS, DDoS, backdoor, etc.) but also to physical threats (destruction, intrusion, theft, etc.) of automated and unmanned manufacturing processes. In this paper, an anomaly detection system based on acoustic signal is proposed to protect smart manufacturing environment. The system records acoustic signals generated by device’s working in smart manufacturing environments and converts them into spectrogram image data containing frequency change information over time through STFT transformation. Spectrogram images are used to categorize and learn acoustic data generated by device actions through CNN and to detect anomalies. Our proposed system achieves 99.44% accuracy in the environment considered in the actual smart manufacturing environment, confirming the possibility of effective detection of acoustic-based device behavior and anomaly detection.