데이터 애널리틱스 효율화를 위한 람다구조기반 제조 데이터 파이프라인 개발

Abstract

빅데이터는 다양한 산업분야에 적용되어 효용과 수익을 창출하고 있으며 이는 제조 분야에서도 생산성 향상, 불량률 감소 등의 많은 이익을 가져다주고 있다. 그러나 빅데이터는 데이터의 양과 생성 속도, 다양성 측면에서 기존의 데이터 처리 방식과는 다른 접근법을 필요로 한다. 특히 제조 분야의 빅데이터는 기존의 빅데이터가 가지고 있는 문제점들뿐만 아니라 이기종 소스 간 통신을 위한 프로토콜과 생성된 데이터의 무결성 제어 등 여러 가지 한계점을 가지고 있으며, 이를 해결하기 위한 빅데이터 인프라스트럭쳐와 데이터 수집에서부터 분석까지 빅데이터를 처리하기 위한 여러 가지 솔루션들이 존재한다. 그러나 IT 전문가가 부족한 중소 제조기업의 현장에서는 이와 같이 다양한 문제를 가지고 있는 빅데이터 활용에 많은 어려움을 겪고 있다. 또한 빅데이터 도입으로 인한 가치가 명확하지 않은 상황에서 일반적으로 높은 비용을 요구하는 빅데이터 환경 구축에 대한 공격적 투자가 꺼려지는 실정이다.

이러한 문제를 해결하기 위해 본 논문은 제조 설비에 대한 전산화가 이루어진 환경에서 빅데이터 수준으로 넘어가기 위한 제조 데이터 파이프라인을 제안한다. 제안하는 파이프라인은 제조 현장을 고려하여 복잡한 빅데이터 솔루션 사용을 최소화하고 오픈소스와 미들웨어를 활용하여 구현한다. 제조 현장에 제조 데이터 파이프라인은 기존의 전통적인 관계형 데이터베이스에 적재되고 있는 제조 데이터를 높은 확장성과 가용성을 가지는 비관계형 데이터베이스인 MongoDB를 활용하여 데이터를 저장 및 처리하기 위한 방식이며, 빠른 데이터 공급을 위해 빅데이터 처리 구조의 표준인 람다 구조를 활용한다. 또한 파이프라인 내 데이터 전송 시, 다른 형식에 비해 경량이며 데이터 분석에 범용적으로 쓰이는 CSV 파일 형식을 사용하고 이를 위한 데이터 처리를 담당하는 미들웨어를 개발하여 파이프라인 내 배치한다. 마지막으로 제안하는 파이프라인을 공정 데이터와 전력 데이터가 이기종 관계형 데이터베이스에 적재되는 Cyber-Pysical Factory를 활용하여 적용하고 구현 기능에 대한 성능 검증을 통해 그 효용성을 입증한다.| Big data is applied to various industrial fields to generate utility and profit, which also brings many benefits such as productivity improvement and defect rate reduction in manufacturing field. However, big data requires a different approach from the existing data processing method in terms of the amount, generation speed, and diversity of data. Especially big data in manufacturing field has various challenges such as protocol for communication between heterogeneous sources and integrity of generated data as well as existing big data problems. There are big data infrastructure and various solutions ranging from data collection to analysis to solve this problem. However, in the field of small and medium-sized manufacturing companies that lack IT experts, it is difficult to use big data with these various problems. Also, if the value of big data is not clear, aggressive investment in building big data environment which generally requires high cost is reluctant.

To solve this problem, this paper proposes a manufacturing data pipeline to raise to the big data level in the environment where computerized manufacturing facilities. The manufacturing data pipeline is a method for storing and processing data using MongoDB, a non-relational database with high scalability and availability, and adapts the lambda structure, which is the standard of big data processing structure. In addition, when transferring data within a pipeline, we use CSV file formats that are lighter than other formats and are commonly used for data analysis, and develop and deploy middleware for data processing. And we adapt the proposed pipeline using Cyber-Pysical Factory, which loads it into heterogeneous relational databases for process and power data and validates its performance.