생산 리드타임 최소화를 위한 강화학습 기반 블록 배치 연구

Abstract

조선소에서의 조립 공정은 철판 부재들이 용접을 통해 단위 블록으로 형성되어 가는 단계로 조립공장 내의 정반(작업장)에서 이루어진다. 정반에서 생산되는 블록들은 탑재되는 선박이나 해양구조물의 특성에 따라 다양한 모양을 가지게 된다. 정반 배치계획 수립 시에는 정반의 공간 낭비를 줄여 최대한 많은 블록을 생산해야 하며, 더불어 안전 통로 및 작업장의 제약 사항들도 함께 고려되어야 한다. 기존에는 스케쥴러 개개인의 경험 혹은 이를 바탕으로 한 암묵적인 규칙들에 의존하였다. 이러한 방식은 스케쥴링에 상당한 시간이 소요되며, 다양한 경우의 수를 고려하기에도 힘들고, 개개인의 역량에 따라 계획 품질의 편차가 존재하였다. 이러한 점을 개선하기 위해 기존에는 휴리스틱 알고리즘을 적용한 여러 연구가 있었다. 하지만 다양한 블록의 실제 형상을 고려하지 않거나 면적 활용률이라는 지수를 가정하여 현실성이 부족한 점이 있었다. 그리고 블록 간의 물리적인 떨어진 거리도 고려하지 못하였다. 또한, 문제가 재정의되면 매번 새로 계산을 수행해야 하는 점이 있었다. 본 연구에서는 Unity 엔진과 강화학습 도구인 ML-Agents를 사용하여 블록조립 공장에서의 정반 배치계획 문제에 대한 마르코프 결정 모델(Markov decision process)을 제안한다. 학습 알고리즘으로는 Policy Gradient 방법론을 사용하는 “REINFORCE”와 “PPO”를 활용해 학습하여 비교해 보았다. 제안하는 방법은 강화학습을 적용하여 블록들의 생산 기간과 블록이 배치되는 정반의 제약 사항을 반영한 구역별 점수를 보상으로 하여 동시에 이 둘을 고려하는 정반 배치계획 수립 방안을 제시한다. 또한, 에피소드 진행 시 매번 다른 순서의 블록 생산 순서를 입력으로 하여 생산 계획 수립의 일반화를 위한 해결책도 도입하였다. 그리고 실험을 통해 제안하는 방법의 효과성을 확인하였다.