물류센터 피킹 시스템 내 균등 작업을 위한 강화학습 기반 작업 분배 시뮬레이션

Abstract

오늘날 물류센터 내 피킹 시스템은 자동화 설비의 도입에 따라 작업자가 제품의 저장 위치까지 직접 이동하는 방식에서 구역 피킹 시스템(Zone Picking System)과 같이 분할된 구역 내에서만 이동하는 방식으로 발전하였다. 구역 피킹 시스템의 경우 주문 투입과정에서 주문 순서, 주문의 할당 방식에 따라 성능이 크게 달라지게 된다. 본 연구에서는 구역 피킹 시스템 내 작업자의 작업 불균형과 그에 따른 주문의 체류시간 증가, 미처리 주문의 발생 등을 해소하기 위하여 Deep Q-Network(DQN) 강화학습 기반 균등 작업 분배를 제안한다. DQN 알고리즘을 사용할 경우 다양한 상황에서의 모델 재사용이 용이하다는 장점이 존재한다. 이를 위해 대상 구역 시스템에 대한 상태, 행동, 가치함수를 정의하고 시간변화, 주문 투입 등에 따른 상태 천이를 정의하였다. 이후, Simio 소프트웨어를 사용하여 대상 시스템을 구현하고 MySQL 데이터베이스를 활용하여 DQN에이전트와의 상호작용 프로세스를 구현하였다. 이후 검증 가능한 시뮬레이션 모델 상에서 주문 투입에 따른 작업 할당을 수행하였으며 주문 순서의 변동이 발생한 경우에도 기존보다 향상된 작업분배를 수행하는 것을 확인하였다.|Recently, the picking system within fulfillment centers has evolved from a method where workers directly move to the storage locations of products to a divided zone picking system, as enabled by the application automated facilities. In the zone picking system, workers only move within designated zones instead of directly moving to the storage locations. The performance of the zone picking system can vary significantly depending on the order sequence and allocation method during the order input process. In this study, we propose a task allocation based on Deep Q-Network (DQN) reinforcement learning to address the imbalance in worker tasks within the zone picking system, which leads to increased order dwell time and occurrence of unprocessed orders. Using the DQN algorithm offers the advantage of model reuse in various situations. To achieve this, we define the state, action, and value function for the target zone system and define state transitions based on time changes and order input. Subsequently, we implement the target system using Simio simulation software and apply interaction processes with the DQN agent using the MySQL database. Then, We allocate tasks based on order input in a verifiable simulation model and confirm improved task distribution compared to the existing method, even when there are variations in the order sequence.