강화학습 기반 모바일로봇의 보행자 회피 주행

Abstract

산업의 발달에 따라 로봇 시장이 빠르게 성장하고 있다. 그중 모바일로봇은 물류와 공장 자동화를 넘어서 서빙 로봇, 청소 로봇 등과 같은 서비스로봇까지 적용 범위가 확대되고 있다. COVID-19 감염병 확산 이후로 실내뿐만 아니라 실외에서도 자율주행 무인 배달 로봇, 방역 로봇 등 사람과 공존하는 밀집한 환경에서 주행하는 사례가 증가하고 있다. 이와 같은 공간에서 로봇이 임무를 완수하기 위해서는 환경의 특성을 이해하고, 보행자의 안전을 위해 충돌하지 않도록 주행할 수 있어야 한다. 이와 같은 장소는 보행자의 수와 행동이 다양함으로 고려해야할 경우의 수가 증가한다. 따라서 경험을 통해 학습을 진행하는 심층강화학습을 활용하여 보행자 회피 주행 연구를 진행했다. 본 논문에서는 보행자의 속도와 이동에 다양성이 존재하는 시뮬레이터를 구성하고, 보행자 회피 주행 연구를 진행하였다. 기존 보행자 충돌 회피 알고리즘은 입력 값으로 보행자의 위치와 속도를 이용하거나, 위치만을 이용하여 회피를 수행한다. 보행자의 정확한 속도는 현실에서 추정하기 어렵고, 위치만을 이용하여 회피하기에는 보행의 다양성이 존재하는 경우 회피의 어려움이 있다. 따라서 본 연구에서는 위치와 행동 인식 정보를 입력자료로 구성하여 성능을 개선하고자 한다. 위와 같은 입력으로 Spatio-Temporal RNN 네트워크 구조를 거쳐 로봇의 행동을 도출할 수 있다. 로봇의 행동을 연속적으로 선택할 수 있도록 PPO(Proximal Policy Optimization)이라는 강화학습 방법론을 통해 정책을 학습했다. 추가로 전체 환경에서 로봇 행동의 기준이 되는 중요한 요소인 보상함수와 관련하여, 학습 중 로봇이 보행자의 안전영역을 침해할 경우와 관련하여 음수보상을 주게 되는데, 이 때 로봇과 보행자의 상대속도를 기반으로 이 영역이 조절되도록 구성하였다. 각 설계에 대하여 시뮬레이터 환경을 통해 평가를 진행하여, 알고리즘 성능을 검증하였다.