동적인 환경에서의 안정적인 주행과 장애물 회피를 위한 심층 강화학습 기반 모바일 로봇 자율 주행

Abstract

모바일 로봇 기술의 발전과 시장 규모의 증가로, 더 다양한 환경에서 모바일 로봇이 사용되고 있다. 특히 정적인 환경에서의 구동뿐만 아니라 동적인 환경에서 사용되는 모바일 로봇의 주행 알고리즘은 빠르게 변화하는 환경에 대응할 필요가 있다. 이를 위해 강화학습 기반의 자율 주행 기술이 필요하며, 강화학습을 통해 모바일 로봇은 실시간으로 환경을 파악하고 최적의 움직임을 선택할 수 있다. 그러나 강화학습 알고리즘에서 로봇의 행동을 선택하면 모바일 로봇의 가속도와 같은 내용을 고려하지 않는다. 따라서 기존의 강화학습 기반 모바일 로봇의 주행은 속도의 변화가 크며 동작이 불안정할 수 있다. 본 논문에서는 이와 같은 문제를 해결하기 위해 기존 강화학습 기반 모바일 로봇 알고리즘을 개선하여 안정적으로 주행할 수 있는 강화학습 기반 모바일 로봇의 주행 모델을 학습하였다. 기존의 강화학습 모델은 ROS와 flatland를 사용하여 학습한 Arena Rosnav 알고리즘을 사용하였으며, 마찬가지로 ROS와 flatland를 이용하여 무작위로 생성되는 정적 및 동적 장애물과 각각 한 개의 선속도, 각속도를 이용하여 움직이는 논홀로노믹 모바일 로봇의 시뮬레이션 환경을 구현하여 학습을 진행하였다. 강화학습 알고리즘은 연속적인 로봇의 행동 공간에서 학습 가능한 PPO(Proximal Policy Optimization)를 사용하였으며, 라이다 데이터를 사용한 모바일 로봇의 특성상 로봇은 부분적인 환경만 관측 가능하므로 POMDP(Partially Observable Markov Decision Process)를 구성하였다. 마지막으로 학습한 모델의 주행 성공률과 가속도 측면에서 기존 모델과의 성능 비교를 통해 주행 시 로봇의 안정성이 개선된 것을 증명하였다.