A study on the Position Estimation of the 1.3m tall Bipedal Humanoid Robot in a Noisy environment through Keypoint-based Localization

Abstract

This paper proposes an estimation of a 1.3m tall humanoid robot's position in a noisy environment using only a camera sensor.

The robot's behavior decision is an essential element of the autonomous robot in the future. Moreover, to satisfy that element, the position estimation of the robot is a fundamental prerequisite. Localization (position estimation) determines the relative position of the robot within the map environment. Existing mobile robots have been extensively studied in localization. However, while mobile robots use sensors that are capable of omnidirectional sensing like LiDAR, humanoids have limited constraints. They can only use cameras with narrow viewing angles, making the localization problem more challenging. Also, localization is challenging because humanoids do not move as stable as mobile robots, and camera view frames oscillate from side to side. Developing localization with high accuracy under the above-limited constraints is necessary.

In this paper, several algorithms were applied to improve the localization performance. First, a keypoint-based Monte Carlo localization using YOLO was developed, which is a deep learning-based object detection model. In addition, the data association(matching) process was improved from the nearest neighborhood matching algorithm to the Hungarian algorithm, which is widely used in autonomous driving. Through this, data association performance was improved, and also was successful in estimating the robot's position in real-time. Next, an algorithm called Augmented Monte-Carlo localization was developed to solve the robot kidnap problem, which frequently occurs in noisy environments. It improved the algorithm to be able to more robustly estimate the robot's position.

The developed algorithm was applied to the biped humanoid robot ALICE3 in the HERoEHS lab to verify the localization performance. A soccer field was installed in both the Webots Simulation and Real World to verify whether the robot could estimate its position in real-time. It is expected that the developed algorithm will positively influence the behavior decision of the humanoid robot ALICE3 in RoboCup 2022.|본 논문에서는 카메라 센서만을 이용하여 노이즈한 환경 속에서 1.3m의 휴머노이드 로봇이 자신의 위치를 추정할 수 있는 알고리즘을 제안한다.

로봇의 행동결정(behavior decision)은 앞으로 만들 자율주행 로봇의 중요한 요소이다. 그리고 그 요소를 충족시키기 위해서 로봇의 위치 추정은 굉장히 중요한 전제조건이다. 로컬라이제이션(위치 추정)은 맵 환경 안에서 로봇의 상대적 위치를 판단하는 것이다. 기존 모바일 로봇은 로컬라이제이션과 관련되어 많은 연구가 진행되어 왔다. 하지만 모바일 로봇은 라이다와 같이 전방향 감지가 가능한 센서를 이용하는데 반해 휴머노이드는 제한적인 시야각을 가진 카메라만을 이용해야 한다는 제한 조건이 있어 로컬라이제이션 문제는 더욱 챌린지하다. 또한 휴머노이드는 모바일 로봇처럼 움직임이 안정적이지 않고 좌우로 진동하기 때문에 역시 위치 추정이 챌린지하게 된다. 위와 같은 제한된 조건 속에서 높은 정확도를 가진 로컬라이제이션 개발이 필요하다.

본 논문은 로컬라이제이션의 성능을 고도화하기 위해 여러 알고리즘을 적용하였다. 먼저 딥러닝 기반의 객체검출 모델인 YOLO를 사용하여 키포인트 기반 몬테카를로 로컬라이제이션을 개발하였다. 또한 데이터 정합과정을 기존 greedy한 알고리즘으로 알려져 있는 nearest neighborhood 매칭 방법에서 자율주행 등에서 많이 사용되고 있는 헝가리안 알고리즘으로 개선하여 정합 과정을 거쳤다. 이를 통해 실시간으로 추정이 가능하도록 만들었으며, 데이터 정합(매칭)의 성능 또한 개선되어 위치추정 성능을 개선하였다. 다음으로 노이즈한 환경에서 많이 발생하는 로봇의 납치(kidnap) 문제를 해결하기 위해 증강 몬테카를로 로컬라이제이션이라는 알고리즘을 개발하여 더욱 강인하게 로봇의 위치 추정이 가능하도록 알고리즘을 개선하였다.

개발된 알고리즘은 HERoEHS 연구실의 이족보행 로봇 ALICE3에 적용하여 로컬라이제이션 성능을 검증하였으며, Webots Simulation 환경과 Real World에 축구 경기장을 설치하여 실시간으로 로봇이 자신의 위치를 추정할 수 있는지 확인하였다. 위와 같은 로컬라이제이션 알고리즘을 통해 로보컵 2022에서 휴머노이드 로봇의행동 결정에 좋은 영향을 줄 수 있을 것으로 기대된다.