실내 자율주행로봇을 위한 비전기반 인지적 자기위치 추정 및 자율주행

Abstract

This thesis is about image-based mapping using more higher level information(i.e. scenebased topological map, semantic map), vision-based Bayesian localization and navigation. First, the proposed scene-based topological map consists of nodes represented as a bag of visual line words and edges represented as both an adjacency list and relative motion information. Bayesian localization framework: a visual line word-based place model and a path-matching model is presented. To enable a mobile robot to reach to a desired destination, a coastal path is planned in such a way that maximizes the possibility of following the reference path, while avoiding possible collisions by leveraging a local grid map constructed in real time from Kinect depth information. Second, we present scene-based navigation in a designated area of hall using a virtual fence.The virtual fence consists of scenes from the surroundings at specific location, and generates force to pull the robot into the designated area. The force is proportional to a similarity between an input scene and scenes from a virtual fence database. Third, the proposed semantic map consists of object spatial relationships and place spatial relationships. In localization part, view dependent place recognition, reorientation rule and active object search are used. A robot estimates its location by Bayesian filtering which leverages spatial relationships among observed objects. Then a robot can infer the head direction to reach a goal in the semantic map. In navigation part, a robot perceives navigable space with a Kinect sensor and then moves to goal location while preserving reference head direction. All these methods validate through extensive experiments under different conditions, such as illumination changes and visual occlusions.; 본 학위논문은 로봇의 실내 자율주행에 관한 내용으로, 로봇 주변환경을 표현하는 방법(지도 작성방법)과, 이를 이용한 인지적 자기위치 추정 및 자율주행에 관한 연구를 다루고 있다. 자율 주행로봇이 사람의 자율주행 방식과 유사하게 주행하기 위해서, 기존 로봇의 자율주행 방식과는 다르게 영상기반의 시각정보를 이용하였다. 기존 연구는 레이저센서를 이용하여 정확한 거리측정을 하거나, 카메라를 이용하여 획득한 영상의 점 특징을 이용하여, 3차원 수치 지도(Metric Map)를 가능한 정확하게 만드는 방식이 대부분이다. 사람은 정확한 지도를 기억해서 그 정보를 바탕으로 자율주행하지 않는다. 시각적 정보들을 추상화하여 장소와 장소간의 관계를 지하철 지도와 같은 위상지도(Topological Map)로 표현하거나, 의미정보를 담은 의미적 지도(Semantic Map)로 표현해서 기억 속에 저장한다. 이와 같이 사람의 주행 능력과 같은 방식을 로봇에 적용하기위한 자율주행방법을 제시하였다. 첫째로, 장면 기반의 위상지도를 이용한 자율주행기술은 로봇이 위치한 특정 장소를 장면(Scene)으로 정의하였고, 영상의 직선 특징을 시각적 단어(visual words)로 표현하여 장면자체를 장소로 서술(Description)하도록 한다. 로봇이 주행한 공간에서 주행하면서 찍은 사진들을 제안하는 베이지안(Bayesian) 장소인식 추정방법을 이용하여 로봇의 위치를 추정하며, 로봇이 장애물을 회피하는 동시에, 기존에 학습한 경로를 잘 따라가기 위한 새로운 경로생성 방법(Coastal path planner)을 제안하였다. 두 번째 내용은 장면기반의 가상 울타리(Scene-based virtual fence)를 이용한 자율주행 방법을 제안하고 있으며, 첫 번째 연구의 자기위치 추정기술의 영상 유사도 측정방법을 이용하여, 로봇이 특정 지역을 벗어나지 못하도록 주행하는 기술을 제안하였다. 로봇이 벗어나지 말아야 할 특정 공간을 사진을 찍어서 저장하여 로봇 주변 환경을 모델링하였다. 로봇을 임의 주행하는 동안 모델링된 울타리 경계에 도달하면 기존에 학습한 영사과 현재 로봇이 관측한 영상의 유사도를 계산한다. 계산된 유사도에 비례하여 로봇이 경계에서 벗어나지 않도록 경계 안으로 끌어들이는 힘을 발생시켜 자율주행 하도록 하였다. 마지막으로, 의미기반의 자율 주행은 장소에 대한 정의를 주변에 관측된 물체를 기반으로 의미적으로 표현하는 방법으로 환경을 모델링한다. 그리고 이 방법을 이용하여 사람과 유사한 방식의 자율 주행 방법을 로봇에 적용하였다. 위치추정을 하기 위해서 로봇이 주변을 돌아보면서 물체를 인식하고, 인식된 물체들의 공간적 관계를 이용하여 로봇위치를 추론하는 능동적 자기위치 추정방법을 제시하였고, 각 장소에서 장소로 이동하기 위한 행동을 결정하는 베이지안 프로그래밍을 제안하였다. 제안하는 각 방법들의 검증을 위하여 다양한 환경에서 자율주행 테스트를 실시하였고, 실내 자율주행 로봇이 실제 환경에서 충분히 목표지점까지 문제없이 도달함을 보였다. 또한, 현재 제안한 방법의 도적적인 문제를 도출하였고, 향 후 학습기반의 자율주행 연구방향을 제시하였다.