로봇을 이용한 소마 큐브를 조립하기 위한 RGB-D 데이터 처리

Abstract

최근 일상 생활에서 활용되는 로봇의 연구가 활발히 진행되고 있다. 단순 작업만 반복하던 로봇이 센서의 발달로 인해 깊이(Depth) 정보를 얻을 수 있게 되어3차원 물체 인식으로 다양한 작업을 수행할 수 있게 되었다. 깊이 정보를 얻을 수 있는 센서로는 RGB-D 카메라, ToF 센서 그리고 라이다(Lidar) 센서 등이 있으며 관련 연구로 점군 정합(Point cloud registration)을 통한 데이터 간의 변환 행렬을 구하는 연구와 SLAM을 이용하여 실내 깊이 지도를 생성 등이 있다.

본 연구에서는 RGB-D 카메라를 이용하여 소마 큐브를 인식하고 자세 추정하여 로봇으로 정육면체 형태로 조립하는 알고리즘을 개발한다. 미리 설정한 조립 순서에 따라 목표 큐브를 인식하고 자세 추정을 통해 원하는 위치를 파지한 다음 정육면체 형태로 조립한다. 이 과정에서 목표 큐브를 재인식, 재파지하는 경우에 대한 알고리즘을 개발한다.

소마 큐브를 인식하는 과정은 OpenCV의 캐니 에지 검출(Canny edge detection)과 외곽선 검출 그리고 노이즈 제거를 위한 양방향 필터(Bilateral filter) 등 전통적인 이미지 처리 기법을 사용하였으며 자세 추정 과정에서는 점군 데이터 처리 오픈 소스인 Open3d를 이용하여 목표 소마 큐브의 점군 데이터 생성과 글로벌 정합(Global registration)을 이용하여 목표 소마 큐브의 자세를 추정한다.

정육면체 형태의 소마 큐브 조립은 미리 설정된 조립 순서로 진행되며 이는 조립된 큐브와 그리퍼가 충돌하지 않고 큐브를 위에서 쌓아 올리는 방식으로 조립하는 순서이며 조립 시 큐브 간의 공차를 설정하여 큐브 간의 충돌을 방지하여 조립 성공률을 높인다. 마지막으로 조립 완료 후 공차 보정 과정으로 소마 큐브 조립을 마친다.

이로써 RGB-D 데이터 처리를 통해 소마 큐브를 인식 및 자세 추정하고 파지하여 정육면체 형태의 소마 큐브를 조립할 수 있다.