로봇 조리 시스템의 성능 향상을 위한 특성 및 점수 예측에 관한 연구

Abstract

최근 인공지능과 로봇 공학 분야가 빠르게 발전하면서 다양한 산업 분야에 큰 변화를 가져오고 있다. 특히, 일상생활과 밀접하게 관련된 요리 로봇에 대한 관심이 높아지면서 많은 기업들이 요리 로봇을 상용화하기 위해 노력하고 있다. 하지만 대부분의 요리 로봇은 주어진 지시에 따라 정해진 레시피만 수행하기 때문에 새로운 객체가 주어지거나, 필요한 객체가 장면에 존재하지 않는 예상치 못한 상황에 대응하는 데 어려움이 있다. 본 연구에서는 이러한 문제점을 해결하기 위해, 객체 특성 예측(Object Property Prediction) 모듈과 도구 점수 예측(Tool Score Prediction) 모듈을 중심으로 하는 새로운 요리 로봇 프레임워크를 제안한다. 이를 위해 요리에 사용되는 재료와 도구 이미지를 수집하고 멀티 레이블 분류(Multi Label Classification)를 수행하였다. 그 결과 장면 이미지에(Scene Image) 있는 모든 객체의 특성을 파악하고, 도구의 적합성을 점수화하여 필요한 도구를 추천할 수 있다. 본 연구에서 제안하는 프레임워크는 객체 탐지(Object Detection), 객체 특성 예측, 도구 점수 예측, 계획 수립(Planning), 도구 추천(Tool Recommendation) 다섯 단계로 구성된다. 이 프레임워크는 레시피 목표(Recipe Goal)와 장면 이미지(Scene Image)를 입력으로 사용하여, 로봇이 이해하고 실행할 수 있는 구체적인 하위 목표(Subgoal)를 도출한다. 도출된 하위목표는 Isaac Sim 시뮬레이터와 UR5e 매니퓰레이터에서 검증되었다. 결과적으로 객체 특성 예측 모듈과 도구 점수 예측 모듈은 Unseen 데이터셋에서도 높은 성능을 보였다. 이는 로봇이 새로운 레시피를 수행하거나, 필요한 도구가 없는 상황에서 다른 도구로 대체할 수 있는 능력을 향상시키고, 더 복잡한 작업을 수행할 수 있도록 한다.