Proactive Planning for Human-Robot Interaction using Composite Node Temporal Influence Diagram

Abstract

In human-centered robotic applications, natural and seamless interaction between the two is currently facing challenges. Many human-robot interactions, however, follow a request-and-react pattern that becomes a rigid turn-taking pattern and induces delays which disturb seamless interactions. Essential abilities for robots' effective interaction with others are as follows. First, the nature of human behaviors and their timings should be identified accurately and in a timely manner. Second, a robot should predict human behaviors in the future under event and time uncertainty. Third, the robot should execute the right reactions at the right times. In each step, time and event uncertainty plays an important role in terms of interaction. In this dissertation, three contributions of proactive planning for natural and seamless human-robot interaction are presented. The first contribution is to introduce the framework of a composite node temporal Bayesian network (CNTBN) to predict human behaviors under event and time uncertainty. This approach is based on composite node representation using a joint random variable of the nature of an event and its time. In particular, the graphical structure of composite nodes encodes conditional independence for all composite nodes, and the edges represent both causal and temporal relations among nodes. The second contribution is to develop key techniques for human activity recognition. We develop a new learning method of time series codewords for human activity recognition named complexity-based subsequence of time series clustering (C-STSC). The key to the C-STSC method is to measure the importance of each subsequence in time series data through the use of a complexity measure. The learned codewords include three types of information: the codeword's type, time, and position. On the basis of C-STSC features, we also develop a human activity recognition model based on the CNTBN framework. The graphical structure is restricted to tree structure to be computationally effective. Moreover the model is extended to handle both causal relationships and spatio-temporal relationships. The method uses C-STSC features as a primitive data type. The third contribution is to introduce a probabilistic framework for proactive planning. Proactive planning constitutes anticipation and smart decision-making by allowing the robot to determine which action to perform proactively to obtain or avoid a predicted situation and minimize the delays for both the human and the robot. To this end, we introduce a composite node temporal influence diagram (CNTID), which is an extension of CNTBNs of the decision network. Moreover, we develop a planning algorithm for CNTIDs. To validate the proactive planning method and the temporal prediction model, experimental results for humanity-robot cooperative tasks are shown, where a human makes a toy car cooperating with an assistance robot. Experimental results for CNTID show that the proactive planning for an assistance robot decreases the total task execution time by anticipating preparatory actions through predictions of human behaviors. Moreover, prediction accuracy of human activities using CNTBN is presented by comparison with DBNs. For evaluation of the proposed human activity recognition method, three open datasets are employed. |사람과 로봇간의 상호작용을 끊김없고 자연스러운 만드는것은 사람 중심의 로봇 응용분야에서 당면한 도전적인 문제이다. 하지만 기존의 사람과 로봇 상호작용을 위한 연구는 인식을 통해 사람의 의도가 파악된 뒤에야 로봇이 필요한 서비스를 실행하는 요청-반응 패턴을 기반으로 연구되어 왔다. 이러한 요청-반응 패턴은 필연적으로 사람의 요청과 로봇의 반응 사이에 지연시간이 존재하도록 하며, 사람과 로봇간의 상호작용에서 지연으로 인한 끊김이 발생하는 문제점이 있다. 만약 로봇이 사람의 의도를 사전에 예측해서 미리 필요한 서비스들을 준비하는 선제적인 행동들을 계획하고 실행할 수 있는 능력이 있다면, 상호작용에서의 지연시간을 획기적으로 단축시킬 수 있으며 더 나아가 자연스러운 상호작용을 만들수 있다. 첫째, 사람이 미래에 할 것으로 추정되는 가능성 높은 행동 또는 의도들을 확률적으로 예측해야 한다. 이때, 행동의 종류뿐 아니라 그 시간에 대한 불확실성을 동시에 고려한 예측 방법이 필요하다. 둘째, 예측을 위해서는 사람의 행동을 높은 정확도로 인식하는 것이 요구된다. 마지막으로 예측된 사람의 의도 및 행동에 대응되는 로봇의 서비스를 적절한 시간에 미리 준비할수 있는 선제적인 행동 계획이 필요하다. 본 논문에서는 사람과 로봇간의 자연스럽고 끊김없는 상호작용을 위한 선제적인 로봇의 행동 계획을 위한 세가지 핵심 기술들을 제시한다. 첫째, 사람의 행동을 이루는 이벤트의 종류와 시간을 동시에 확률적으로 예측하기 위한 복합 노드 시간적 베이시안 네트워크를 제안한다. 이 확률 모델은 이벤트의 종류와 그 시간에 대한 결합확률을 표현하는 복합 노드를 시간적 베이시안 네트워크의 기본 구성 요소로 모델링하는 새로운 접근 방법을 사용한다. 복합 노드간의 연결구조는 두 이벤트간의 인과관계와 시간간격을 동시에 표현할 수 있기 때문에, 관측된 이벤트들에 근거한 임의의 이벤트의 속성과 그 시간에 대한 확률을 동시에 추론할 수 있다. 둘째, 사람 행동을 높은 정확도로 인식할 수 있는 특징 추출 방법과 복합노드를 사용하여 특징들의 시공간 패턴을 분류할 수 있는 복합 노드 기반 시공간 베이스 분류기를 제안한다. 사람 동작의 특징 추출 방법으로서, 동작을 구성하는 시계열 데이터중에서 중요한 부분만을 선택적으로 추출한 후에 클러스터링하는 방법을 이용해서 단위 특징들을 학습하는 방법을 제안한다. 학습된 단위 특징들은 특징의 사람의 동작을 표현하는데 활용될 수 있는 특징의 종류, 위치, 시간 정보를 가지고 있다. 이 단위특징들의 종류가 만들어내는 패턴 및 시공간적인 변화에 따른 패턴을 확률적으로 인식하기 위해서 복합노드 기반 베이스 분류기를 제안한다. 마지막으로, 시간적으로 예측된 사람에 행동 및 의도에 맞도록 미래의 상황에 대비하는 행동들을 결정할 수 있는 선제적인 계획방법을 제안한다. 이를 위해, 기존의 확률기반 계획방법인 영향도 모델을 복합노드를 이용해 확장한 복합 노드 기반 시간적 영향도 모델과 행동 결정을 위한 계획 알고리즘을 제안한다. 제안한 선제적 행동계획방법의 유용성을 검증하기 위해서 사람이 로봇의 도움을 받아서 조립작업을 수행하는 공동 작업을 하는 시나리오가 이용되었다. 사람의 행동을 얼마나 정확하게 예측하는지 동적 베이시안 네트워크와의 비교실험 결과를 제시하였으며, 예측된 행동에 기반해서 로봇이 선제적 계획을 실행했을때 전체 작업시간이 얼마나 단축되었는지를 보였다. 또한, 제안한 사람 행동인식 방법의 검증을 위해서 공개된 사람 행동 데이터를 이용해 기존의 방법들보다 인식 정확도가 우수함을 보였다.; In human-centered robotic applications, natural and seamless interaction between the two is currently facing challenges. Many human-robot interactions, however, follow a request-and-react pattern that becomes a rigid turn-taking pattern and induces delays which disturb seamless interactions. Essential abilities for robots' effective interaction with others are as follows. First, the nature of human behaviors and their timings should be identified accurately and in a timely manner. Second, a robot should predict human behaviors in the future under event and time uncertainty. Third, the robot should execute the right reactions at the right times. In each step, time and event uncertainty plays an important role in terms of interaction. In this dissertation, three contributions of proactive planning for natural and seamless human-robot interaction are presented. The first contribution is to introduce the framework of a composite node temporal Bayesian network (CNTBN) to predict human behaviors under event and time uncertainty. This approach is based on composite node representation using a joint random variable of the nature of an event and its time. In particular, the graphical structure of composite nodes encodes conditional independence for all composite nodes, and the edges represent both causal and temporal relations among nodes. The second contribution is to develop key techniques for human activity recognition. We develop a new learning method of time series codewords for human activity recognition named complexity-based subsequence of time series clustering (C-STSC). The key to the C-STSC method is to measure the importance of each subsequence in time series data through the use of a complexity measure. The learned codewords include three types of information: the codeword's type, time, and position. On the basis of C-STSC features, we also develop a human activity recognition model based on the CNTBN framework. The graphical structure is restricted to tree structure to be computationally effective. Moreover the model is extended to handle both causal relationships and spatio-temporal relationships. The method uses C-STSC features as a primitive data type. The third contribution is to introduce a probabilistic framework for proactive planning. Proactive planning constitutes anticipation and smart decision-making by allowing the robot to determine which action to perform proactively to obtain or avoid a predicted situation and minimize the delays for both the human and the robot. To this end, we introduce a composite node temporal influence diagram (CNTID), which is an extension of CNTBNs of the decision network. Moreover, we develop a planning algorithm for CNTIDs. To validate the proactive planning method and the temporal prediction model, experimental results for humanity-robot cooperative tasks are shown, where a human makes a toy car cooperating with an assistance robot. Experimental results for CNTID show that the proactive planning for an assistance robot decreases the total task execution time by anticipating preparatory actions through predictions of human behaviors. Moreover, prediction accuracy of human activities using CNTBN is presented by comparison with DBNs. For evaluation of the proposed human activity recognition method, three open datasets are employed.