Time series data multi-classification using generative replay deep learning models based on sensor data from in-home robotic companion pets

Abstract

사회적 보조 로봇 (SAR) 을 가정에 배치하는 것은 코로나-19와 같은 급격한 생활 패턴 변화 시 인간의 심각한 행동 및 정신 건강 변화를 추적하는데 유용하다. 그러나 사람들의 일상 공간(가정, 직장 등)에 SAR과 같은 자율 에이전트를 배치할 때 요구되는 근본적인 문제는 연구자들에 의해 관찰되지 않을 때 사용자가 이러한 에이전트와 어떻게 상호작용하는지를 이해하는 것이다. 이를 위한 해결책으로 로봇의 센서 데이터를 생태학적 순간 평가 (EMA) 와 같은 새로운 유형의 상호 작용 평가와 결합하여 인간-로봇 상호작용 시 행동양식을 인식할 수 있다. 따라서 본 논문은 EMA를 통해 수집된 데이터와 가정에 배치된 SAR에 탑재된 센서를 통해 수집된 데이터를 기반으로 인간 특정 행동 분류 연구를 제시한다. 분류는 생성 딥러닝 모델 (VAE, GAN, SGAN) 의 학습된 인코더 혹은 감별자 (discriminator) 를 분류 모델에 전이 학습하여 진행했고 다중 클래스 분류와 이진 분류를 진행했다. 최고 성능의 모델은 특정 상호 작용 방식을 감지하는 데 다중 클래스 분류 시 약 33%의 정확도 (AUC 약 0.62, F1 약 0.25) 를 보였고, 이진 분류 시 약 79%의 정확도 (AUC 약 0.83) 를 보여주었다. 본 논문은 기존 모델과 성능을 비교함으로써 제시된 모델이 특정 인간 행동 양식 분류에 더 효과적임을 입증한다.|Deploying Socially Associated Robots (SARs) at home is useful for tracking severe behavior and mental health changes in humans during rapid lifestyle changes such as Covid-19. However, a fundamental problem required when deploying autonomous agents such as SAR in people's everyday spaces is understanding how users interact with these agents when not observed by researchers. As a solution to this, the robot's sensor data can be combined with new types of interaction evaluations, such as Ecological Momentary Assessment (EMA), to recognize modality in human-robot interactions. In this paper, I present a human-specific behavior classification study based on data collected via EMA for each two weeks by 12 participants and data collected via sensors mounted on SARs placed in the home. This paper present a study of human-specific behavior classification based on data collected through EMA and data collected through sensors attached on SAR deployed in homes. Classification was conducted by transferring learned encoder or discriminator of generative models (VAE, GAN, SGAN) to classification models, and both multi-class and binary classification were conducted. The highest-performance model showed approximately 33% accuracy (with an AUC 0.62, with a F1 0.25) on multi-class classification to detect a particular interaction scheme, and approximately 79% accuracy (with an AUC 0.83) on binary classification. By comparing the performance with the existing model, this paper demonstrate the presented model in this study is more effective in classifying modality.