안전 모니터링 로봇 시스템을 위한 영상기반 실시간 낙상 감지

Abstract

최근 일상 생활에서 활용되는 로봇의 연구가 활발히 진행되고 있다. 단순 작업만 반복하던 로봇이 실시간 영상 처리나 딥러닝 네트워크를 통해 다양한 정보를 얻을 수 있게 되었다. 이러한 발전으로 로봇이 감시 및 보안과 같은 업무뿐만 아니라 인명사고, 도난, 화재와 같은 사고를 감지할 수 있게 되었다. 본 연구에서는 일반적인 카메라를 사용하여 사람의 낙상을 실시간으로 감지하고 빠르게 알려 사고로 인한 피해를 최소화 할 수 있도록 하는 실시간 낙상 감지 알고리즘을 소개한다. 이 과정에서 특이한 자세의 사람을 인식하기 위한 가중치 학습과 빠르고 효율적인 사람 추적 방법을 제시한다. 본 연구에서 사용하고자 하는 실시간 낙상 감지 알고리즘은 크게 4단계로 구성된다. 우선, 사람을 인식하는 과정은 객체 인식 딥러닝 네트워크 중 하나인 YoloV3를 사용한다. 이후 인식된 사람의 자세를 추정할 때에는 다인 자세 추정 딥러닝 네트워크 중 하나인 RMPE(Regional multi-person pose estimation, ‘AlphaPose’)를 사용한다. 영상에서 인식한 사람을 지속적으로 추적하며 동일한 사람으로 정의하기 위한 방법으로 Human Re-Identification method(‘Pose-Track’)와 Efficient Online Pose Tracking method(‘Pose-Flow’)에 대해 소개하고, 최소비용 이분 매칭 기반 추적 방법을 제안한다. 최종적으로 저장된 사람의 자세를 통해 행동을 인식하는, 특히 낙상을 감지하는 방법으로는 행동 검출 딥러닝 네트워크 중 하나인 Spatial-temporal graph convolution network(ST-GCN)를 사용한다. 본 연구에서는 객체 인식 딥러닝 네트워크에서 직접 수집한 데이터 세트를 통해 가중치 학습을 진행하고, 사람을 지속적으로 추적하기 위한 빠르고 효율적인 방법을 사용하여 낙상 감지 성공률을 41%에서 97%까지 개선시켰다. 이를 통해 안전 모니터링 로봇 시스템에서 영상 처리를 통한 실시간 낙상 감지 알고리즘을 사용할 수 있다. |Recently, research on robots that are used in everyday life is being actively conducted. Robots, which used to only repeat simple tasks in the past, can obtain various information through real-time image processing or deep learning networks. These changes helped that robots perform accident detection such as occurrence of casualties, theft, and fire, as well as tasks such as monitoring and security. This study introduces a real-time fall detection algorithm that uses a general camera to detect human falls in real time and quickly inform them to minimize damage caused by accidents. In this process, recognition network learning for recognition of people with unique postures and fast and efficient object tracking method are presented. The real-time fall detection algorithm to be used in this study largely consists of 4 steps. First, the process of recognizing a person uses YoloV3, which is one of the object recognition deep learning networks. Next, when estimating the pose of a recognized person, RMPE (Regional multi-person pose estimation), one of the multi-person pose estimation deep learning, is used. The Human Re-Identification method ('Pose-Track') and the Efficient Online Pose Tracking method ('Pose-Flow') are introduced as the way to continuously track and define the person recognized in the image as the same person, and a minimum cost binary matching-based tracking method is proposed. Finally, the Spatial-Temporal graph convolution network(ST-GCN), one of the action recognition deep learning networks, is used to recognize human activities (especially, ‘fall down’) through the pose of people. In this study, we improved the fall detection accuracy from 41% to 97%. Accordingly, a real-time fall detection algorithm through image processing can be used in the safety monitoring robotic systems.