트래커를 활용한 딥러닝 기반 실시간 전신 동작 복원

Abstract

본 논문에서는 손 동작을 포함한 전신 동작 생성이 가능하고 동작 생성 딜레이를 조절할 수 있는 새로운 딥러 닝 기반 동작 복원 기술을 제안한다. 제안된 방법은 범용적으로 사용되는 센서인 바이브 트래커와 딥러닝 기술 의 융합을 통해 더욱 정교한 동작 복원을 가능하게 함과 동시에 IK 솔버(Inverse Kinematics solver)를 활용하여 발 미끄러짐 현상을 효과적으로 완화한다. 본 논문은 학습된 오토인코더(AutoEncoder)를 사용하여 트래커 데이 터에 적절한 캐릭터 동작의 실시간 복원이 가능하고, 동작 복원 딜레이를 조절할 수 있는 방법을 제안한다. 복원 된 전신 동작에 적합한 손 동작을 생성하기 위해 FCN(Fully Connected Network)을 사용하여 손 동작을 생성하 고, 오토인코더에서 복원된 전신 동작과 FCN 에서 생성된 손 동작을 합쳐 손 동작이 포함된 캐릭터의 전신 동 작을 생성할 수 있다. 앞서 딥러닝 기반의 방법으로 생성된 동작에서 발 미끄러짐 현상을 완화하기 위해 본 논 문에서는 IK 솔버 를 활용한다. 사용자의 발에 위치한 트래커를 IK 솔버의 엔드이펙터(end-effector)로 설정하여 캐릭터의 발 움직임을 정확하게 제어하고 보정하는 기술을 제안함으로써, 생성된 동작의 전반적인 정확성을 향 상시켜 고품질의 동작을 생성한다. 실험을 통해, 본 논문에서 제안한 딥러닝 기반 동작 복원 모델이 트래커의 정보에 따라 정확한 전신 동작을 복 원할 수 있음을 확인하였고, 복원된 전신 동작에 따라 손 동작 모델에서 손가락을 구부리는 동작과 펴는 동작 등 자연스러운 손 동작을 생성하는 것을 확인하였다. 또한 IK 솔버의 발 미끄러짐 보정 성능을 확인하기 위해 IK 솔버가 적용되기 이전 동작과 적용 후 동작 간의 정량적 비교를 수행하였고, 이를 통해 IK 솔버의 발 미끄러 짐 현상에 대한 보정 성능이 효과적인 것을 실험을 통해 확인하였다.