실감만남 시스템을 위한 멀티뷰 카메라 시스템을 이용한 3차원 포즈 추정

Abstract

This paper introduces a new communication system which is called the Tangible Tele-meeting system. The Tangible Tele-meeting system includes not only language communication but also environment state, visual state and sense of touch. Therefore, this new system shows more distinguishable and effective results than the preexistence communication system. The Tangible Tele-meeting system links human with robots with cyber space by using the multi-view camera, a humanoid robot and network technology. This paper is focused on computer vision algorithm which is connected with the sense of sight, Camera Calibration, marker detection, 3D pose estimation, coordinate an adjustment with virtual images and suchlike computer vision algorithms are used in our system. We set up the global 3D coordinate system to get 3D coordinate data in our system by using the eight network multi-view camera. After that, we put on color markers on the humanoid robot’s body and the HMD camera which user mounted display to set up the 3D coordinate system. First, our system detects markers by using the multi-view camera or the stereo camera. Second, the system sets up the 3D coordinate system on the robot’s body and the HMD. Third, the system initializes 3D pose beyond users and the tangible-agent-robot by using calibration algorithm Fourth, the system track 3D pose data by using the extended-kalman-filter from initialized 3D pose data. Finally, the system shows a avatar on HMD based on 3D pose data. When user uses this system, user can lifelike communication with the other user in remote place. The user can see the other user in remote place and can touch the other user in remote place using tangible agent robot.; 본 논문은 실감만남 시스템 이라고 칭하는 새로운 커뮤니케이션 시스템에 대한 기술적인 문제에 관한 내용이다. 실감만남 시스템은 기존의 통신기술과는 달리 언어의 교환에만 의존한 것이 아니라 대화를 나누고 있는 당사자를 둘러싼 공간적 상황, 시각적 상황 등에 대한 정보를 적극적으로 활용하여 당사자들이 가장 효과적인 커뮤니케이션이 가능하다. 실감만남 시스템은 영상처리 기술, 멀티뷰카메라와 실감존재 휴머노이드 로봇, 네트워크 기술 등 다양한 방법을 이용하여 인간 - 로봇 - 사이버공간을 연결하는 시스템이다. 우리는 이를 위해서 다음과 같은 기능을 수행하였다. 실감만남 시스템에서 3차원 정보를 위하여 8대의 네트워크 멀티뷰 카메라를 이용하여 3차원 좌표계를 형성하였다. 이를 위해 실감존재 휴머노이드 로봇에 3차원 좌표계를 형성 할 수 있는 마커를 부착하였고 사용자가 착용하는 HMD도 같은 방법으로 마커를 붙여 좌표계를 형성하였다. 카메라를 이용하여 마커를 인식하고 사용자와 로봇간의 3차원 포즈정보를 계산한다. 실시간으로 3차원 포즈정보를 계산하기 위하여 칼만 필터를 이용하여 계산하도록 하였다.. 3차원 포즈 정보를 이용하여 실감존재 로봇에 원격지의 사용자와 같은 동작을 취하는 실감존재 아바타를 투영시켜 사용자로 하여금 실감을 느끼게 할 수 있다. 또한 사용자는 실감존재 로봇을 만질 수 있어 마치 원격지의 사용자를 만지는 것과 같은 느낌을 받을 수 있다.