Visually Imperceptible Interface Using Spectral Differences

Abstract

지난 10년 동안 컴퓨터와 디스플레이 그리고 모바일 기술의 발전으로 우리 주변의 생활 모습은 놀라울 정도로 달라졌다. 지금 이 순간도 새로운 기술들이 개발되고 새로운 장치들이 세상에 나올 준비를 하고 있다.

특히 증강현실 분야는 지난 수십년동안 많은 연구자들의 노력의 결과로 대중에게 많은 주목을 받고 있는 분야이다. 지금도 많은 연구자들은 증강현실에서 사용되기 위한 다양한 연구를 진행하고 있다. 이러한 연구들의 최종 목적은 사용자에게 높은 만족감을 주는고 많은 사람들이 사용하는 것이다. 최근에는 인터넷과 모바일 통신기술의 발달로 인하여 다양한 콘텐츠를 접하게 된 사용자들은 새로운 기술을 적극적으로 받아들이고 소비하고 있다. 이와 같은 사용자들은 최신 기술에 대한 이해 수준이 높기 때문에 제품과 서비스에 대한 다양한 요구를 하고 있다.

따라서 기술을 개선하고 새로운 환경에서 적응하기 위해 다른 기술과 결합하여 기술적 진보를 이루는 것이 매우 중요한 역할을 한다. 하지만 사용자 관점에서는 속도와 정확도뿐만 아니라 몰입감을 감소시키지 않고 만족도를 높일 수 있는 감정적인 요소에 대한 연구도 요구된다. 또한 누구나 사용할 수 있도록 사용자 제약조건 개선도 요구된다. 증강현실 인터페이스에서 대중적으로 사용되고 많이 연구하고 있는 방법은 마커 와 터치 인터페이스이다.

이 논문은 사용자 중심의 인터페이스에 대해 고찰하고 사용자 관점에서 몰입감을 감소시키지 않고 만족도를 높일 수 있는 새로운 마커와 많은 사용자들이 사용할 수 있는 새로운 인터페이스를 제안한다.

제안하는 인식할 수 없는 마커는 조도가 낮은 환경에서도 사용이 가능하며, 보이지 않는 마커에 의한 증강현실 콘텐츠 몰입감을 방해하지 않기 때문에 사용자 친화적이다. 메타머 마커의 보이지 않는 색상이 인쇄된 배경색에 따라 다르므로 적절한 메타머 색을 생성하기 위한 프린터 색상 매핑 방법을 설계했다. 개념을 증명하는 실험은 적외선 영상에서의 마커 검출과 색상 보정에 따른 색상차이 분석을 포함하여 진행했다.

새로운 인터페이스는 사용자 제한을 개선한 핸드-프리 인터페이스이다. 이 논문에서 제안하는 핸드-프리 인터페이스는 손을 사용하지 않고 내쉬는 숨을 이용하기 때문에 많은 사람들이 사용할 수 있다. 일반적인 내쉬는 숨으로는 정확한 지점을 선택할 수 없기 때문에 한 점으로 집중시키기 위해 속이 빈 막대를 사용했다. 열점 기반 인터페이스 방법에 대한 활용 가능성과 사용성을 검증하기 위해서 실험 평가를 진행하였다. 실험평가에서는 사람에 의한 다양한 열점 생성 방법 비교, 재질별 열전도와 비교하여 내쉬는 숨 기반 열점 생성에 적합한 재질 분석을 진행했다.

마지막으로, 논문에서는 사람의 눈으로 감지할 수 없는 메타머 마커의 유용성을 입증하기 위해 프로젝션 카메라 기반 동화책 증강 현실 콘텐츠를 제작하여 시연했다. 그리고 핸즈프리 사용자를 위한 사용자 중심 인터페이스의 유용성을 입증하기 위해 프로젝션 카메라 기반지도 조작 응용 프로그램으로 시연했다. 끝으로 논문에서 제안하는 방법이 적용된 응용프로그램을 시연하고 사용자 평가를 받았다. 결과적으로 사용자에게 유용하다는 것을 증명했다.; Over the past decade, the evolution of computers, displays, and mobile technologies has changed the way we live around our lives. At this very moment, new technology is being developed and new devices are preparing to come out into the world.

In particular, the field of augmented reality has received much attention from the public as a result of the efforts of many researchers since 1990s. Many researchers are engaged working on various studies for use in augmented reality. The ultimate goal of these studies is to give users a high degree of satisfaction and used by as many people as possible. Recently, due to the development of Internet and mobile communication technology, users who are exposed to various contents actively accept and consume new technology. Such users have a high level of understanding of the latest technology and thus have diverse needs for products and services.

From the user's perspective, research on not only speed and accuracy, but also emotional factors that can increase satisfaction without reducing immersiveness are required. In addition, improvement of user constraints is also required so that anyone can use it. Among popular methods that are extensively explored in augmented reality interfaces are the marker and touch interface. This dissertation looks at user-centric interfaces and provides new markers and new interfaces available to many users that can improve satisfaction from the user's perspective without reducing immersiveness. This dissertation considers a user-centric interface and provides new markers and a new interface available to many users that can improve satisfaction from the user's perspective without sacrificing immersiveness.

An imperceptible marker is first proposed in this dissertation. The provided imperceptible (metamer) markers are user-friendly because they can be used even in low-light environments and do not interfere with the AR contents. Since the invisible color of the metamer marker depends on the printed background color, we carefully designed a printer color mapping method to generate the proper metamer color. Proof-of-concept experiments have shown that the detection of markers in infrared images is successful even in dark environments and the color correction for making the markers imperceptible to human eyes works very well by analysing color differences.

A new interface that lets user’s hands free is proposed. It improved user restrictions considerably. The hands-free interface proposed in this dissertation uses hands-free exhalation and can be used by many people. In general exhalation, it was not possible to select the exact point. Therefore a hollow rod was used to concentrate on one point. Extensive experiments demonstrated the feasibility and usefulness of the thermal spots-based interface method. In the experimental evaluation, we compared the methods of creating various thermal spots by humans and analyzed the materials suitable for the creation of exhalation-based thermal spots by comparing the thermal conduction of materials.

Finally, the dissertation created and implemented a projector-camera-based fairy tale e-book that demonstrate the utility of user-friendly invisible metamer markers in augmented reality application. Moreover, an application of projector camera-based map manipulation is demonstrated to prove the usefulness of user-centered interface for hands-free users. Then, throughout extensive user evaluation, the proposed system is shown to be very useful and having a great potential in the future.