실감형 대화면 헤드업디스플레이를 위한 영상 왜곡 보정

Abstract

A head-up display that augments the screen on the front window of a vehicle and provides driving information is an AR technology that assures the safety of the driver and provides convenience. At the same time, the infotainment system inside the car is developing in the direction of the future. Among them, head-up display is becoming a key technology. In the current automobile market, head-up display is a technology that is actively used. However, it is still used only as a small area display that does not disturb the driver's field of view. Therefore, the information that can be displayed by the current head-up display is speed, warning, direction, etc., and the information that can be expressed is very limited. With the advent of autonomous driving, the driver's dependence on driving will gradually decline and there will be a need to provide more information within the driver's field of view. Therefore, In this paper aims to solve the limitation of information provision by constructing a large-screen head-up display that is filled with a front window instead of a conventional small-sized head-up display. The head-up display will also require more accurate and realistic interaction between the augmented image and the external environment in order to accurately provide the driver with location information about the outside environment beyond the windshield, such as lane detection, vehicle and pedestrian recognition. However, since the conventional head-up display has a fixed distance to enhance the image, it can not be expressed according to the distance of the external environment. Therefore, there is a limit to realistic interaction with the external environment through the augmented image. Therefore, by applying 3D technology to the head-up display, it is possible to express the distance of the augmented image freely, thereby realizing accurate and realistic interaction with the external environment. In this paper, we verify the concept of the large-screen head-up display in which augmented images are filled in a front window and verify the concept of a 3D stereoscopic head-up display using 3D stereoscopic technology. And we propose a solution for the problems that occur in the system configuration. First, the large-screen head-up display, which is a head-up display that fills the front window of a vehicle by increasing the size of the head-up display screen, will be described. Since the conventional head-up display system can not constitute the large-screen head-up display, the concept of the large-screen head-up display is verified by configuring a system for the experiment in this paper. And we propose a method to effectively correct the distortion problem of augmented image, which is the biggest problem in constructing the large-screen head-up display, by using a polynomial transformation. Secondly, the 3D stereoscopic head-up display capable of expressing depth in an augmented image by applying 3D stereoscopic technology to a head-up display will be described. 3D stereoscopic technology suitable for constructing the 3D stereoscopic head-up display is applied and a hardware system configuration is proposed. We propose a method to solve the distortion correction problem in two view image and propose a method to effectively solve the cross talk problem that occurs in the 3D stereoscopic head up display. This paper proposes a futuristic head-up display and focuses on solving major problems in the process of constructing a system. Due to the influence of autonomous driving in the future, it will be a preliminary study for the future of head-up display which is still unknown.; 차량의 전면 유리창에 화면을 증강시켜 운전 정보를 제공하는 헤드업디스플레이(Head-up display)는 운전자의 안전을 보장하고 편의를 제공하는 AR 기술이다. 점차 자율주행시대가 도래하면서 동시에 차량 내부의 인포테인먼트 시스템도 미래지향적인 방향으로 발전하고 있는데, 그 중에서도 헤드업디스플레이가 주요한 핵심 기술로 각광받고 있다. 현재의 자동차 시장에서도 헤드업디스플레이는 활발히 사용되고 있는 기술이다. 하지만 아직은 운전자 시야를 방해하지 않는 선에서 작은 영역에 해당하는 디스플레이로만 활용되고 있다. 따라서 현재의 헤드업디스플레이로 보여줄 수 있는 정보는 속도, 경고, 방향 등으로, 표현 할 수 있는 정보가 상당히 제한적이다. 자율주행 시대가 도래 하면서 운전에 대한 운전자의 의존도는 점차 낮아질 것이고, 운전자의 시야 내에서 더 많은 정보를 제공해야 할 필요가 생길 것이다. 따라서 기존의 작은 영역의 헤드업디스플레이가 아닌 전면 유리창에 가득 차는 대화면 헤드업디스플레이로 구성하여 정보제공의 한계를 해결하고자 한다. 그리고 헤드업디스플레이를 통해 차선검출, 차량 및 보행자 인식 등 전면 유리창 너머의 외부환경에 대한 위치정보를 운전자에게 정확히 제공하기 위해, 증강영상과 외부환경 간의 더욱 정확하고 실감나는 상호작용을 필요로 할 것이다. 하지만 기존의 헤드업디스플레이는 영상이 증강되는 거리가 일정하게 고정되어있어 외부환경의 거리에 따라 표현하지 못하기 때문에, 증강영상을 통해 외부환경과 실감나는 상호작용을 하는데 한계가 있다. 따라서 헤드업디스플레이에 3D 기술을 적용하여 증강영상의 거리를 자유롭게 표현할 수 있도록 하여, 외부환경에 대해 정확하고 실감나는 상호작용을 실현하고자 한다. 본 논문에서는 전면 유리창에 증강영상이 가득 차는 대화면 헤드업디스플레이와 3D 입체 기술을 적용한 3D 입체 헤드업디스플레이의 개념을 검증하고, 시스템을 구성하는데 발생하는 문제들에 대한 해결 방법을 제안한다. 첫 번째로 헤드업디스플레이 화면의 크기를 키워 차량의 전면 유리창에 가득 차는 헤드업디스플레이인 대화면 헤드업디스플레이에 대해 기술한다. 기존의 헤드업디스플레이 시스템으로는 대화면 헤드업디스플레이를 구성할 수 없기 때문에 본 논문에서 실험을 위한 시스템을 구성하여 대화면 헤드업디스플레이의 개념을 검증한다. 그리고 대화면 헤드업디스플레이를 구성하는데 가장 큰 문제인 증강영상의 왜곡 문제를 다항식 변환(Polynomial transformation)을 이용하여 왜곡을 효과적으로 보정하는 방법을 제안한다. 두 번째로 헤드업디스플레이에 3D 입체 기술을 적용하여 증강영상에 깊이를 표현할 수 있는 3D 입체 헤드업 디스플레이에 대해 기술한다. 3D 입체 헤드업디스플레이를 구성하는데 알맞은 3D 입체 기술을 적용하고 하드웨어 시스템 구성을 제안한다. 그리고 두 시점 영상에서의 왜곡보정 문제를 해결하는 방법을 제안하고, 3D 입체 헤드업디스플레이를 구성하는데 발생하는 크로스톡 문제를 효과적으로 해결하는 방법을 제안한다. 본 논문은 미래지향적인 헤드업디스플레이를 제안하고, 시스템을 구성하는 과정에서 발생하는 주요한 문제를 해결하는 것에 초점을 두고 있다. 앞으로 도래할 자율주행시대의 영향으로, 아직 방향을 알 수 없는 헤드업디스플레이의 미래를 위한 선행 연구가 될 것이다.