어라운드뷰 카메라를 위한 자동 보정 방법 및 장애물 검출 방법

Abstract

최근 자동차 수의 증가로 인하여 자동차 산업이 발전되고 있으며 그 중에서도 자동차 운전의 편의를 돕는 시스템에서도 많은 연구가 이루어지고 있다. 특히 자동차용 카메라 분야는 전방 카메라, 후방 카메라, 사이드 카메라, 운전자 감시 카메라, 어라운드뷰 카메라 등 다양한 카메라가 장착되고 있다. 이는 카메라가 운전자 편의를 돕는 시스템이나 자율주행 시스템에서 사람의 눈과 같은 역할을 하고 있기 때문에 중요한 센서로 자리 잡고 있다. 그 중에서도 어라운드뷰 모니터링 시스템은 자동차의 전방, 후방, 좌측, 우측에 카메라를 장착하여 360°로 볼 수 있는 시스템이며 특히 하늘에서 보는 top view를 제공함으로 운전자가 주차나 저속 주행 시에 자동차 주변을 모두 볼 수 있기 때문에 주변 상황을 보다 잘 살필 수 있도록 돕는다. 어라운드뷰 모니터링 시스템에서는 카메라를 장착하여 top view로 만들기 위해서는 어라운드뷰 모니터링 카메라 보정이 필요하다. 카메라 보정은 카메라 내부 파라미터를 추출하는 부분과 카메라 외부 파라미터를 추출하는 부분으로 나눌 수 있다. 본 논문에서는 카메라 내부 파라미터를 추출하는 것을 왜곡보정이라고 정의하며 카메라 외부 파라미터를 추출하는 것은 공차 보정이라고 정의한다. 본 논문은 카메라 외부 파라미터를 찾는 공차 보정에 관한 것이다. 어라운드뷰 모니터링 시스템의 공차 보정은 카메라와 자동차 좌표 관계를 추출하는 것으로 카메라의 위치와 각도를 계산하여 전방, 후방, 좌측, 우측 카메라 각각의 top view로 변환한다. 변환된 각각의 top view를 합성함으로 최종적으로 하나의 top view를 운전자에게 제공한다. 또한 어라운드뷰 모니터링 시스템은 장애물 검출, 주차선 인식, 차선 인식 등과 같은 영상 인식 기술을 활용함으로 움직이는 물체에 대한 경고, 자동 주차, 차선 이탈 경고 등과 같이 운전자에게 보다 안전하고 편리한 기능을 제공하고 있다. 본 논문에서는 어라운드뷰 모니터링 카메라의 효율적인 공차 보정 방법을 제안한다. 특히 어라운드뷰 모니터링 카메라의 특성 상 공차보정이 필요한 두 가지 상황에서의 공차 보정 방법을 제안한다. 공장에서 출하용으로 하는 방법과 자동차 운행 중 일부 카메라가 틀어져 재조정이 필요할 때 방법을 각각 제안한다. 이를 공장 모드와 서비스 모드라고 정의하였다. 공장 모드 공차 보정 방법은 공차 보정에 필요한 최소한의 환경에서 최대의 정확도를 확보하기 위해 일정한 거리 안에 놓인 두 원형 패턴을 이용한 방법을 진행하였다. 두 원형 사이를 자동차가 이동하게 되면 일정 거리 안에 있는 두 개의 원형 패턴을 이용하여 자동으로 공차 보정이 이루어질 수 있도록 하였다. 서비스 모드 공차 보정 방법은 일반 정비소에서 쉽게 설치가 가능한 평행한 주차선을 이용하여 다양한 오염 등의 환경을 고려한 강인한 방법을 제안하였다. 직선 인식을 통해서 주차선을 인식하고 주차선의 상승 에지와 하강 에지를 이용하여 카메라의 틀어짐을 계산하여 보정을 수행하였다. 또한 본 논문에서는 어라운드뷰 모니터링 영상을 이용하여 장애물 검출 방법을 제안한다. 어라운드뷰 모니터링 영상을 이용하여 장애물을 검출하는 것은 많은 연구가 움직이는 물체에 대해서 이루어지고 있으며 정지 물체에 대해서도 자동차가 움직이는 경우에 대해서 이루어지고 있다. 본 논문에서는 자동차가 정지해 있으며 장애물도 정지해 있는 경우에 대해서 장애물을 검출할 수 있는 방법을 제안한다. 운전자가 정지해 있는 상태에서 장애물이 생성될 때 발생할 수 있는 사고를 미연에 방지할 수 있으며 어떤 상황에서도 장애물과의 충돌을 경고할 수 있기 때문에 정지되어 있는 상황에서도 정지 장애물을 검출하는 방법을 제안하였다. 본 논문에서는 장애물의 외곽은 어라운드뷰 모니터링 영상으로 합성했을 때 카메라 중심으로 향하고 있는 특성을 이용하여 장애물을 후보군을 추출하였다. 추출된 후보군은 머신 러닝 학습 기법 중 하나인 딥러닝 방법을 이용하였다. 딥러닝 방법 중 합성곱 신경망(CNN: Convolutional Neural Network) 방법을 이용하여 장애물의 외곽의 특징과 영상을 이용하여 장애물과 장애물이 아닌 경우를 판별하였다. 판별된 결과를 이용하여 최종적으로 장애물을 검출하였다. 실험은 일반 승용차 뿐 아니라 SUV, 초소형 전기차에 어라운드뷰 모니터링 카메라를 장착하고 영상을 획득하여 진행하였다. 어라운드뷰 모니터링 카메라의 공차 보정 방법 중 공장 모드는 두 개의 원형 패턴을 일정 거리 이내에 임의의 위치에 있을 경우에 대해서 오차가 5.66cm 이내에서 공차 보정이 수행되는 것을 확인하였다. 서비스 모드에서는 주차선을 이용하여 0.1°이내에서 카메라의 움직인 각도가 보정되는 것을 확인하였다. 또한 어라운드뷰 모니터링 영상에서 정지 장애물과 움직이는 장애물에 대한 데이터를 획득하고 학습을 진행한 결과, 장애물 검출은 정확도 96.2%의 확률을 가지는 것을 확인하였다.; Recently, due to the increase in the number of automobiles, the automobile industry has been developed, and among them, many studies have been conducted on systems that assist the convenience of driving a vehicle. In particular, in the department of automotive cameras, various cameras such as front cameras, rear cameras, side cameras, driver monitoring cameras, and around view monitoring cameras are installed. The camera is becoming an important sensor because it plays the same role as the human eye in a system that driver assistant system or in an autonomous driving system. Among the various cameras installed in automobiles, the around view monitoring system is a system that allows 360° viewing by installing cameras on the front, rear, left and right sides of the vehicle. In particular, by providing a top view from the sky, the driver can see all the surroundings of the vehicle when parking or driving at a low speed, assistance to better observe the surrounding situation. In the around view monitoring system, camera calibration is required to make the top view by installed cameras. Camera calibration for around view monitoring system finds the relationship between camera and vehicle coordinates, calculates the position and angle of the camera, transforms the top view of each of the front, rear, left and right cameras, and synthesizes each of the transformed top views. Finally, the synthesized top view is provided to the driver. In addition, the around view monitoring system provides safer and more convenient functions to the driver, such as moving objects collision warning, automatic parking, and lane departure warning, by using computer vision such as obstacle detection, parking line recognition, and lane recognition. In this paper, we propose an efficient calibration method for the around view monitoring cameras. In particular, we propose a calibration method in two situations that require calibration because of the characteristics of the around view monitoring cameras: a situation wherein cameras are shipped from the manufacturing line and another situation wherein some cameras are distorted during operation and need recalibration. We defined each method as a factory mode and a service mode. In the factory mode, two circular patterns placed at a regular distance are used to ensure the maximum accuracy while requiring minimum calibration. When the vehicle moves between the two circle patterns, the calibration can be automatically calibrated using two circular patterns within a certain distance. In the service mode, as a recalibration method, we developed a robust method that considers various environments using parallel parking lines that can be easily installed in general service centers. The parking line was recognized through line recognition, and cameras was calibrated was performed by calculating the camera distortion using the rising and falling edges of the parking line. In addition, in this paper, we propose an obstacle detection method using around view monitoring images. Much research has been done on moving objects to detect obstacles using around view monitoring images. Research was being conducted on the case of moving a vehicle even on a stationary object. In this paper, we propose a method to detect obstacles even when the vehicle is stationary and the obstacle is also stationary. We propose a method to detect a stationary obstacle even in a stationary situation because it can prevent accidents that may occur when an obstacle is created while the driver is stationary and warn of a collision with an obstacle in any situation. In this paper, obstacle candidates were extracted by using the characteristics directed toward the center of the camera when the outside of the obstacle was synthesized as an around view monitoring image. The extracted candidates used deep learning, one of the machine learning methods. We used the convolutional neural network method, one of the deep learning methods, to classify between obstacles and non-obstacles using images and the outer edge features of the obstacles. The obstacles were finally detected using the determined results. The experiment was carried out by acquiring images by installing an around view monitoring cameras to SUVs and micro electric vehicles as well as sedans. In the factory mode, we confirmed that the around view monitoring camera calibration error was within 5.66 cm when the two circular patterns were located at a certain distance within a certain range. Also, in the service mode, we achieved camera movement angle error equal to or less than 0.1° using the parking line detection result. In addition, as a result of acquiring and learning data about stationary and moving obstacles from the around view monitoring images, we confirmed that obstacle detection with a probability of 96.2% accuracy.