차량용 전방 카메라를 이용한 횡단보도 및 도로노면표시 검출

Abstract

영상인식 기술의 발전으로 영상인식을 통한 다양한 물체를 인식하는 기술들이 연구 개발 되고 있다. 운전자를 보조하는 운전자 보조 시스템(Driving Assistant System)은 이러한 영상인식 기술을 통해 개발되어 각종 차량 사고를 줄이는데 사용되고 있다. 차선, 차량, 보행자는 운전자 보조시스템의 차량 사고 방지를 위한 대표적인 검출 대상이다. 차선, 차량, 보행자뿐만 아니라 안전한 차량 운행을 위한 많은 정보를 가지고 있는 횡단보도 및 도로노면표시 또한 사고 방지를 위한 인지 대상으로서 횡단보도 및 도로노면표시에 대한 인식 기술이 필요하다. 또한 횡단보도 및 도로노면표시는 도로노면에 칠 형태로 존재하기 때문에 초음파 센서나 레이저 센서를 통해서는 횡단보도 및 도로노면표시를 검출하기 어렵다. 따라서 우리는 영상인식 기술을 이용한 횡단보도 및 도로노면표시 검출 방법을 제안한다. 기존 연구에서 다양한 횡단보도 및 도로노면표시 검출 방법이 존재한다. 대부분의 횡단보도 검출 방법은 횡단보도의 규격 정보를 이용한다. 횡단보도는 도로상에서 일정한 크기의 흰색 줄무늬 형태를 띠고, 줄무늬간의 간격이 일정하다는 특징이 있다. 이러한 규격정보를 에지나 이진화 이미지 등에서 제약조건으로 사용하여 횡단보도를 검출하였다. 하지만 이러한 지정된 규격정보를 이용하는 방법은, 그 규격이 일정하지 않을 경우, 미리 지정된 규격정보에 어긋나는 횡단보도에 대한 정확한 검출을 기대하기 어렵다. 도로상에 존재하는 사각형을 검출하여 횡단보도를 찾거나 양극성(bipolarity)을 이용하는 방법도 존재한다. 하지만 이와 같은 방법은 비교적 정확한 횡단보도 검출 성능을 보여주나, 실시간 처리를 기대하기 어렵다. 본 논문에서는 적은 연산을 통해 횡단보도 및 도로노면표시를 효과적으로 찾는 방법을 제안한다. 제안하는 방법은 전처리 과정, 가설 설정, 가설 검증, 그리고 후처리 과정으로 이루어져있다. 전처리 과정에서는 대략적인 자가 차량이 주행중인 차선을 관심영역으로 설정한다. 설정된 관심영역의 좌표축을 기존의 직교 좌표계(the Cartesian coordinates)에서 극좌표계(the polar coordinates)로 변형하여 이후 과정에 사용한다. 횡단보도 및 도로노면표시는 도로노면과 구분되는 흰색을 띈다. 따라서 제안하는 방법은 동적 문턱 값을 사용하여 흰색 픽셀을 분리한다. 차량에 부착된 카메라를 통해 획득한 영상은 도로노면상태, 혹은 차량의 흔들림에 의해 흔들림이 존재한다. 제안하는 방법은 흔들림 보정방법을 통해 이러한 흔들림을 보정하였다. 가설 설정은 횡단보도 가설 설정과 도로노면표시 가설 설정으로 나눌 수 있다. 제안하는 방법은 횡단보도 후보군 검출을 위해 이진화된 관심영역에서 각 행의 흰색 픽셀의 비율과 흰색 픽셀과 검은 픽셀의 교차회수를 이용한다. 도로노면표시에 대한 후보군은 이진화된 관심영역 내에서 흰색 픽셀에 대한 레이블링(labeling)을 통해 검출한다. 도로노면표시는 차선의 중앙에 위치한다. 이를 이용하여 레이블링 된 영역 중, 중앙에 위치하지 않은 영역을 후보군에서 제외한다. 후보영역들이 검출된 후, 저니키 모멘트(Zernike moment)를 특징 값으로 추출한다. 추출된 특징 값을 이용하여 랜덤 포레스트 분류기(random forest classifier)를 통해 후보영역에 대한 분류를 한다. 마지막으로 정지선은 항상 횡단보도의 앞에 위치하며, 횡단보도와의 거리는 고정되어있다. 따라서 최종 검출된 횡단보도의 위치를 통해 정지선의 위치를 추측할 수 있다. 제안하는 방법의 마지막 과정은 후처리 과정이다. 제안하는 방법은 추적과 검출하는 물체가 여러 프레임에 걸쳐 출현하는 특성을 이용하여 검출 결과를 개선한다. 실험에서 우리는 제안하는 방법을 다양한 환경에서 시험하였다. 실험 결과, 다양한 환경에서 강인하게 검출함을 확인할 수 있었다. 또한 제안하는 방법은 횡단보도와 도로노면표시를 검출하는데 적은 연산량이 필요함을 확인할 수 있었다.|Various objects detecting method has been researched by using vision recognition technology. Driving Assistant System (DAS) which assists driver is developed for reducing car accidents by using these detecting methods. Lane, vehicle, and pedestrian are typical targets of DAS for preventing car accidents. Not only lane, vehicle, or pedestrian, also the crosswalk and road marking can be used for reducing car accidents since these have much information for safety driving. Therefore the detecting method of the crosswalk and road marking is required. Since the crosswalk and road making are painted on the road surface, the crosswalk and road marking detection is hard by using sonar sensors or laser sensors. Therefore we propose the detecting method of the crosswalk and road marking by vision-based recognition technology. For many years, various crosswalk and road marking detection methods have been developed. Most conventional methods were developed to detect a standard size of the crosswalk. The standard crosswalk is defined as white stripes with fixed width and fixed offset between stripes. By using the standard definition of the crosswalk, variations of the crosswalk cannot be handled. Other methods for detecting the crosswalk utilize a rectangle detection scheme or bipolarity property of the crosswalk. The problem of these methods is a high computational cost. This thesis proposes a crosswalk and road marking detection method with low computational cost. The proposed method consists of four steps; preprocessing, hypothesis generation, hypothesis verification, and post-processing. In the preprocessing step, the proposed method sets the ego-vehicle’s lane as a region of interest(ROI). The Cartesian coordinates of the ROI is transformed into the polar coordinates before further processing. Since the crosswalk and road markings have a distinctive white color, we binarize the transformed ROI by using dynamic thresholding method. In order to handle vibrations of the in-vehicle camera, the proposed method compensates oscillations by using a video-based stabilization method. In hypothesis generation step, hypothesis of both crosswalk and road markings are generated. To detect the candidate of the crosswalk, the proposed method uses the shape constraints of the crosswalk. Candidate regions of the road markings are obtained by labeling white pixels in the binarized ROI. In the hypothesis validation step, we classify the candidate regions from the hypothesis generation step. In order to classify the candidate regions, the proposed method utilizes the Zernike moment as a feature and the random forest as a classifier. After classification, a position of the stop line is estimated based on the prior information. Refinements of the detection results are progressed in the post-processing step. The proposed method improves the detection results using a tracking scheme and multi-frame approval method. Since movements of the road markings are approximated as a linear, the Kalman filter is used to track the detected road markings. Unstable detection result is pruned through the multi-frame approval method. We test the proposed method in various environments. The result of experiment shows that the proposed method is robust against various environments. Moreover, it achieved both low computational cost and high detection rate.; Various objects detecting method has been researched by using vision recognition technology. Driving Assistant System (DAS) which assists driver is developed for reducing car accidents by using these detecting methods. Lane, vehicle, and pedestrian are typical targets of DAS for preventing car accidents. Not only lane, vehicle, or pedestrian, also the crosswalk and road marking can be used for reducing car accidents since these have much information for safety driving. Therefore the detecting method of the crosswalk and road marking is required. Since the crosswalk and road making are painted on the road surface, the crosswalk and road marking detection is hard by using sonar sensors or laser sensors. Therefore we propose the detecting method of the crosswalk and road marking by vision-based recognition technology. For many years, various crosswalk and road marking detection methods have been developed. Most conventional methods were developed to detect a standard size of the crosswalk. The standard crosswalk is defined as white stripes with fixed width and fixed offset between stripes. By using the standard definition of the crosswalk, variations of the crosswalk cannot be handled. Other methods for detecting the crosswalk utilize a rectangle detection scheme or bipolarity property of the crosswalk. The problem of these methods is a high computational cost. This thesis proposes a crosswalk and road marking detection method with low computational cost. The proposed method consists of four steps