Automatic License Plate Extraction and Recognition Framework for ITS Security Applications Using Machine Learning

Abstract

자동 번호판 인식(ALPR)은 지능형 교통 시스템(ITS)의 중요한 구성 요소로서 교통 관리, 액세스 제어, 보안 등 여러 ITS 응용 분야에서 번호판을 감지하고 인식한다. 이미지 획득 장치(카메라, CCTV, 블랙박스 등)의 발전은 더 넓은 관측 영역을 사용하여 여러 차량의 이미지를 캡처할 수 있는 고화질(HD) 기술의 유효성을 향상시켰다. 번호판(LP)이 비교적 작은 영역의 이미지를 차지하기 때문에, 대부분의 ALPR 시스템은 고해상도 이미지에서 잘 작동하지 않는다. 또한, ALPR 시스템의 인식 성능은 조명의 변화, 시야각, 스케일/해상도 및 콘트라스트 변경 등과 같은 까다로운 조건에서 크게 영향을 받는다. 번호판 해상도와 같은 요인들에 대한 문자 세분화(CS)의 민감도, 문자의 크기, 폐색된 문자 및 문자 사이의 폭은 문자를 적절히 분리하기 어렵게 만들어 인식의 정확성을 더욱 떨어뜨린다. 이 논문은 법 집행 기관의 조사 기능을 향상시켜 의심스러운 차량을 식별할 수 있도록 자동 번호판 인식(ALPR) 시스템을 연구한다. 제안된 방법은 매우 작은 크기의 번호판에 대한 문제를 해결하기 위하여 두 단계의 접근법을 사용한다. 첫 번째 단계에서는 최적화된 신경망 알고리즘인 Faster R-CNN 을 사용하여 이미지에서 모든 차량을 감지한다. 이 방법은 번호판 영역을 찾기 위하여 영역을 축소한다. 두 번째 단계에서는 자동차 영역의 번호판을 감지하기 위하여 색상 세분화, 형태 및 치수 분석과 같은 영상 처리 기술이 적용된 차량 번호판 영역 감지 모듈을 구현한다. 이 방법은 인식 정확도를 높이고 처리 시간을 단축시킨다. 번호판 인식을 위하여, 세그멘테이션–프리(segmentation-free) 방법은 선형 판별 분석으로 특징을 추출하고, 최근접 중심 분류기(nearest center classifier)를 사용하여 분류하는 적응 부스팅(adaptive boosting ) 기법을 사용한다. 그 다음 의심 차량 및 정보 검색을 위한 데이터베이스와 번호판을 일치시킨다. 시뮬레이션 결과는 제안된 프레임 워크가 조명 변화, 저해상도 이미지, 다른 방향 및 다양한 번호판 크기에서 기존 방식보다 더 향상되었음을 보여준다.; Automatic license plate recognition (ALPR) is a crucial component of the intelligent transportation system (ITS), which detects and recognizes license plates for several ITS applications including traffic management, access control, security, to name a few. Advancements in acquisition devices have increased the availability of high definition (HD) technology, which has the capability of capturing images of multiple vehicles owing to a wider observation area. Most ALPR systems do not perform well on high-resolution images because a license plate (LP) occupies a relatively small area of an image. Also, the recognition performance of ALPR systems is affected greatly in challenging conditions, such as varying illumination, angle of view, scale/resolution, and changing contrast, etc. Furthermore, the sensitivity of character segmentation (CS), to factors like plate resolution, size of characters, occluded characters, and width between characters make it difficult to properly isolate the character, thereby further degrading the accuracy of the recognition. This thesis develops an automatic license plate recognition (ALPR) system, for enhancing the investigating capabilities of law enforcing agencies to monitor suspicious vehicles. The proposed method divides the difficult problem of locating the smaller size license plate into a two-step approach. In the first step, an optimized Faster region-based convolutional neural network algorithm (Faster R-CNN) is used to detect all the vehicles in an image, which scales down area for license plate localization. Whereas, in second step, a licensed plate localization module has been developed, which involves applications of, image processing techniques like color segmentation, morphology, and dimension analysis to detect license plate in the vehicle region. This approach augments accuracy and reduces processing time. For plate recognition, a segmentation-free method uses the adaptive boosting technique with linear discriminant analysis for feature extraction and nearest center classifier for classification. This is followed by matching the plates with database for suspected vehicles and information retrieval. Simulation results show that the proposed framework is more robust to illumination variations, low-resolution images, different orientations, and variable LP sizes than the conventional ones.