Prediction of Vehicle Hazards for Autonomous Driving based on the Deep Learning Computer Vision

Abstract

최근 자율주행 기술이 화두가 되어오고 있는 상황이다. 이러한 자율주행 기술은 많은 사람들의 기대를 불러 일으켰다. 그래서 많은 자동차 회사들은 이러한 자율주행 기술에 대한 많은 분석과 연구를 해왔다. 많은 자동차 회사들은 ADAS (Advanced driver-assistance system)를 자율주행 기술이 완성되기전까지 차량에 적용하는 것을 제안했다. 그 이유는 자동차 회사들은 자율주행 기술 없이는 완벽하게 안전한 환경을 보장할 수 없었기 때문이다. ADAS는 자동차 주행의 보조기능과 주차기능 등을 도와주는 전자 시스템이다. 안전한 HMI (Human Machine Interface) 통해서, 차량의 ADAS 기술과 안전도 증가시키는 것. ADAS 시스템은 근처 물체들을 인식하는 센서들 또는 센서드라이버의 오류와 그에 따른 응답을 해주는 자동화 시스템이다. 그러나 ADAS 기술은 하드웨어 차량 주행 센서 등에 의존하는 문제를 가지고 있다. ADAS 하드웨어 센서는 인식 범위가 먼 거리를 지원하지 않기 때문에 적용 범위 이슈가 있다. ADAS 기술은 자동차 안전 시스템의 모든 부분을 완전하게 보장하지 않는 것을 의미한다. 그리고 아직도 안전주행 관련해서 사람의 의사결정을 필요로 한다. 이러한 이유로, 주변 차량의 비정상 주행의 의해서 여전히 많은 자동차 사고가 발생하고 있다. 이러한 비정상 주행의 원인으로는 다양한 원인들이 있을 수 있다. (음주운전, 방심운전, 폰 사용하는 운전 등). 그러므로, 컴퓨터 비전 기술이 적용되어야 한다고 제안한다. 그리고 컴퓨터 비전 기술이 전보다 많이 발전했다. 최근에는 기계학습과 딥 러닝 컴퓨터 비전과 같은 AI(Artificial Intelligent) 기술의 급격한 발전을 했고, 그 중에 컴퓨터 비전 기술은 자동차 안전 주행의 도움이 되는 솔루션이라고 생각한다. 그러므로, 컴퓨터 비전 AI 기술과 차량의 안전주행에 관련된 시나리오를 고려하여 SDBF (Scenario Data Base Framework) 통합 솔루션을 제안한다 첫번째로 사물 인식(차량인식, 차선인식 등)을 위한 컴퓨터 비전 AI 기술 인 Mask-RCNN 과 ResNet(101)을 제안하고, 그 결과 좋은 성능을 얻었다. 두번째는 차량 시나리오를 고려한 실험을 하기 위한 SDBF 솔루션을 제안한다. 더 효과적인 실험을 위해, 다양한 시나리오별(정상, 비정상 운행) 실제로 차량 영상을 촬영하고 (블랙박스를 이용하여), 그 결과 이러한 경우의 자동차 주행 패턴을 발견할 수 있었다. 그 촬영된 영상의 Data Set의 이미지들은 AI 학습과 예측에 활용되었다. 시나리오 별 3가지 레벨(정상, 경고, 위험)의 결과를 얻을 수 있도록 구현을 하였고, 실험 결과 사물인식 및 SDBF 적용 정확도 87.81 % 정확도를 가졌다. 해당 논문의 솔루션(Mask-RCNN, ResNet(101), SDBF)을 이용한 실험에 따라서, 주변 차량의 비정상적 위험도를 예측 가능한 가능성을 확인하는 계기가 되었다.; Recently the autonomous driving technology has been a red-hot issue. this issue was on the rise as expectation of many people. Thus, many vehicles company has been investigation and analysis regarding to this issue. They suggested that the ADAS Technology apply on the vehicle until autonomous driving technology is completed. Because they could not perfect guaranteed safety environment without the autonomous driving technology. The ADAS (Advanced driver-assistance systems) are electronic systems that assist drivers in driving and parking functions. Through a safe human-machine interface, ADAS increase car and road safety. ADAS systems use automated technology, such as sensors to detect nearby obstacles or sensor driver errors and respond accordingly. However, the ADAS technology has a problem that is depend on the hardware such as vehicle driving sensors. the hardware sensor has a range issue because the range of the sensing is not provided long distance. It means that the ADAS technology is not fully covered for the safety system on the vehicle. And It still needs the decision ability of the person for the safety driving. For the reason, there are still many traffic accidents by abnormal driving of the near vehicle. The root cause of the abnormal driving might be various reasons such as (drunk driving, drowsy driving, a phone using on driving so on).

Therefore, the Computer Vision technology should be applied in the vehicle and improved more than before for the Computer Vision technology. Recently, AI (Artificial Intelligent) technology has been rising such as Machine Learning, Deep Learning. the Computer vision with AI technology will be helpful solution for the safety driving on the vehicle. The author suggests that the Computer Vision with AI technology and integration with SDBF (Scenarios Data Base Framework) solution regarding for various scenarios of driving. For the First, the author used Mask-RCNN with ResNet (101) Of the Computer Vision with AI for objects detections (with lane). the result was good performance. For the Second, the author performed the experiment regarding this solution (SDBF). In order to the effective experiment, the author obtained that real driving of video by camera on the vehicle (as known as Black-Box) for the scenarios of the abnormal driving. At the result, it could be found the pattern driving motions for this case. It was using video images of the dataset for the learning and prediction. At the result, the implementation could be obtained good performance and accuracy for the scenarios such as 3 Levels (normal, warning, dangerous driving). It means that the vehicle hazard of prediction system based on the Deep Learning Computer Vision for the Autonomous Driving. According to the experiment by this solution, it could verify the possibility of prevention for the vehicle hazard by the abnormal driving of the near vehicles.