Efficient Real-Time Distracted Driver Detection Based On Deep Learning

Abstract

Driver plays a crucial role in road safety. With the rapid increase of the number of vehicle users the consequence of traffic accidents due to distracted driver, is a major threat around the world. Thus, it is essential to detect distracted driver activities to provide a real-time warning system to reduce the severity of traffic accidents. Most existing works in distracted driver detection are limited in size and a complex algorithm was applied, which can be computationally intensive. In this thesis study, we proposed a computationally efficient frame work that comprises a generative adversarial network (GAN) and convolutional neural network (CNN) models for real time distracted driver detection during the daytime and nighttime conditions. A real vehicle was utilized to collect the data from 29 participants, and nine common distracted driver activities such as driving, drinking, smoking, adjusting the navigation system, texting, engaging with the passenger, looking outside, sleeping and fainting are collected and labeled in to three major class as safe driving, manual distraction, and visual distraction. The proposed system is composed of two consecutive steps. First, the adversarial GAN model was trained to generate fake driver activity images to maximize the training datasets. Then, the generated fake data samples and the original data samples are used as input to the classifier CNN network. To facilitate faster training, a pretrained CNN was adopted that can learn and extract the primary spatial features of the input image and determine the final driver state. The proposed model achieved accuracies of 89.1% and 93.4% for the daytime and nighttime datasets, respectively. According to the result obtained, the GAN network delivers a significant improvement in the overall classification accuracy. Finally, the designed network is deployed on Jetson Xavier embedded board for real-time assessment, and we verified the effectiveness of our frame work. |운전 중 부주의로 인한 교통사고 발생률이 빠르게 증가하고 있기 때문에, 운전자가 도로에서 안전한 주행을 하는 것은 중요하다. 따라서 부주의한 운전 자 활동을 감지하고 실시간 경고를 전달함으로써 교통사고의 발생률을 줄이는 것이 필수적이다. 대부분의 기존 연구에 사용되었던 운전자 동작 이미지 데이 터는 양이 적고 복잡한 알고리즘이 적용되었다. 본 논문 연구에서, 주간 및 야 간 조건 모두에서 실시간 운전자 부주의 활동 감지를 위한 Generative adversarial network (GAN)와 Convolutional Neural Network (CNN) 프레임워크로 구 성된 계산 효율적인 새로운 프레임워크를 제안했다. 실제 차량은 29명의 참가 자의 데이터를 수집하기 위해 활용되었으며 운전,음주,흡연,내비게이션 조정,문 자 보내기,승객과 교감하기,외부 보기,수면,실신 등9가지 공통 운전자 활동 데 이터를 수집해 안전운전, 수동 부주의, 시각적인 부주의 등 3개의 등급으로 분 류했다. 제안된 시스템은 두 단계로 구성된다. 첫째, 적대적 GAN 모델은 훈련 데이터셋을 증강하기 위해 가짜 드라이버 활동 이미지를 생성하도록 훈련되었 다. 그런 다음 생성된 가짜 데이터 샘플과 원본 데이터 샘플이 분류기 CNN 네트워크에 대한 입력으로 사용된다. 더 빠른 훈련을 용이하게 하기 위해, 운 전자 입력 이미지의 중요한 공간적 특징을 학습 및 추출하고 최종 운전자 상 태를 결정할 수 있는 사전 훈련된 CNN이 채택되었다. 제안된 모델은 주간 및 야간 데이터 세트에 대해 각각 89.1%와 93.4%의 정확도를 달성했다. 얻어진 결과에 따르면, GAN 네트워크는 상당한 분류 정확도 향상을 제공한다.마지막 으로, 설계된 네트워크는 실시간 평가를 위해 Jetson AGX Xavier 임베디드 보드 에 실험되며, 프레임워크의 효과를 검증했다.