CNN-LSTM 모델을 활용한 실시간 운전자 행위 식별 시스템

Abstract

지난 수십 년간 자동차의 이용량이 세계적으로 급격하게 증가하면서, 운전자의 부주의한 행동으로 인해 발생하는 교통사고가 심각한 사회 문제로 대두되고 있다. 따라서 운전자의 행동을 실시간으로 식별하고 운전자의 부주의한 행동에 대해서는 즉각 경고함으로써 교통사고의 발생을 사전에 방지할 필요가 있다. 이 논문에서는 실시간 운전자 행동 식별 시스템을 구축하기 위해서 딥러닝 기반의 CNN-LSTM 모델을 도입할 것을 제안한다. 제안된 모델은 시간 순서에 따른 5장의 운전자 이미지를 입력 받아서 9가지 행위(정상 주행, 음식물 섭취, 잡담, 외부 주시, 흡연, 휴대전화 조작, 장치 조작, 졸음, 기절) 중 하나로 운전자의 행동을 분류한다. CNN-LSTM 모델은 이미지의 형태적 특징을 추출하는 CNN과 시퀀스의 시간적 맥락을 기억하는 LSTM 구조를 결합한 신경망이며, 이미지 시퀀스(동영상)의 공간적, 시간적 특징 정보를 한 번에 효과적으로 학습할 수 있다. 해당 모델을 훈련시키기 위해서 총 31명의 운전자 행동 데이터를 수집했으며, 실제 차량 안에서 사전에 정의된 9가지 행동을 실시하고 그 모든 과정을 RGB 카메라와 적외선 IR 카메라가 동시에 녹화하는 방식으로 이루어졌다. 밝은 주간 환경뿐만 아니라 어두운 야간 환경에서도 항상 운전자의 행동을 식별하기 위해서 RGB 카메라와 적외선 IR 카메라를 모두 사용했으며, 두 카메라 센서는 리어 뷰 미러에 통합 내장되어 차량 내부 전체를 비추도록 거치되었다. 모델 훈련 단계에서는 RGB와 IR 데이터 셋을 모두 사용했으며, 데이터 부족 문제를 해결하고 모델의 일반화 성능을 개선시키기 위해서 전이학습과 데이터 증강 기법 등을 적용했다. 모델 평가 단계에서는 7-겹 교차 검증 방식을 사용했으며, 평가 결과 RGB와 IR 데이터 셋에 대해 각각 88.7%, 92.4% 분류 정확도를 달성했다. 마지막으로는 제안된 모델을 활용하여 실제 차량 환경에서 구축한 실시간 운전자 행위 식별 시스템에 대해 설명하고, 모델의 실시간 추론 성능에 대해서 논의한다.