도로 노면 종류 판단을 위한 딥 세그멘테이션 뉴럴 네트워크 학습 방법

Abstract

최근 자율주행 기술의 발전에 따라 자율주행 차가 주행 가능한 지역이 넓어지고 있다. 기존의 자율주행은 비교적 주행이 쉬운 고속도로에서만 사용 할 수 있었지만 현재는 일부 도시에서도 사용이 가능하고 이후에는 모든 도로에서 사용 할 수 있을 것이다. 이에 따라 자율주행 차는 고속도로의 아스팔트 도로 뿐만 아니라 유럽 도심지에 주로 존재하는 벨지안로와 같은 벽돌 포장도로 그리고 교외 지역의 자갈길 같은 비포장도로들도 주행하게 된다. 아스팔트도로와는 달리 비포장도로와 벽돌 도로의 경우 표면이 고르지 못하다는 특징을 갖는다. 이러한 환경에서는 차량의 요동이 심하고 특정 비포장도로의 경우 바닥면의 마찰계수가 낮기 때문에 차량의 속도 제어 및 브레이크 사용에 신경 써야 한다. 이처럼 도로의 종류는 주행 방법에 영향을 미치기 때문에 자율주행 차는 도로의 영역과 종류를 미리 판단 할 수 있어야 한다.

기존의 도로 종류를 판단하는 방법들은 카메라를 사용한 방법과 다른 센서를 사용한 방법으로 나누어진다. 다른 센서를 사용한 방법 중 acoustic 센서를 사용한 방법은 차량이 도로를 지나기 전에 도로 종류를 판단하지 못하고 라이다 센서를 사용한 방법은 센서의 비용이 비싸다는 단점이 있다. 카메라를 사용한 방법은 전통적인 특징 추출 방식과 딥 뉴럴 네트워크를 사용한 방식으로 나누어지는데 전통적인 특징 추출 방식은 도로 영역을 찾지 않고 영역을 가정하여 사용하기 때문에 도로의 경로가 직선이 아닌 곡선일 경우 올바른 도로 정보를 획득 할 수 없다. 또한 딥 뉴럴 네트워크를 사용한 방법은 학습에 쓰인 데이터 셋의 규모가 너무 작기 때문에 실제 시멘틱 세그멘테이션 방법을 도로 종류 판단에 사용할 수 있을지에 대한 가능성을 검증하기 어렵다는 문제점이 존재한다.

이러한 한계를 극복하기 위해 본 논문은 공용 주행 데이터 셋을 사용해 시멘틱 세그멘테이션 모듈을 학습시키는 방법을 제안한다. 대규모의 공용 주행 데이터 셋을 학습과 테스트에 사용하여 오버 피팅을 방지하고 실제 주행 차량에서 사용 가능할만한 성능을 확보하고자 하였다. 차량 및 카메라 설치 위치에 관계없이 일반화된 성능 확보를 위해 데이터 셋이 갖춰야 될 조건을 간단한 실험을 통해 확인하였으며, 해당 조건을 갖춘 공용 데이터를 선택하고 도로 클래스를 도로 종류에 따라 나누어 직접 레이블링 하였다. 또한 획득한 도로 데이터들의 클래스 불균형 문제를 개선하기 위해 추가적인 도로 종류 데이터 확보 및 focal loss와 언더 샘플링을 적용하였다. 실험을 통해 데이터 확보, focal loss, 언더 샘플링의 방법들을 개별적으로 적용했을 때 각각 16.11%, 1.00%, 9.12%의 성능 향상이 있음을 확인하였고 최종적으로 데이터 추가와 언더 샘플링을 중복 적용했을 때의 모델이 PG 테스트 데이터 셋의 아스팔트 도로, 벽돌 도로, 비포장도로에 대해 96.11%, 93.96%, 96.51%의 세그멘테이션 성능을 보였고 종합 테스트 데이터 셋의 클래스들에 대해선 87.62%, 88.62%, 90.37%의 성능을 보여 모든 모델 중 가장 높은 성능을 보였다. 해당 학습 모델의 테스트 데이터들에 대한 prediction 영상을 시각화한 결과 높은 정확도로 도로의 종류를 구분하여 도로 영역을 찾음을 확인하였다.