깊이 추정과 시맨틱 세그멘테이션의 다중 태스크 학습

Abstract

깊이 추정과 의미론적 분할은 자율주행을 구현하기 위한 가장 중요한 기술이다. 자율주행이 실용적이기 위해서는 사람과 같은 시야와 인지 능력이 필요하고, 얻은 정보를 바탕으로 상황을 판단하고 장애물을 피하도록 대처할 수 있어야 한다. 이러한 정보를 제공하는 기술이 깊이 추정과 시맨틱 세그멘테이션이다. 다중 태스크 학습을 위해 깊이 추정과 시맨틱 세그멘테이션을 분석했을 때 결과적으로 객체의 경계를 나타내고 있음을 확인할 수 있었다. 두 태스크를 같이 학습함으로써 공통된 특징에 대해서 강화 할 수 있을 거라고 예측된다. 또한 각 태스크마다 다른 정보를 추출할 수 있기 때문에 서로 정보를 공유하며 상호 보완적인 학습이 가능할 것이라는 기대가 있다. 이 분석에 근거하여 깊이 특징 맵으로부터 객체의 경계를 나타내고 있을 특징들을 샘플링하는 방법을 고안했다. 추가적으로 시맨틱 세그멘테이션 태스크의 성능을 강화하기 위해 다중 스케일 특징 맵을 생성해서 학습했다. 깊이 추정과 시맨틱 세그멘테이션에 대한 다중 태스크 학습의 연구가 활발하게 이루어졌음에도 본 논문만이 갖고 있는 차별화된 특징이 존재한다. 대부분의 논문이 rectilinear image dataset에 대해 연구했지만 본 논문은 omnidirectional fisheye dataset에 대해 연구했다. 왜곡이 있는 fisheye dataset은 일반적인 시맨틱 세그멘테이션 네트워크에 적용하기 어렵고, 학습을 위한 데이터셋이 부족하다는 문제가 있다. 하지만 이를 해결하기 위해 시맨틱 세그멘테이션을 위한 의사 실제 값(Pseudo GT)를 생성하는 방안을 고안했다. 이렇게 생성된 세그멘테이션 의사 실제 값으로 다중 태스크 학습 네트워크를 학습할 수 있었다. 결과적으로 위의 방법들을 사용해 상호 보완적인 학습을 진행하였고 두 가지 태스크 모두에서 준수한 결과를 확인할 수 있었다. 객체의 경계를 다룬다는 공통점으로 깊이 추정에서 객체 내의 잘못 추정된 깊이를 시맨틱 정보를 활용해 복원되었다. 시맨틱 세그멘테이션에서도 단일 태스크로 학습된 다른 네트워크와 비교했을 때 mIoU(Mean Intersection over Union) 71.6%로 좋은 성능을 보여주면서 다중 태스크 학습이 효율적임을 입증했다.|Depth estimation and semantic segmentation are the most important technologies to implement autonomous driving. For autonomous driving to be practical, it needs the same perspective and cognitive ability as humans, and it must be possible to judge the situation and cope with obstacles. The technologies that provide such information are depth estimation and semantic segmentation. When the Depth estimation and semantic segmentation were analyzed for multi-task learning, it was confirmed that the boundary of the object was consequently represented. It is predicted that by learning the two tasks together, it will be possible to reinforce common characteristics. In addition, there is an expectation that each task can extract different information, so it will be possible to share information and to learn complementary to each other. Based on this analysis, a method was devised to sample features that would represent the boundary of an object from the depth feature. We also learn by adding multi-scale features to the network to enhance the performance of semantic segmentation task. Although research on multi-task learning of depth estimation and semantic segmentation has been actively conducted before, there are differences on this paper. While most papers have studied the rectilinear image dataset, this paper is based on the omnidirectional fisheye dataset. Since it is an image dataset with distortion, it is difficult to apply to the general segmentation network, and there is a problem that the dataset is insufficient. But to solve this problem, we devised a method to generate pseudo GT for segmentation. The multi-task learning network could be learned with the segmentation pseudo GT generated by the corresponding method. As a result, complementary learning was conducted using the above methods, and good results were confirmed in both tasks. The wrong depth within the object was restored because both tasks were learned in common that they dealt with the boundaries of the object. Even in Semantic segmentation, we demonstrate that multi-task learning is efficient, showing good performance of mIoU 71.6% compared to other networks learned with single tasks.