딥러닝을 이용한 시뮬레이션 드론 열화상 기반 조난자 위치 탐지 기법

Abstract

기존 딥러닝을 활용한 조난자 탐지 시스템은 여전히 정확한 조난자의 위치 파악에는 한계가 있다. 드론이 조난자의 위치를 GPS 정보를 통해 파악하게 되면 실제 조난자의 위치와의 오차가 발생할 수 있다. 이는 드론의 GPS 정보가 반영되는 것이기 때문에, 이를 통해 조난자의 정확한 위치를 파악하는 것은 어려운 일이다. 또한 RGB 카메라 데이터를 활용한 시스템은 시야 확보가 불가능한 복잡한 환경에서 활용이 어려우며 30미터 이상의 중고도에서는 인식율이 떨어지는 문제점이 있다. 이러한 문제로 신속한 대응이 불가능하며, 실시간 탐지 결과 및 조난자에 대한 위치 정보를 구조원이 파악하기 어렵다. 본 연구에서는 드론을 이용한 실시간 조난자 탐지 기법을 시뮬레이션을 통해 환경을 구현하고, 열화상 카메라와 Lidar를 이용하여 기존 시스템에서의 조난자의 위치 오차를 개선하는 방법을 제안한다. 시뮬레이션을 통한 열화상 영상과 딥러닝 기반의 물체 검출 모델, 그리고 로봇 운영 체제(ROS)를 이용하여 실시간으로 조난자의 위치를 계산하고, 그 정보를 지상국 SW로 전달하여 실시간으로 조난자의 위치를 파악하는 시스템을 구현하였다. 이 연구에서 제안하는 시스템은 두 가지 주요 개선을 통해 기존 시스템보다 높은 성능을 보였다. 첫째, 작은 물체 검출능력을 개선하기 위해, 저고도에서 최적화된 기존 물체 검출 모델에 드롭아웃 기법을 적용하였고, 저, 중, 고 고도에서 수집된 다양한 데이터셋을 학습시켰다. 이를 통해 기존의 mAP 0.83에서 0.96까지 향상시켰다. 둘째, 조난자의 위치 정확도를 개선하기 위해, Lidar를 이용한 조난자 위치 탐지 기법을 제안하였다. 드론의 자세 정보, GPS 데이터와 함께 Lidar 데이터를 이용하여 실제 조난자의 위치를 보다 정확하게 계산하였다. 이를 통해, 기존 시스템에서 발생했던 최대 50m까지의 위치 오차를 평균 2-3m로 줄일 수 있었다. 본 연구의 결과는 드론을 활용한 실시간 조난자 탐색 시스템의 효과성을 입증하였다. |Existing deep learning-based search and rescue systems still face limitations in accurately locating distressed individuals. When a drone relies on GPS information to determine the location of a distressed individual, there can be inherent errors between the estimated and actual positions due to GPS inaccuracies. Furthermore, systems utilizing RGB camera data struggle to perform effectively in complex environments where line-of-sight is obstructed, and their recognition rates diminish at altitudes of 30 meters or higher. These limitations hinder swift response and make it challenging for search and rescue personnel to grasp real-time detection results and the precise location of distressed individuals. In this study, we propose a real-time distressed individual detection technique using drones by implementing a simulated environment and enhancing the system's accuracy by incorporating thermal cameras and LiDAR. By utilizing simulated thermal imagery, a deep learning-based object detection model, and the Robot Operating System (ROS), we calculate the real-time position of distressed individuals and transmit this information to the ground control software. The proposed system demonstrated higher performance than existing systems through two main improvements. Firstly, to enhance the detection of small objects, we applied the dropout technique to the optimized object detection model for low-altitude scenarios and trained it with diverse datasets collected at low, medium, and high altitudes. This resulted in an improvement of mean Average Precision (mAP) from 0.83 to 0.96. Secondly, to improve the accuracy of distressed individuals' location, we proposed a LiDAR-based positioning technique. By incorporating LiDAR data with drone's attitude, GPS, and Lidar, we achieved more precise calculation of the actual positions of distressed individuals. This reduced the maximum position error from 50 meters to an average of 2-3 meters. The results of this study validate the effectiveness of a real-time distressed individual search system utilizing drones.