Faster R-CNN 및 CycleGAN을 활용한 점자 블록 검출 및 복원에 대한 연구

Abstract

Recently, Artificial intelligence is studied to solve problems in various fields. Especially, such as voice recognition services and text reading have been extensively studied for persons who are visually impaired. It is true that all of these works help persons who are visually impaired, but a few problems remain. One of the problems that visually impaired people experience is when braille blocks which installed on the sidewalk are damaged, so they cannot obtain accurate information. Without accurate information, visually impaired people are not safe on the sidewalk. This paper introduces a method to restore damaged braille block using Faster R-CNN which is one of object detection models and Generator model of CycleGAN. First, we gathered images datasets which containing the type of braille block and whether it has been damaged. In addition, preprocessing was performed to exclude images in which the type of braille block was incorrectly judged, or which was not clear enough for humans to distinguish. After this process, an object detection model is selected to detect the location and type of the braille block in the image. We compared the performances of object detection models Faster R-CNN, YOLOv7, and Swin transformer in their initial state to detect braille blocks. We selected Faster R-CNN which showed high performance in detecting braille blocks. In this study, we optimize hyperparameters to improve the performance of the selected Faster R-CNN and propose an image augmentation method that improves the problem caused by the imbalance in the number of images for each class. In addition, we propose a method to restore damaged braille block images which are detected by Faster R-CNN using CycleGAN. And the Braille block image restored by CyecleGAN is detected again by Faster R-CNN. The success of restoration is quantitatively evaluated by comparing the matching rate between the predicted coordinates of the bounding box of the braille block before restoration and the coordinates of the bounding box after restoration.|최근 인공 지능은 다양한 분야의 문제를 해결하기 위해 연구된다. 특히, 음성 인식 서비스, 텍스트 낭독 등 시각 장애인이 겪는 문제점을 해결하기 위한 연구도 꾸준히 진행되고 있다. 이러한 기술이 시각 장애인의 생활 개선에 도움을 주었지만 보행 활동에 대한 불편함은 여전히 남아있다. 시각 장애인이 보행 활동 시 겪는 불편함 중 한 가지는 보도에 설치된 점자 블록이 훼손되어 정확한 주변 정보를 얻지 못하는 경우다. 점자 블록을 통해 주변 정보를 확인하지 못하면 시각 장애인의 안전에 큰 위협이 될 수 있다. 본 연구에서는 객체 검출 모델 중 하나인 Faster R-CNN을 통해 이미지에서 점자 블록의 위치와 이상 여부를 확인하고, CycleGAN의 generator 모델로 Faster R-CNN에 검출한 점자 블록 중 훼손된 점자 블록을 정상적인 점자 블록 이미지로 복원하는 방식을 제안한다. 먼저, 점자 블록이 설치된 주변 환경을 촬영하고 점자 블록의 유형과 훼손 여부를 확인할 수 있는 이미지 데이터를 수집하였다. 그리고 수집된 데이터 중, 점자 블록의 유형 판별이 잘못되거나, 구분이 어려운 이미지를 제외하는 전처리 작업을 진행하였다. 정제된 데이터를 기반으로 이미지에서 점자 블록의 위치와 이상 여부를 판별하기 위한 객체 검출 모델을 선정한다. 다양한 방법론으로 개발된 객체 검출 모델들의 초기 성능을 평가하였고, 점자 블록 검출에 높은 성능을 보인 Faster R-CNN을 객체 검출 모델로 선정하였다. 선정된 모델의 성능을 개선하기 위해 hyper parameter 최적화 및 class 불균형 개선 방법을 제안한다. 그리고 CycleGAN을 활용하여 Faster R-CNN에서 검출한 훼손된 점자 블록 이미지를 일반 점자 블록으로 복원하는 방법을 제안한다. 그리고 CyecleGAN으로 복원된 점자 블록 이미지를 다시 Faster R-CNN으로 검출하여, 복원 전 점자 블록의 bounding box 예측 좌표와 복원 후의 bounding box좌표의 일치율을 비교하는 방법으로 복원 성공 여부를 정량적으로 평가한다.