Residual Bi-directional Feature Pyramid Network for Medical Image Segmentation Considering Multi-task Imbalance

Abstract

의료 영상 분할은 다양한 의료 진단 시스템에서 중요한 역할을 차지하는 기술이다. 의료 영상에는 현미경, 피부 경 검사, X- 레이, 초음파, 컴퓨터 단층 촬영 (CT), 자기 공명 영상 (MRI) 및 양전자 방출 단층 촬영과 같이 다양한 포맷이 포함된다. 다중 작업 의미적 분할 네트워크는 다중 레이블 (병변 및 해부학 적 영역 레이블)을 동시에 사용하여 분할 / 검출 정확도를 향상시키는 데 널리 사용된다. 그러나 크기가 매우 다른 여러 영역을 동시에 분할하는 다중 작업 학습은 데이터 불균형 문제를 다루기가 어렵다. 한편, 의료 분야에서는 임상 전문가에 의해 만들어진 병변의 위치가 표시된 정답 레이블을 수집하는 것이 어려운 작업이다. 반면, 신체의 일부 (장기, 조직의 영역 등)를 마스킹한 해부학적 영역 정답 레이블은 상대적으로 쉽게 구할 수 있다. 본 논문에서는 의료영상에서의 다중작업 의미적 분할 문제를 해결하기 위한 효율적인 목적함수와 잔차 양방향 특징 피라미드 네트워크 구조를 제안하였다. 이를 위해 잔차연결을 가지면서 다중 크기 양방향 특징 피라미드 네트워크 구조를 반영한 신경망 계층과 다중 작업 출력을 가지는 신경망 계층이 동시에 학습되는 구조를 채용하였다. 공개 의료영상 데이터인 JSRT 데이터 세트에서 제안된 방식의 성능 개선을 측정하였다. 실험 결과에서 제안된 균형 작업 목적함수를 사용하였을 때 기존방법에 비해18.6%의 성능 개선을 보였고, 잔차 양방향 특징 피라미드 네트워크를 사용하였을 때 8.6%의 성능 개선을 보였다. 이는 제안된 방식이 구하기 어려운 병변레이블이 제한된 의료 영상 분석 환경에서, 효과적인 성능개선 방법으로 사용될 수 있음을 시사한다.; Medical image segmentation plays a crucial role in computer-aided diagnosis systems as it automatically extracts the regions of interest, such as organs, tissues, and lesions. Even though multi-task semantic segmentation networks are widely used to improve segmentation/detection accuracy, multi-task learning to segment multiple areas of vastly different sizes is tremendously difficult. Besides, collecting ground-truth lesion labels of clinical experts is a challenging task, while the anatomical region labels are easily available. In this dissertation, we tackle the problem of multi-task semantic segmentation on medical images with effective loss function for multi-scale label and Bi-directional Feature Pyramid Network (Bi-FPN) for multi-scale input and output. With this formulation, multi-scale Bi-FPN layers and multi-task output layers are coupled and can be jointly solved through end-to-end manner. The proposed method applies a Bi-FPN structure to effectively handle multi-scale. To build a deeper network, Bi-FPN is configured as a module, and 8 blocks with multi-task branch are stacked. To address the vanishing gradient problem occurring in this structure, residual connections are used between blocks. In addition, a task balanced loss function to combine advantages of Dice coefficient (DICE) and Cross Entropy (CE) loss is used to solve the task imbalance problem. We evaluate the effectiveness of our approach on public medical image datasets, and the experimental results demonstrate that our approach achieves substantial improvement for lung nodule detection. The F1-score improvement of the two proposed methods that utilize task balanced loss function and residual Bi-FPN is shown to be 0.186 and 0.086, respectively, compared to the existing methods.