Fine Mask R-CNN for diagnostic aid of wrist X-ray images

Abstract

딥 러닝 기반의 의료 영상 세그멘테이션 알고리즘들이 심혈관 질환과 폐렴 등 질병의 진단과 처치를 위해 성공적으로 사용되고 있다. 하지만, 대부분 연구된 손목 엑스레이 이미지에 대한 세그멘테이션은 딥 러닝 알고리즘이 아닌 전통적인 기법이 사용되었다. 본 논문에서는 관심 영역을 검출하고 진단 보조 CNNs 모델로 이루어진 두 단계의 딥 러닝 기반의 진단 보조 프레임워크인 Fine Mask R-CNN을 소개한다. 이는 Mask R-CNN을 기반으로 구현되었으며, 손과 손목뼈의 세그멘테이션과 손목 골절 분류를 위한 확장된 관심 영역 가지를 가진다.

뼈 나이의 측정, 손목 뼈 골절 분류 그리고 류마티스 관절염의 진단 등을 위해 손과 손목뼈의 세그멘테이션은 활발하게 사용되고 있다. 하지만 앞서 언급된 필요성에도 불구하고, 뼈 세그멘테이션에 대한 연구는 비교적 많이 이루어지지 않았는데, 이는 뼈 세그멘테이션이 불규칙한 뼈의 모양, 뼈와 주변 조직들 사이의 낮은 대비감 그리고 뼈들 사이의 매우 인접한 거리와 같은 몇몇의 어려운 조건들에서 행해져야 하기 때문이다. 가장 어려운 조건은 서로 겹쳐 있는 뼈들이다. 특히, 환자들이 나이가 듬에 따라 대능형골과 소능형골이 나타나고 적당한 크기로 자라며 결국 7살 이상의 남자아이와 5살 이상의 여자아이에게서 혼합되어 보인다. 따라서, 각 뼈에 해당하는 영역에서 그들을 세그멘테이션하는 딥러닝 기반의 방법론을 제안한다. 제안된 알고리즘이 동작하는 뼈는 총 10개의 뼈로 손목/전완 영역에 속해있으며 이에는 대능형골, 소능형골, 유두골, 유구골, 주상골, 월상골, 삼각골, 두상골, 원위 요골 그리고 원위 측골이 있다.

손과 손목뼈의 세그멘테이션에 더해 손목 골절의 종류를 분류하는 진단 보조 프레임워크 또한 제안된다. 특히 응급실에서 정형외과가 아닌 의사가 손목 골절을 판단하는 경우가 많으며 이로 인해 골절의 잘못된 판단이 자주 일어난다. 제안된 손목 골절 분류 시스템을 사용하여 손목 X-ray 이미지에서 원위 요골과 경상 돌기의 골절을 찾을 수 있으며, 이는 위의 상황에서 정형외과가 아닌 의사를 보조하는 역할을 할 수 있을 것이다.; Deep learning-based algorithms for the segmentation of medical images have been successfully used to assist diagnosis and treatment, such as assessing cardiovascular diseases on cardiac CT and detecting pneumonia on chest X-ray, etc. However, most cases of wrist X-ray segmentation have been studied by traditional algorithms rather than deep learning-based. In this thesis, the deep learning-based diagnostic aid framework, Fine Mask R-CNN, is introduced, which is a two-stage algorithm consisting of a region of interest (ROI) detection and diagnostic aid convolutional neural networks (CNNs) model. Fine Mask R-CNN is based on Mask R-CNN, a state-of-the-art instance segmentation network, and has an extended ROI head that performs hand-wrist bone segmentation and wrist fracture classification.

The hand-wrist bone segmentation is widely used for a bone age assessment, wrist fracture classification, and rheumatoid arthritis diagnosis as a prerequisite phase. Despite the previously described necessities, not much research has been done on hand-wrist bone segmentation. This is due to the following challenging factors: (1) their irregular shapes; (2) the low contrast between the bones and soft tissue; (3) an adjacent positions of them. The main difficulty is the overlapping bones. Especially, as the patients get older, the trapezoid and trapezium appear and grow in optimal size, and the fusion of them is finally observed after seven years for males and five years for females. Therefore, a deep learning-based method that delineates bones from each region of interest is proposed. The proposed algorithm targets to segment all eight carpal bones and two forearm, i.e., trapezium, trapezoid, capitate, hamate, scaphoid, lunate, triquetrum, pisiform, distal radius, and distal ulna [carpal/forearm region of interest (CFROI)].

In addition to a hand-wrist bone segmentation, the proposed diagnostic aid framework can detect the fracture of wrist bones. Especially, in emergency rooms, often non-orthopedic surgeons diagnose wrist bone fractures, and they occasionally miss some fractures. With this proposed system, distal radius fracture and ulnar styloid process fracture are detected on the wrist radiographs to aid them.