Development and Validation of Deep Learning-based Quantification of Coronavirus Disease 2019 Pneumonia on Chest Radiographs

Abstract

Purpose To develop a deep-learning based generative adversarial network (GAN) to quantify COVID-19 pneumonia on chest radiographs automatically.

Materials and Methods This retrospective study included 50,000 consecutive non-COVID-19 chest CTs in 2015–2017 as the training dataset. Simulated chest radiographs were generated by frontal projection of chest CT scans. A priori-developed deep learning-based lung and COVID-19 pneumonia segmentation algorithms were applied to the same chest CT scans. The frontal projections of the predicted lung and pneumonia masks generated simulated lung and pneumonia radiographs. Two GANs were sequentially trained to generate lung images from chest radiographs and to generate pneumonia images from lung images. The GAN-driven pneumonia extent was calculated as (pneumonia area)/(lung area) and expressed from 0% to 100%. Various datasets including COVID-19 patients were used for validation. We examined the correlation of GAN-driven pneumonia extent with the semi-quantitative severity score in a publicly available Italian dataset. We examined the correlation and analyzed the measurement difference between the GAN-driven pneumonia extent on chest radiographs and CT-driven pneumonia extent in four external validation datasets. With three datasets providing outcome information, we examined the predictive power of GAN-driven pneumonia extent for a composite adverse outcome.

Results The GAN-driven pneumonia extent on chest radiographs was closely correlated with the semi-quantitative severity score (0.611) and CT-driven pneumonia extent (0.640). GAN-driven pneumonia extent underestimated pneumonia by 4.8% in average compared to CT. GAN-driven pneumonia extent provided odds ratios of 1.05–1.18 per 7.6% pneumonia extent for the composite adverse outcome in the three datasets, with areas under the receiver operating characteristic curve (AUCs) of 0.614–0.842. When combined with demographic information only and with both demographic and laboratory information, the prediction models yielded AUCs of 0.643–0.841 and 0.688–0.877, respectively.

Conclusion The developed GAN can automatically quantify COVID-19 pneumonia on chest radiographs and identify patients at risk of the composite adverse outcome. |연구의 목적 흉부X선사진에서 코로나바이러스감염증-19 폐렴을 자동으로 정량화하기 위하여 딥러닝 기반의 생성적 적대 신경망을 개발하고자 하였다.

대상 및 방법 본 후향적 연구는 훈련 데이터 세트로 2015–2017년에 촬영된 코로나바이러스감염증-19가 아닌 50,000개의 흉부전산화단층촬영이 포함되었다. 흉부전산화단층촬영 사진을 정면 투사하여 가상의 흉부X선사진을 생성하였다. 이전 연구에서 개발한 흉부전산화단층촬영에서 폐 및 코로나바이러스감염증-19 폐렴을 분할하는 딥러닝 알고리즘을 이용하여 폐 및 폐렴 마스크를 얻은 뒤 정면 투사하여 가상의 폐 및 폐렴 X선사진을 생성하였다. 두 개의 생성적 적대 신경망이 흉부X선사진에서 폐 X선사진을 만들고 폐 X선사진에서 폐렴 X선사진을 만들도록 순차적으로 개발되었다. 생성적 적대 신경망으로 구한 폐렴 범위는 (폐렴 영역)/( 폐 영역)으로 계산하여 백분율로 표기하였다. 개발한 알고리즘 검증에 여러 코로나바이러스감염증-19 환자 데이터세트를 이용했다. 공개적으로 사용가능한 이탈리아 데이터 세트를 이용하여 흉부X선사진에서 폐렴의 중증도 점수와 생성적 적대 신경망으로 구한 폐렴 범위의 피어슨 상관 계수를 구했다. 추가로 네 개의 데이터 세트에서 24시간 이내에 촬영한 흉부전산화단층촬영과 흉부X선사진에서 폐렴 범위의 차이를 분석했다. 예후 정보를 포함한 세 개의 데이터 세트를 이용해 생성적 적대 신경망으로 구한 폐렴 범위가 나쁜 예후를 예측할 수 있는지 평가하였다.

결과 개발된 생성적 적대 신경망으로 흉부X선사진에서 구한 폐렴 범위는 폐렴의 중증도 점수 및 전산화단층촬영에서 폐렴 범위와 높은 상관 계수를 보였다(0.611, 0.640). 생성적 적대 신경망으로 흉부X선사진에서 구한 폐렴 범위는 전산화단층촬영에 비해 평균 4.8% 폐렴을 과소평가하였다. 세 개의 데이터 세트에 적용했을 때 생성적 적대 신경망으로 구한 폐렴 범위는 나쁜 예후에 대하여 폐렴 7.6%당 1.05–1.18의 교차비를 보였고 수신자 조작 특성 곡선 아래 영역은 0.614–0.842 였다. 이에 추가로 인구통계학적 정보만 결합한 예측 모델과 인구통계학적 정보와 혈액학적 정보를 결합한 예측 모델을 만들었을 때 수신자 조작 특성 곡선 아래 영역은 각각 0.643–0.841과 0.688–0.877이었다.

결론 개발된 생성적 적대 신경망은 흉부X선사진에서 코로나바이러스감염증-19 폐렴 범위를 자동으로 정량화할 수 있으며 나쁜 예후의 위험이 있는 환자를 식별할 수 있다.