Modeling Degradations for Real-World Super-Resolution via Constrained Flows

Abstract

Although this simple synthetic degradation allows us to train SR networks with a large amount of low-resolution (LR) high-resolution (HR) image pairs, they often fail in dealing with real LR images because of domain mismatch. To alleviate this problem, real-world SR dataset (RealSR), including real LR and HR pairs, has been proposed recently. However, acquiring a large number of real datasets, which requires accurate alignment between the LR and corresponding HR images, is very difficult and time-consuming. Therefore, only limited down-scaling factors (e.g., ×2, ×3, ×4) are considered in RealSR. For the first time, we introduce a new approach that can generate RealSR dataset for arbitrary scale factors (e.g., ×2.19, ×3.76) by interpolating the latent variables in the conditional normalizing flows linearly. Moreover, we propose LR-consistency loss to generate more realistic LR images by capturing complex image distortions such as color shifts between the LR and HR pair in real SR datasets (e.g., RealSR). | 간단한 이미지 디그레이데이션 방법으로 대량의 저해상도(LR) 고해상도 (HR) 이미지 쌍으로 SR 네트워크를 학습시킬 수 있지만 도메인 불일치 때문에 실제 LR 이미지를 처리하지 못하는 경우가 많다. 이 문제를 해 결하기 위해 최근 실제 LR 및 HR 쌍을 포함한 실제 SR 데이터 세트 (RealSR)가 제안되었다. 그러나 LR과 해당 HR 이미지 간의 정확한 정 렬이 필요한 많은 실제 데이터 세트를 획득하는 것은 매우 어렵고 시간 이 많이 걸린다. 따라서, 제한된 다운스케일링 팩터 (예를 들어, ×2, ×3, ×4)만 RealSR에서 제공된다. Conditional Normalizing Flows의 잠재 변수(Latent Variable)를 선형으로 보간하여 임의 스케일 인자(예: ×2.19, ×3.76)에 대한 RealSR 데이터 세트를 생성할 수 있는 새로운 접근 방식을 처음으로 소개한다. 또한 실제 SR 데이터 세트(예: RealSR) 에서 LR과 HR 쌍 간의 색상 변이 같은 복잡한 이미지 왜곡을 고려하 여 보다 사실적인 LR 이미지를 생성하기 위해 LR-consistency loss를 제안한다.