특징 융합 건너 뛰기 연결과 확장 채널 주의를 이용한 영상 복원

Abstract

딥 러닝을 이용한 신호 처리는 현재 모든 영상 처리의 분야에서 주목받고 있다. 그 중 영상 화질 향상과 영상 복원은 자연에서 발생할 수 있는 잡음, 흐름, 빗물, 안개 등의 열화를 제거하기 위한 분야이다. 영상 복원 분야에서는 합성곱 신경망을 이용한 방법이 BM3D 등의 기존 알고리즘보다 높은 성능을 보이며 주로 사용되고 있다. 딥 러닝 네트워크의 성능을 높이기 위해서는 깊은 신경망을 구성해야 한다. 하지만 합성곱만을 이용하여 깊은 신경망을 구성하는 것은 학습 과정에서 많은 오류를 발생시킨다. 이러한 문제를 해결하기 위해 제안된 방법은 활성화 함수, 스킵 연결 등이 존재한다. 활성화 함수는 입력 정보를 비선형 정보로 변환하고, 이를 통해 신경망의 표현성을 향상시킨다. 이러한 비선형 활성화 함수는 ReLu, Sigmoid, GeLu 등의 형태로 계속 발전하고 있지만 연산량이 많다는 단점이 존재한다. 또한 최근의 딥러닝을 이용한 영상 복원 방법은 합성곱 신경망을 활용한 방식과 트랜스포머 방식이 주로 이용되고 있다. 합성곱 신경망은 뛰어난 일반화 성능이 높다는 장점이 있고 트랜스포머는 큰 모델 수용 능력을 가진다는 장점이 있다. 이 두 가지 방식을 이용한 네트워크들은 SOTA 를 달성하기 위한 경쟁을 하고 있다. 본 논문에서는 비선형 활성화 함수를 사용하지 않는 네트워크를 기반으로 네트워크의 복잡성을 줄이고 채널 주의 모듈의 채널 넓은 채널 정보를 효과적으로 사용할 수 있는 확장과 수축 방식을 이용하며, 또한 트랜스포머의 넓은 수용 영역을 사용하기 위해 자기 상관을 이용한 채널 별 가중치를 통해 채널 별 가중치를 개선하여 일반화 성능을 향상시키고 열화 제거 성능을 향상시킨다. 마지막으로 인코더의 정보를 디코더에 전달할 때 불필요한 정보를 - vii - 줄일 수 있도록 채널 주의 블록을 스킵 연결에 사용하여 네트워크가 디코더에 필요한 정보를 추론하여 전달할 수 있도록 유도한다. 제안하는 네트워크는 객관적 평가인 PSNR 과 SSIM 에서 기존 네트워크보다 높은 성능을 보이며, 주관적인 평가에서 객체의 에지, 질감 등의 손상이 적게 방생한다. 또한 YOLO v5 를 이용한 객체 검출 정확도를 통해 다양한 분야에서 전처리 네트워크로써 사용될 수 있는 가능성을 확인한다.