고주파 증폭 기반의 주파수 스펙트럼 추정을 이용한 초해상도 영상 복원

Abstract

최근 고해상도 영상의 사용 분야가 많아지면서 사용자들은 고해상도 영상을 많이 필요로 한다. 하지만 영상 획득 장치들의 하드웨어적인 문제나 비용 문제, 저장 공간의 문제로 인해 직접적으로 고해상도 영상을 획득하는 대신에 여러 장의 저해상도 영상들을 이용하여 고해상도 영상을 복원하는 기술의 개발이 활발하게 진행되고 있다. 본 논문에서는 단일 영상으로부터 고해상도 영상을 복원하는 방법을 제안한다. 제안하는 방법은 저해상도 영상 획득 과정에 대한 관측 모델을 이용하여 영상을 주파수 영역에서 분석하고 주파수 스펙트럼을 추정하여 고해상도 영상을 복원하는 방법이다. 고해상도 영상 복원 과정은 잡음 제거 단계, 블러 현상 제거 단계, 해상도 향상 단계로 구성되며 각 단계 별로 성능을 향상시키고 계산량을 줄이는 방법을 제안한다. 첫 번째 잡음 제거 단계에서는 개선된 non-local means 알고리즘을 적용하여 영상 내의 잡음을 제거한다. 기존의 잡음 제거 방법들은 복원하려는 화소 근처에 있는 값들을 이용하거나 잡음에 대한 통계적인 특성을 이용하였으나 non-local means 알고리즘은 영상 전체에서 비슷한 부분을 검색하여 복원함으로써 잡음 제거 성능을 높인다. 계산량을 줄이기 위해 ID 맵을 이용한 개선된 방법을 사용한다. 두 번째 블러 현상을 제거하는 단계에서는 블러 현상의 원인을 정확하게 추정하고 복원하는 방법을 이용하여 블러 현상을 제거한다. 촬영 과정에서 발생할 수 있는 선형 모션 블러를 제거하기 위해서는 블러 현상을 유발하는 점 확산 함수에 대한 추정을 하고 반복적인 역 필터링을 통해서 영상을 복원해야 한다. 점 확산 함수의 추정 결과는 복원 성능에 큰 영향을 미치는데 정확하게 추정할수록 좋은 결과를 보인다. 영상 복원 방법은 Richardson-Lucy deconvolution 방법을 사용하는데 정확한 점 확산 함수를 추정하더라도 복원 결과에서는 반복 수행으로 인하여 물결 현상이 발생한다. 반복 횟수가 적으면 물결 현상이 심하게 나타나고 반복 횟수가 많으면 계산량이 증가하고 영상 전체에 가우시안 잡음의 형태가 나타나기 때문에 적절한 수의 반복 수행 이후에 물결 현상을 제거하기 위한 후처리 과정이 필요하다. 본 단계에서는 점 확산 함수의 추정 방법을 제시하고 역 필터링 과정 이후의 처리 방법을 제안한다. 마지막 단계인 해상도 향상 단계에서는 주파수 영역에서의 영상 분석하고 해상도가 다른 영상들 사이의 관계를 정의하여 영상을 복원한다. 입력 영상에 대해 보간법을 이용하여 확대, 축소한 다양한 해상도의 영상들을 주파수 영역으로 변환하고 추정하는 고해상도 영상의 주파수 스펙트럼과 유사한 스펙트럼을 추정하기 위해 다 해상도 영상들의 주파수 스펙트럼을 조합하고 재구성된 스펙트럼을 역변환 하여 최종 결과 영상을 생성한다. 본 단계에서는 해상도가 다른 영상들 사이의 관계성에 대한 분석 결과를 제시하고 고해상도 영상의 주파수 스펙트럼을 추정하여 복원하는 방법을 제안한다. 각 단계별 실험 결과를 살펴보면 다음과 같다. 잡음 제거 단계에서는 잡음 제거 정도가 기존의 방법과 유사하면서도 수행 속도가 기존의 방법에 비해 60% 향상되었다. 블러 현상 제거 단계에서는 추정의 정확성이 향상되어 좋은 복원 결과를 보이며, 후처리 과정을 거친 복원 영상은 정확하게 추정된 점 확산 함수를 이용하여 기존의 방법으로 복원한 결과에 비해 영상의 유사도가 15% 정도 향상되었다. 해상도 향상 단계에서는 제안한 방법의 복원 결과가 쌍입방 보간법의 결과에 비해 영상의 유사도가 25% 정도 향상되었고 다른 초해상도 영상 복원 방법들의 결과와 비슷한 수준의 결과를 보이는 것을 확인하였다.