Edge-Preserving Image Interpolation Method for Super Resolution Conversion

Abstract

Deinterlacing and interpolation are widely used in TV, smartphones, monitors and in medical image processing. Deinterlacing and interpolation are very much similar. Deinterlacing is an interpolation of rows in a frame, whereas interpolation upscales a frame by required factor. Interlaced videos are a series of frames with asynchronous odd and even fields, therefore, they produce artifacts for cases of objects moving fast. To overcome the artifacts produced by interlacing, deinterlacing is used. Interpolation, on the other hand, aims to upscale the videos that are either classical or captured using a low quality camera in order to display them on devices with higher resolution. Deinterlacing helps in reducing the bandwidth of the transmission medium to half. Deinterlacing, which converts an interlaced video into a progressive video, is a problem in image interpolation that doubles the number of vertical lines. The objective of deinterlacing is to provide artifact free upscaling with real-time processing efficiency. Recently proposed conventional methods can be categorized into linear methods and complex methods. Linear methods such as averaging. Or any other linear algorithm, achieves time-efficient deinterlacing, but produces artifacts along edges. Human eyes are sensitive to edges, therefore, artifacts along edges are easily perceived. Therefore, linear methods are not the solution of this problem. However, applying complex methods tends to reduce unwanted artifacts, but at the cost of high computation time. Therefore, complex method are not suitable to achieve the objective of real-time processing. Interpolation, on the other hand can also help in reducing the bandwidth of medium and enhancing poor resolution frame to a high resolution frame. The objective of interpolation is to provide artifact free upscaling. Similar to deinterlacing, linear interpolation methods produce blurring, jogging and other artifacts, whereas, nonlinear complex methods provide better quality. However, complex methods sometimes fail to fail to preserve specific edge patterns or result in over-smoothing of the edges due to particular assumptions, the usage of predefined information for interpolation, or a post-processing step for edge refinement. This thesis discusses two proposed methods for interpolation and deinterlacing. One method is based on an algorithm called “Edge Slope Tracing (EST)” that predicts the slope on the basis of the information of slope of adjacent pixel. Predicted slopes are used in slope-based line averaging to perform interpolation. Slope-based line averaging is followed by post-processing of an interpolated image on the basis of correlation with line averaging to avoid production of unwanted artifacts at the cost of low complexity. The proposed algorithm is very simple and simulation results compared to conventional state-of-the-art interpolation and deinterlacing algorithms and that it also reduces complexity to a great extent compared to conventional methods. The proposed EST based method perform similar or better interpolation and deinterlacing when compared to conventional state-of-the-art methods and provide real-time processing efficiency. Another method is an advanced complex method that provides artifact free image upscaling and outperform conventional state-of-the-art interpolation and deinterlacing methods. This proposed method named “Direction Gradient based Edge Interpolation (DGEI)” is an edge directed image interpolation method that uses gradient correlation to achieve state of the art performance. The proposed method efficiently uses hysteresis thresholding to generate an edge map of a given image, and then classifies it into obvious-edge and transitional-edge regions. Both of these maps are interpolated to obtain their high-resolution version. Directions for unknown edge pixels are predicted using the positions of neighboring edge pixels and gradient correlations. Both edge pixels and neighboring transitional pixels are interpolated along these directions by using calculated coefficients. The proposed method interpolates smooth regions using line averaging to control the complexity of the algorithm. However, the algorithm applies gradient correlation based interpolation to the edges and transitional regions to ensure efficient preservation of the sensitive regions. The proposed DGEI method outperform all conventional state-of-the-art interpolation and deinterlacing methods in aspect of the preservation of edges and other details and provide reasonable processing time efficiency when used for interpolation.; 디인터레이싱과 인터폴레이션(보간법)은 TV, 스마트폰, 모니터와 의료 영상 처리에 널리 쓰인다. 디인터레이싱과 인터폴레이션은 굉장히 유사하다. 디인터레이싱은 한 프레임에 있는 줄들의 인터폴레이션이고 인터폴레이션은 요인에 의해 프레임을 업스케일링시킨다. 인터레이스된 영상은 비동기적인 홀수와 짝수의 필드로 이루어진 프레임의 연속이다, 그러므로 대상이 빠르게 움직이는 경우에 노이즈가 발생한다. 인터폴레이싱으로 발생한 이 노이즈를 극복하기 위해서 디인터레이싱이 사용된다. 반면에 인터폴레이션은 클래식한 영상들이나 화질이 낮은 카메라를 이용해 찍은 영상들을 더 높은 해상도의 기기에서 재생하기 위해 업스케일링시키는 것을 목표로 한다. 디인터레싱은 매질의 대역폭을 반으로 줄이는데 도움을 준다. 인터레이스된 영상을 프로그레시브 영상으로 바꿔주는 디인터레이싱은 화상의 세로줄의 숫자를 두배로 하는 문제가 있다. 디인터레이싱의 목적은 실시간 처리의 효율로 노이즈 없는 업스케일링을 제공하는데 있다. 최근에 제시된 일반적인 방법은 선형법과 복합법으로 나눌 수 있다. 에버리징 같은 선형 방법이나 또는 다른 선형 알고리즘은 시간적으로 효율적인 디인터레이싱을 해내지만 에지를 따라 노이즈를 발생시킨다. 사람의 눈은 에지에 민감하다, 때문에 에지를 따라 발생한 노이즈는 쉽게 보인다. 그러므로 선형법은 이 문제의 해결책은 아니다. 복합법을 적용하면 원치 않는 노이즈를 줄일 수는 있으나 긴 연산시간이 필요하다. 따라서 복합법은 실시간 처리에 적합한 방법은 아니다. 반면에 인터폴레이션 또한 매질의 대역폭을 줄이는데 도움을 줄 수 있고 저해상도 프레임을 고해상도로 향상시킬 수 있다. 인터폴레이션의 목표는 노이즈 없는 업스케일링을 제공하는 것이다. 디인터레이싱과 비슷하게. 선형 인터폴레이션 방법은 번짐, 조깅과 같은 다른 노이즈를 발생시키는 반면에 비선형 복합법은 더 나은 품질을 제공한다. 하지만 복합법은 특정한 모서리 패턴을 보존하는 것에 실패하거나 특정 가정, 인터폴레이션을 위한 내장정보 또는 에지 보정을 위한 처리의 전 단계 때문에 너무 과하게 에지를 다듬는 결과를 가지고 온다. 이 이론은 인터폴레이션과 디인터레이싱을 위해 제시된 두가지 방법에 대해 다룬다. 한가지 방법은 “에지 각 추적”(ETS)인데 근처 픽셀의 각의 정보를 토대로 각을 예측하는 방법이다. 예측된 각들은 각기반 선 에버리징에 쓰여서 인터폴레이션을 수행한다. 각에 기초한 선 에버리징은 인터폴레이트된 화상의 전처리 후에 오는데 이 화상은 낮은 복합성으로 원하지 않는 노이즈의 생산을 막기 위한 선 에버리징의 연관성을 기초로 한다. 제시된 알고리즘은 굉장히 단순하고 기존의 최신예 인터폴레이션과 디인터레이싱 알고리즘과 비교한 시뮬레이션 결과에 비교했을 때 복합성의 정도가 큰 폭으로 줄어든다. 제시된 EST 기반의 방법은 기존의 최신의 방법과 비교했을 때 더 낫거나 비슷한 결과를 내고 실시간 처리효율을 보인다. 또 다른 방법은 개선된 복합 방법으로 노이즈 없는 업스케일링을 제공하면서 기존의 최신예 인터폴레이션과 디인터레이싱 방법을 능가하는 방법이다. 제시된 방법의 이름은 “방향 경사 에지 인터폴레이션”(DGEI)은 에지로 유도된 화상 인터폴레이션 방법으로 경사 연관성을 이용해 최첨단의 성능을 낸다. 제시된 방법은 자기 이력 임계를 이용해 제시된 화상의 에지 지도를 만들고 뚜렷한 부분과 변화 가능한 부분으로 나눈다. 이 두 지도 모두 고해상도 버전을 얻기 위해 인터폴레이트 된다. 알려지지 않은 에지 픽셀의 방향의 경우 인접하는 에지 픽셀의 위치와 경사 연관성을 이용하여 예상한다. 두 에지 픽셀과 인접하는 변화 가능한 픽셀들은 계산된 계수들을 이용해 이 방향들로 인터폴레이트된다. 제시된 방법은 부드러운 부분은 선 에버리징을 이용해 알고리즘의 복합성을 조절하여 인터폴레이트한다. 하지만 이 알고리즘은 경사 연관성을 기반으로 하는 인터폴레이션을 에지와 변화 가능한 부분에 적용시켜 민감한 부분의 효율적인 보존을 확실히 하기 위해 적용한다. 제시된 DGEI 방법은 모든 최신예 인터폴레이션 디인터레이싱 방법을 에지 보존과 다른 세부사항면에서 앞서고 인터폴레이션을 사용할 때 이상적인 처리시간효율성을 제공한다.