휴대폰 카메라의 Rolling shutter distortion 를 수정한 새로운 손떨림 방지 알고리즘

Abstract

본 논문에서는 손 떨림 방지 기술과 함께 롤링 셔터 왜곡을 제거하였으며 낮은 성능의 휴대폰 카메라의 환경을 고려하여 Frame memory사용량과 Computational complexity를 줄인 Low-Cost 롤링 셔터 왜곡을 고려한 손 떨림 방지 알고리즘을 제안하였다. 손 떨림이 발생할 경우 휴대폰 카메라의 CMOS Image Sensor(CIS) Shuttering방식의 특성으로 인해 흔들림과 동시에 롤링 셔터 왜곡이 발생한다. 하지만 기존의 손 떨림 방지 알고리즘은 높은 성능을 요구하는 디지털 카메라 기반으로 제안되었으며 롤링 셔터 왜곡을 고려하지 않았다. 본 논문에서 제안하는 손 떨림 방지 알고리즘은 휴대폰 카메라 환경을 고려하여 Low-Cost로 제안되었으며 롤링 셔터 왜곡을 제거하였다. Low-Cost환경에서 롤링 셔터 왜곡을 효율적으로 제거하기 위하여 사용자 화면의 해상도의 사진2장으로 모션 벡터를 계산하고 최종적인 결과물에 롤링 셔터 왜곡을 수정하는 새로운 사진 촬영 알고리즘을 제안하였다. 그 결과 Frame memory 사용량을 기존의 알고리즘보다 약 121배 줄일 수 있었다. 모션 벡터를 추정하는 방법도 Low-Cost환경에 적합하도록 개선하여 모션 벡터 추정의 범위를 사진 전체로 사용하는Full Search 알고리즘이 아닌 4개의 특정 범위를 사용하는 Local Search 알고리즘을 사용하고 발생할 수 있는 정확도의 오차를 줄이기 위하여 범위의 크기를 4단계로 구분하여 사용하는 방법을 제안하였다. 롤링 셔터 왜곡을 제거 하는 이미지 보정 방법으로 3 x 3 매트릭스를 통한 Image Warping방법을 사용하였다. 실험적인 결과를 통해 제안하는 알고리즘이 휴대폰에 환경에서 롤링 셔터 왜곡을 가진 사진의 왜곡을 효율적으로 제거하는 결과를 확인 하였다.