Video-Rate Multispectral Imaging Using Active Illuminations and Its Applications

Abstract

Many computer vision tasks such as scene segmentation and object recognition become considerably easier when it is possible to measure spectral reflectances of scenes. In conventional RGB imaging, however, actual spectral information is mostly gone due to crude approximation of spectral information to only three color channels. This dissertation presents a novel accurate and efficient method for recovering spectral reflectances in scenes that combines a conventional RGB camera with multiple light sources. Full spectral reflectances are recovered using a optimized linear model with a smoothness and nonnegative constraint. For efficiently enforcing the nonnegative constraint of spectral reflectances, a nonnegative PCA basis function is used, and the reconstruction was 8 times faster while maintaining the accuracy. Instead of sequentially activating light sources, an optimal multiplexed illumination is used for video-rate capturing. The multispectral imaging is utilized for color representation, object segmentation/recognition, and discrimination. For object discrimination, this dissertation proposes an optimal illumination that best separates one object from another. Given two objects with distinct spectra, the optimal illumination spectrum is derived to maximize their color distance with a RGB camera. To verify its effectiveness, a new system that consist of LEDs and a plain RGB camera is designed and demonstrated that the multispectral imaging could substantially enhance the performance of various visual applications compared with the conventional RGB imaging. The proposed system captures multispectral images at 30 fps with high signal-to-noise ratio, 30 dB.|영상 분할, 물체 인식 등의 많은 컴퓨터 비전 관련 연구 분야에서 촬영 장면의 반사 스펙트럼을 알고 있으면 보다 쉽게 해결할 수 있는 경우가 많다. 하지만, 일반적인 RGB 기반 영상에서는 실제 스펙트럼 정보를 3채널로 간략화하기 때문에 대부분의 정보를 잃게 된다. 이 논문에서는 일반 RGB 카메라와 다중 광원을 사용해서 장면의 반사 스펙트럼을 정확하고 빠르게 획득하는 방법을 제안한다. 전역 반사 스펙트럼을 계산하기 위해 반사 모델의 선형 결합으로 표현하는 방법을 사용했으며, 실제 반사 스펙트럼의 성질을 고려해서 평탄 조건과 음수가 되지 않도록 고려했다. 반사 스펙트럼을 실시간으로 획득할 수 있도록 하기 위해서 영상 획득과 계산을 모두 최적화 했는데, 우선 조명을 순차적으로 사용하지 않고, 복합적으로 사용해서 고속으로 촬영할 수 있었다. 그리고 모델 기반으로 반사 스펙트럼을 계산하는데 있어 중요한 점은 음수가 되지 않도록 최적화 하는 것인데 이를 위해 복잡한 계산이 사용되기 때문에, 비음독립성분분석(Nonnegative PCA)으로 모델을 최적화해서 전체 계산 시간을 크게 줄일 수 있었다. 멀티 스펙트럼 영상은 색 표현이나, 물체 구분, 인식 등에 효과적으로 쓰일 수 있다. 특히 비슷한 색상을 보이는 두 물체가 있을 때 특정한 광원을 사용해서 효과적으로 구별할 수 있는 경우가 있는데, 이를 위한 최적 광원을 설계하는 방법을 제안한다. 서로 다른 스펙트럼 특성을 가지는 두 물체가 있을 때, 스펙트럼의 차이와 카메라의 스펙트럼 응답 특성으로 부터 두 물체의 색 차이가 최대가 되도록 하는 최적 조명을 계산할 수 있다. 제안된 방법의 성능을 평가하기 위해 스펙트럼의 정확도, 계산속도, 스펙트럼 기반 재조명, 최적 광원 등 여러 응용 분야에 대해 검증해 보았으며, 특히 스펙트럼 영상 획득과, 최적 조명을 사용한 내시경 장치를 제작해서 검증해 보았다. 여러 실험 결과 제안된 방법이 유용하며, 종래의 RGB 영상 보다 효과적으로 사용될 수 있음을 보였다.; Many computer vision tasks such as scene segmentation and object recognition become considerably easier when it is possible to measure spectral reflectances of scenes. In conventional RGB imaging, however, actual spectral information is mostly gone due to crude approximation of spectral information to only three color channels. This dissertation presents a novel accurate and efficient method for recovering spectral reflectances in scenes that combines a conventional RGB camera with multiple light sources. Full spectral reflectances are recovered using a optimized linear model with a smoothness and nonnegative constraint. For efficiently enforcing the nonnegative constraint of spectral reflectances, a nonnegative PCA basis function is used, and the reconstruction was 8 times faster while maintaining the accuracy. Instead of sequentially activating light sources, an optimal multiplexed illumination is used for video-rate capturing. The multispectral imaging is utilized for color representation, object segmentation/recognition, and discrimination. For object discrimination, this dissertation proposes an optimal illumination that best separates one object from another. Given two objects with distinct spectra, the optimal illumination spectrum is derived to maximize their color distance with a RGB camera. To verify its effectiveness, a new system that consist of LEDs and a plain RGB camera is designed and demonstrated that the multispectral imaging could substantially enhance the performance of various visual applications compared with the conventional RGB imaging. The proposed system captures multispectral images at 30 fps with high signal-to-noise ratio, 30 dB.