Paired-Point Lifting for Privacy-Preserving Visual Localization

Abstract

Paired-Point Lifting for Privacy-Preserving Visual Localization Chunghwan Lee Dept. of Electronic Engineering The Graduate School Hanyang University Privacy concerns surrounding visual localization have become prominent with the emer- gence of deep-learning-based methods, which have the capability of recovering entangled scene details from 3D sparse point cloud maps. An interesting approach for bypassing this privacy breach was to lift 3D points to random directional 3D lines, thereby concealing the scene geometry. However, recent research demonstrates that this uniformly oriented line cloud has a crucial statistical flaw that can be exploited, potentially compromising the pro- tective measures in place. In this thesis, the Paired-Point Lifting (PPL) technique is proposed as a strategy for preserving the privacy of 3D maps through the pairing of points, overcoming the limitation of pre-existing line clouds by introducing extra obscurity and non-uniformity. Additionally, built upon the PPL framework, we introduce a further approach that entails pairing 3D points with remote features within the PPL context. By clustering on the feature descriptors and RGB values domain, we improve privacy-preserving performance, inducing potential recovery to yield spatially unrelated features. We also maintain localization accu- racy to a reasonable degree. Our approach enhances privacy by obscuring scene details and has been thoroughly validated through empirical evidence, confirming its robustness. The experimental results suggest the paired-point lifting technique’s privacy-preserving abilities can be fortified with our method, making it potentially useful in this modern context. Contribution statement + Note that most of the work is done by Chunghwan Lee, the main author of “Paired- Point Lifting for Enhanced Privacy-Preserving Visual Localization” presented at the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. + There was substantial support from Je Hyeong Hong. He initially suggested the idea of paired-point lifting and consistently has given feedback for the experiments and guidance to overcome the potential limitations. + There was wide-ranging support from Jaihoon Kim. He helped develop the camera pose estimation and verify the overall algorithm constructing paired-point lifting and recovery of lines. Besides, he was the key developer of the two-peak finding algorithm. + There was also support from Chanhyuk Yun. He converted Tensorflow-based code of the scene recovering InvSfM model to Pytorch-based code, helping me properly utilize it. He also provided code for evaluation, such as peak signal-to-noise ratio (PSNR), structural similarity index measure (SSIM), and mean absolute error (MAE) values.|시각적 국소화 기법의 개인정보 보호 문제는 3차원 점군 지도로부터 공간의 세부 정보를 복원할 수 있는 딥러닝 기반 방법의 등장으로 크게 부각되었다. 이 공격을 우회하기 위한 한 가지 접근 방식은 3차원 점들을 무작위 방향의 3차원 선으로 변환하여 기하학적으로 구조를 숨기는 것이었지만, 최근 연구에 따르면 이러한 무작위 방향의 선군의 통계적 특성을 활용하면 점군 지도로 충분히 복원할 수 있는 것으로 밝혀졌다. 본 연구에서는 3차원 선군의 점들을 2개씩 짝지어 3차원 지도를 생성하는 방법으로 프라이버시를 보장하는, 3차원 점군 페어링 기반 선군 생성 방법 (PPL)을 제안한다. 또한 제안한 PPL의 프레임워크를 출발점으로 삼아, PPL의 개선을 위한 방법으로 3차원 점들을 샘플링 할때 서로 간의 차이가 큰 특징점들끼리 전략적으로 페어링하여 프라이버시 정보를 은폐하는 방식을 제안한다. 이 방법은 특징 디스크립터와 RGB 값의 영역에서 군집화를 진행하고, 군집간에 점을 페어링 함으로써 관련도가 낮은 특징 정보를 복원하도록 유도해 프라이버시를 보호할수 있다. 그리고 이런 정보의 은닉과 더불어 위치 추정 정확도는 상대적으로 유지할 수 있음을 실험적으로 보인다. 본 논문에서 제시하는 광범위한 실험 결과는 본 논문 방법의 견고함을 입증하며, 본 연구에서 PPL 프레임워크와 진전된 방법을 통해 시각적 국소화시에 발생하는 프라이버시 정보의 복원을 충분히 막을 수 있음을 보인다.