실감 영상회의 시스템을 위한 헤어스타일 인식

Abstract

As the demand for non-face-to-face meetings increases, research on activities in virtual space is increasing. Accordingly, the issue of meetings in virtual space is also receiving a lot of attention. A meeting in a virtual space is a system that has a lot of development and application potential by creating a live-action avatar and holding a meeting while controlling the avatar. In this paper, we propose a method for classification and recognition of hairstyles in avatar construction such as live-action. In order to realize high-quality hairstyles, in general, a hairstyle restoration method that directly creates a three-dimensional hair model from an image, and a method of recognizing a hairstyle with the greatest similarity among well-designed hairstyles and using it as a hair model There is this.The former is meaningful in restoring the hairstyle to be as similar as possible in three dimensions. However, the hairstyle restoration method that has been researched so far still has some disadvantages. The quality of the generated hairstyle models is somewhat insufficient to be used in actual applications where the user's character is very important, such as non-face-to-face meetings, and the amount of calculation required for rendering is relatively high compared to the quality. Therefore, it is still difficult to use it for commercialization purposes. In this paper, we propose a hairstyle recognition method for an immersive video conferencing system suitable for application to real situations. In order to proceed with hairstyle recognition, a well-modeled hairstyle database is first required.In this paper, recognition was performed using the USC-HairSalon data set proposed by Liwen Hu. Next, an oriented image of the constructed hairstyle model is generated, and the oriented image is quantized to generate a quantization image. In the quantized image, a feature to be used for clustering is created through the distribution of changes in the length and shape of the hairstyle and the part where the curvature inside the hairstyle changes rapidly. In order to use only the most prominent properties among the generated features, the dimension of the data is reduced using principal component analysis. Data generated through principal component analysis are clustered into clusters with similar properties through K-means clustering. After clustering is performed, regions with large variance for each cluster are searched for detailed classification of hairstyles belonging to each cluster. In this paper, shape indexed features (SIF) are used to search regions with large variance. SIF is based on a standard shape, and in this paper, geometrical feature points of the face were used as the standard. A partial region within a certain range is generated for detailed comparison between the directional image inside the cluster and the directional image generated from the input image, centering on the points of random coordinates generated using SIF. The center of the created partial region is indexed with the nearest geometric feature point of the face, and when the distance between the center of the partial region and the geometric feature point of the face is more than a certain distance, the partial region is excluded. The generated partial region is applied to the directional image and the indexed quantized image, and the distribution of the directionality of quantized hair in the partial region is checked and histograms are used to generate the characteristics of each partial region. Then, by measuring the dispersion of features for subregions at the same location for each image, an arbitrary number of regions with large dispersion are found and used as a feature for detailed comparison of directional images within a cluster and similarity with the input image. As a result of the experiment, a subjective evaluation was conducted on whether the most similar image among the directional images of the input image and the directional images in the selected cluster was properly searched using the hairstyle recognition system proposed in this paper. It was confirmed that the style was well explored.| 비대면 회의의 수요가 증가함에 따라 가상공간에서의 활동에 대한 연구가 증가하고 있다. 이에 따라 가상공간에서의 회의에 대한 이슈 또한 많은 관심을 받고 있다. 가상공간에서의 회의는 실사와 같은 아바타를 생성하여 그 아바타를 컨트롤하면서 회의를 하는 방식으로 많은 발전 및 응용의 가능성을 가지고 있는 시스템이다. 본 논문은 그런 실사와 같은 아바타 구축에서 헤어스타일의 분류 및 인식에 관한 방법을 제안한다. 높은 품질의 헤어스타일을 구현하기 위해서는 일반적으로 영상으로부터 3차원 헤어 모델을 직접 생성해주는 헤어스타일 복원방식과 이미 잘 디자인되어있는 헤어스타일 중에서 최대의 유사도를 가지는 헤어스타일을 인식하여 헤어 모델로 사용하는 방식이 있다. 전자는 헤어스타일을 3차원으로 최대한 유사하게 복구하는 것에 그 의의를 둔다. 그러나 지금까지 연구가 진행된 헤어스타일 복원방식은 여전히 몇 가지 아쉬운 부분이 존재한다. 생성되는 헤어스타일 모델들이 비대면 회의와 같은 사용자의 캐릭터성이 매우 중요한 실제 응용에서 사용하기에는 퀄리티가 다소 부족하다는 점과 퀄리티에 비해 렌더링에 필요한 계산 량이 상대적으로 높다는 점이다. 따라서 아직까진 상용화를 목적으로 이용하기에는 여전히 무리가 있다. 본 논문에서는 실제 상황에 적용하기 적합한 실감영상회의 시스템을 위한 헤어스타일 인식 방법에 대해 제안한다. 헤어스타일 인식을 진행하기 위해서는 우선 잘 모델링되어 있는 헤어스타일 데이터베이스가 필요하다. 본 논문에서는 Liwen Hu가 제안한 USC-HairSalon 데이터 셋[1]을 사용하여 인식을 진행하였다. 다음 구축되어 있는 헤어스타일 모델의 방향성 이미지(Oriented image)를 생성하고, 그 방향성 이미지를 양자화 하여 양자화 이미지(Quantization image)를 생성한다. 양자화 이미지에서 헤어스타일의 길이와 모양 그리고 헤어스타일 내부의 굴곡이 급격하게 변화가 있는 부분의 변화 분포를 통해 군집화에 사용할 특징을 생성한다. 생성한 특징들 중 가장 두드러지는 속성들만을 사용하기 위해 주성분 분석(Principal component analysis)[3]을 사용하여 데이터의 차원을 축소한다. 주성분 분석을 통해 생성된 데이터는 K-평균 군집화(K-means Clustering)[4]를 통해 각각 유사한 속성을 가지고 있는 군집으로 군집화 한다. 군집화가 진행된 후 각각의 군집에 속하는 헤어스타일들의 세세한 구분을 위해 각 군집별 분산이 큰 영역들을 탐색한다. 본 논문에서는 분산이 큰 영역들을 탐색하기 위해 Shape indexed features (SIF)[5]을 사용한다. SIF는 기준이 되는 형태에 기반하게 되는데 본 논문에서는 얼굴의 기하학적 특징점을 기준으로 하였다. SIF를 사용하여 생성한 랜덤한 좌표의 점들을 중심으로 하여 군집 내부의 방향성 이미지와 입력된 이미지에서 생성한 방향성 이미지의 세세한 비교를 위해 일정 범위 내의 부분영역을 생성한다. 생성한 부분영역의 중심은 가장 가까운 얼굴의 기하학적 특징점과 인덱싱 되고, 부분영역의 중심과 얼굴의 기하학적 특징점과의 거리가 일정 거리 이상일 때는 그 부분영역을 제외한다. 생성한 부분 영역을 방향성 이미지와 인덱싱 되어 있는 양자화이미지에 적용하고, 부분영역 내의 양자화 된 머리카락의 방향성의 분포를 확인하여 그것을 히스토그램화 함으로써 각 부분영역의 특징을 생성한다. 그리고 이미지 별 동일한 위치의 부분영역들에 대한 특징의 분산을 측정하여 분산이 큰 임의의 개수의 영역을 찾아서 군집 내 방향성 이미지의 세세한 비교 및 입력 이미지와의 유사도를 측정하는 특징으로 사용한다. 실험 결과, 본 논문에서 제안한 헤어스타일 인식 시스템을 사용하여 입력된 이미지의 방향성 이미지와 선택된 군집 내의 방향성 이미지들 중 가장 유사한 이미지를 재대로 탐색하였는지에 대해 주관평가를 진행하였고, 헤어스타일 인식 시스템이 유사한 헤어스타일을 잘 탐색해줌을 확인할 수 있었다.