클라우드 클러스터에서 서버통합시간을 단축하기 위한 가상머신 재배치기법

Abstract

클라우드 클러스터는 다수의 물리머신(Physical Machine: PM)으로 구성된 대규모 클러스터로 에너지 사용 효율을 높이는 것은 운영비용을 감소시키기 위한 중요한 과제이다. 클라우드 클러스터의 에너지 사용 효율을 증가시키기 위한 대표적인 방법으로는 가상머신(Virtual Machine: VM)들을 일부 물리머신으로 재배치하고 나머지 PM들의 전원을 차단하는 서버통합이 있다. 서버통합은 VM의 집약도를 높이는 것을 목표로 하기 때문에 서버통합에 관련된 기존의 연구들은 VM의 배치를 결정하는 것에 중점을 두었다. 그러나 동적인 워크로드(workload)를 가지는 클라우드 클러스터의 VM 특성을 감안할 때 서버통합시간이 길어지면 배치의 유효성이 떨어져 VM의 집약도가 낮아질 수 있다. 따라서 서버통합은 가능한 한 짧은 시간에 완료되어야 한다. 본 논문에서는 클라우드 클러스터에서 서버통합시간을 단축시킬 수 있는 VM 재배치기법을 제안한다. 제안하는 기법은 두 단계로 구성된다. 첫 번째 단계는 VM 배치 결정단계로 이주해야하는 VM의 수를 줄이기 위한 배치를 결정한다. 이 단계에서는 우선 배치 집약도 측면에서 우수한 성능을 보이는 FFD(First Fit Decreasing) 알고리즘을 사용하여 배치 초안을 작성한다. 그리고 배치 초안과 VM들의 최근 배치 정보를 비교하여 가능한 작은 수의 VM들만 이주시켜 재배치를 완료할 수 있도록 최종 배치를 결정한다. 두 번째 단계는 이주 병렬화 단계로 연쇄적 이주대기로 인해 순차적으로 이주해야하는 VM들을 병렬로 이주할 수 있게 함으로써 VM들의 총 이주시간을 줄인다. 이 단계에서는 우선 순차적으로 이주해야하는 VM들을 찾아 병렬로 이주할 수 있는 그룹들로 분할한다. 여기서 이주대기 중인 VM들 각각의 이주시간과 대기시간을 분석하여 구한 총 이주시간에 근거하여 분할의 기준이 되는 VM, 즉, 분할 VM을 선정한다. 이렇게 선정된 분할 VM을 대기시간 없이 즉시 이주시킨다면 VM들의 이주를 분할된 그룹 단위로 병렬화할 수 있다. 본 논문에서는 선정된 분할 VM을 클러스터에서 보유하고 있는 여분의 PM으로 임시적으로 이주시킴으로써 VM들의 이주 병렬화를 가능하게 한다. 제안하는 기법은 이 두 단계를 수행함으로써 결과적으로 서버통합에 소요되는 시간을 단축시킨다. 시뮬레이션을 통하여 제안하는 기법의 서버통합시간 단축 효과를 확인한다. 시뮬레이션에서 PM은 8개의 CPU 코어와 16Gbytes의 메모리, 1Gbits의 네트워크 대역폭을 가지며 VM은 각각 1~4개, 1~8Gbytes의 범위에서 랜덤하게 결정된 코어 개수와 메모리양을 가진다. 서버통합시간은 클러스터에서 실행되는 VM의 수와 VM 산재정도의 영향을 받는다. 따라서 VM의 수가 100, 200, 400, 800개인 클러스터들을 VM 산재정도를 달리하여 두 개의 그룹으로 나눈다. VM 산재정도가 높은 그룹에서 측정한 PM들의 CPU와 메모리 활용률의 평균은 약 42%, 36%이고 산재정도가 낮은 클러스터 그룹에서 측정한 PM들의 CPU와 메모리 활용률의 평균은 약 67%, 63%이다. 이렇게 구성된 클러스터들에서 FFD 알고리즘, pMaP, 제안한 기법으로 서버통합과정을 시뮬레이션한다. 시뮬레이션 결과로, 제안하는 기법은 기존 기법들에 비해 서버통합시간을 VM 산재정도가 높을 때 VM 수에 따라 3.8~53.8% 단축시키며 VM 산재정도가 낮을 때 VM 수에 따라 17.2~81.2% 단축시킨다. 시뮬레이션 결과에 근거하여 이주해야할 VM의 수와 VM들의 총 이주시간을 줄이는 것은 클러스터의 VM 수, VM 산재 정도와 관계없이 서버통합 시간을 줄이는데 효과적인 방법임을 확인하였다. 따라서 본 논문의 연구 결과는 규모가 작은 사내 클라우드 클러스터부터 Amazon, Google과 같은 IT벤더의 대규모 클라우드 클러스터에 이르기 까지 서버통합시간을 줄이는데 유용하게 활용될 수 있다. 본 논문에서 제안하는 기법은 이주들을 병렬화하기 위해 추가의 PM을 필요로 한다. 비록 본 논문에서는 병렬화에 필요한 PM 수를 줄이는 방법을 제시하지만 여분의 PM이 충분하지 않거나 PM의 부팅시간이 긴 환경에서에서는 추가로 필요한 PM의 수가 여전히 부담이 될 수 있다. 따라서 향후 연구 과제로 이주 병렬화에 필요한 PM의 수를 줄일 수 있는 방안을 모색할 필요가 있다.|In a cloud cluster that consists of a number of physical machine(PM)s, an enhancement of energy efficiency is a major challenge to reduce operational cost of the cloud cluster. A representative method to improve energy efficiency of the cloud cluster is server consolidation that relocates virtual machine(VM)s into some PMs and turns off the other PMs. Since server consolidation aims to increase VM intensity, existing studies mostly focus on determining a VM placement with high VM intensity. However, considering that VMs of cloud clusters have dynamic workload in general, validity of the VM placement can decrease and thereby VM intensity declines if server consolidation time is lengthened. This paper proposes a VM relocation scheme to reduce server consolidation time on cloud clusters. The proposed scheme is comprised of two steps: VM placement determination, migration parallelization. In the VM placement determination step, a VM placement to reduce the number of VMs to be migrated is determined. In this step, a draft of VM placement is made by First Fit Deceasing(FFD) algorithm. Then, based on the comparison of the draft and recent VM placement, the final placement is determined to reduce the number of VMs to be migrated as far as possible. In the migration parallelization step, VM migrations that should be performed sequentially due to chained migration wait are parallelized to shorten the total migration time. In this step, at first, VMs to be migrated in sequential are separated into groups that they can be migrated in parallel. Separation VMs, being separation point, are chosen based on analysis of migration time and waiting time of VMs. After all separation VMs are selected, VM migrations are parallelized by temporarily migrating the separation VMs to redundant PMs that are reserved for peakload of cloud service. The performance of the proposed scheme is validated through simulation. In the simulation, all PMs are equipped with eight CPU cores, 16GBytes memory and 1Gbits network card. VMs are equipped with cores and memory determined by random variable in range from one to four and from 1GBytes to 8GBytes, respectively. The server consolidation time is affected by the number of VMs operated in a clusters and their scattering degree. Therefore, clusters with 100, 200, 400 and 800 VMs are constructed for two groups based on VM scattering degree. The average CPU and memory utilization of cluster are measured as 42%, 36% in higher scattering degree group and 67%, 63% in lower scattering degree group. The proposed scheme, FFD algorithm and pMap scheme are simulated for two cluster groups, respectively. The simulation results show that the proposed scheme reduces server consolidation time by 3.8-53.8 % in higher scattering degree group and by 17.2-81.2% in lower scattering degree group, compared with FFD algorithm and pMap scheme. Based on the simulation results, the approach that reduces the number of VMs to be migrated and total migration time is effective to shorten server consolidation time regardless of the number VM operated in a cluster and their scattering degree. Thus, research results of this paper can be utilized to reduce server consolidation time on from small-scale cloud cluster such as company's cloud cluster to large-scale cloud cluster such as Amazon and Google. The proposed scheme requires additional PM to parallelize VM migrations. Despite of providing the method to reduce the number PMs required for migration parallelization in this paper, the required PMs may still be burden in some environment where redundant PMs are not enough or PMs have long booting time. Thus, future work will cover a method to reduce the number of PMs required for migration parallelization further.; In a cloud cluster that consists of a number of physical machine(PM)s, an enhancement of energy efficiency is a major challenge to reduce operational cost of the cloud cluster. A representative method to improve energy efficiency of the cloud cluster is server consolidation that relocates virtual machine(VM)s into some PMs and turns off the other PMs. Since server consolidation aims to increase VM intensity, existing studies mostly focus on determining a VM placement with high VM intensity. However, considering that VMs of cloud clusters have dynamic workload in general, validity of the VM placement can decrease and thereby VM intensity declines if server consolidation time is lengthened. This paper proposes a VM relocation scheme to reduce server consolidation time on cloud clusters. The proposed scheme is comprised of two steps: VM placement determination, migration parallelization. In the VM placement determination step, a VM placement to reduce the number of VMs to be migrated is determined. In this step, a draft of VM placement is made by First Fit Deceasing(FFD) algorithm. Then, based on the comparison of the draft and recent VM placement, the final placement is determined to reduce the number of VMs to be migrated as far as possible. In the migration parallelization step, VM migrations that should be performed sequentially due to chained migration wait are parallelized to shorten the total migration time. In this step, at first, VMs to be migrated in sequential are separated into groups that they can be migrated in parallel. Separation VMs, being separation point, are chosen based on analysis of migration time and waiting time of VMs. After all separation VMs are selected, VM migrations are parallelized by temporarily migrating the separation VMs to redundant PMs that are reserved for peakload of cloud service. The performance of the proposed scheme is validated through simulation. In the simulation, all PMs are equipped with eight CPU cores, 16GBytes memory and 1Gbits network card. VMs are equipped with cores and memory determined by random variable in range from one to four and from 1GBytes to 8GBytes, respectively. The server consolidation time is affected by the number of VMs operated in a clusters and their scattering degree. Therefore, clusters with 100, 200, 400 and 800 VMs are constructed for two groups based on VM scattering degree. The average CPU and memory utilization of cluster are measured as 42%, 36% in higher scattering degree group and 67%, 63% in lower scattering degree group. The proposed scheme, FFD algorithm and pMap scheme are simulated for two cluster groups, respectively. The simulation results show that the proposed scheme reduces server consolidation time by 3.8-53.8 % in higher scattering degree group and by 17.2-81.2% in lower scattering degree group, compared with FFD algorithm and pMap scheme. Based on the simulation results, the approach that reduces the number of VMs to be migrated and total migration time is effective to shorten server consolidation time regardless of the number VM operated in a cluster and their scattering degree. Thus, research results of this paper can be utilized to reduce server consolidation time on from small-scale cloud cluster such as company's cloud cluster to large-scale cloud cluster such as Amazon and Google. The proposed scheme requires additional PM to parallelize VM migrations. Despite of providing the method to reduce the number PMs required for migration parallelization in this paper, the required PMs may still be burden in some environment where redundant PMs are not enough or PMs have long booting time. Thus, future work will cover a method to reduce the number of PMs required for migration parallelization further.