An Auto-scaling Architecture for Container Clusters Using Deep Learning

Abstract

In this thesis, we present a novel autoscaling technique in the containerized cluster on Kubernetes that will solve Slashdot problems of the container-based cloud applications. Most cloud providers and their tenants suffer from over/under-provisioning of cloud resources during the high peak hours, which leads the system to the degradation of Quality of Service or the violation of the Service Level Agreement. Therefore, auto-scaling technology needs to dynamically adjust resource allocation of cloud services based on incoming workload. First, we explain the background and related research needed to understand and the work presented. Then we explain existing auto-scaling techniques considered state of the art for general and day-to-day management of cloud resource allocation, but not there yet. After that, we introduce novel auto-scaling architecture to tackle the issue of Slashdot effect. We thoroughly go through all the main changes and their advantages. In the end, we show the performance evaluation and the implementation results. Our performance study validates the proposed system and shows its capabilities. Analyzing the results, we confirm that the proposed architecture has the advantages in solving above mentioned problem with a very small overprovision that is negligible. |이 논문에서는 컨테이너 기반 클라우드 애플리케이션의 Slashdot 문제를 해결할 Kubernetes의 컨테이너화 된 클러스터에서 새로운 autoscaling 기술을 제시합니다. 대부분의 클라우드 공급자와 tenants는 사용량이 많은 시간에 클라우드 리소스의 과다 / 미달 프로비저닝으로 인해 시스템이 서비스 품질 저하 또는 서비스 수 준 계약 위반으로 이어집니다. 따라서 autoscaling 기술은 incoming workload에 따라 클라우드 서비스의 리소스 할당을 동 적으로 조정해야합니다. 먼저 이해에 필요한 배경과 관련 연구와 제시된 작업에 대해 설명 합니다. 그런 다음 클라우드 리소스 할당의 일반 및 일상적인 관 리를 위해 최첨단으로 간주되는 기존 autoscaling 기술에 대해 설 명합니다. 그 후 Slashdot effect 문제를 해결하기 위해 새로운 autoscaling 아키텍처를 소개합니다. 우리는 모든 주요 변경 사항 과 장점을 철저히 검토합니다. 마지막으로 성능 평가 및 구현 결 과를 보여줍니다. 우리의 성능 연구는 제안 된 시스템을 검증하고 그 기능을 보여줍 니다. 결과를 분석하여 제안 된 아키텍처가 무시할 수있는 매우 작은 overprovision으로 위에서 언급 한 문제를 해결하는 데 장 점이 있음을 확인합니다.