面向容器的负载预测与Kubernetes动态资源调度技术的研究与实现
这是一篇关于负载预测,负载相关性,自动伸缩,资源调度,Kubernetes的论文, 主要内容为近年来,微服务、容器技术发展迅猛,越来越多的企业选择微服务软件架构,将系统拆分为多个服务,并在Kubernetes平台上以容器的方式部署各个服务。为了保证服务质量、应对负载波动,需要通过准确的负载预测,及时伸缩调控服务容器数量。现阶段,国内外针对负载预测的研究主要集中在以物理机、虚拟机为核心的机器维度,对容器维度的研究还较少。相比机器负载,容器负载具有变化迅速、波动幅度大、负载特征明显的特点,并且容器间存在潜在的负载相关性。针对这些特点,本文深入研究面向容器的负载预测和伸缩调度技术,并设计了针对Kubernetes容器平台的资源管理系统。论文首先对时间序列预测在负载预测领域的国内外研究成果进行分析和总结。针对容器负载模式差异大的问题,提出负载类别自适应的在线负载预测策略:基于负载数据特征进行分类,提出基于注意力机制的LSTM自动编解码器算法为各类别负载容器训练预测模型;进而,构建模型权重实时更新的容器负载在线集成预测器。为挖掘和利用容器间潜在的关联提升预测准确度,提出基于容器间负载相关性的负载预测算法:通过GRU和自注意力机制学习容器间的负载相关性,将负载序列建模为图,并使用图神经网络进行负载预测。然后,提出一种基于预测负载和负载均衡的自动伸缩调度方案,其中,基于负载相关性和负载均衡的扩容策略可以提高服务质量,基于集群负载和实例分散的缩容策略可以节约资源使用。基于以上理论研究成果,本文对Kubernetes资源管理系统的各个模块进行了设计和实现,并与原生Kubernetes平台进行了对比。实验结果表明,本文所提出的负载预测技术和伸缩调度策略可以有效提高服务质量,降低系统资源成本,能够为系统管理员更方便地运维集群提供帮助。
基于Kubernetes的云平台HPA算法的优化与实现
这是一篇关于容器,Docker,Kubernetes,自动伸缩的论文, 主要内容为在微服务的发展过程中,开发人员发现因依赖服务器本身的配置管理导致系统的可用性下降,使得本身为了软件迭代更加快速的微服务模式开发效率不升反降。而容器技术的兴起及成熟使得配置管理等问题得以解决。本文在第一章中首先对容器技术的原理及容器调度管理平台Kubernetes的核心概念和系统架构进行论述。在此基础上对Kubernetes的自动伸缩技术的实现原理进行了介绍,并结合业务场景,论述了当前自动伸缩策略在实际生产场景下的不足之处,提出了调度策略的优化方案,解决因无法快速满足需求而导致的性能瓶颈问题。在负载预测模型的算法选择上,通过分析比较移动平均算法、线性回归预测算法以及差分自回归移动平均预测算法的各自适合场景及其利弊,结合实际业务场景,预测未来一段时间的负载请求情况,使业务系统在请求负载峰值到来之前提前进行扩容,减少用户端所发起的请求响应时间,改善用户体验。另一方面,公有云提供的云服务采取按时收费模式,本文针对Kubernetes的动态伸缩策略无法对底层资源池进行策略控制的问题进行优化,提出了一种基于资源因素的优化缩容策略,通过该策略的实现,使得底层资源使用率始终能够保持在一个较为合理的范围之内。在实验中,通过搭建Kubernetes分布式高可用集群模拟实际生产环境的负载请求数量,对优化后的横向扩容算法进行了验证。通过实验结果可知,优化后的算法策略除了满足Kubernetes的基本功能性需求以外,较之当前算法策略,在近似线性负载请求量增长的情况下,能够提前进行扩容操作,并有效的减少应用响应时长。而缩容阶段通过定期对当前资源池进行计算,释放底层资源并降低运营成本。
基于Kubernetes的容器云平台的高可用研究与实现
这是一篇关于容器云,Kubernetes,高可用,自动伸缩的论文, 主要内容为随着云计算和容器技术的不断发展,容器云作为一种新型的云计算架构,已经成为了企业构建高效、灵活和高可用的应用系统的首选策略。尽管以Kubernetes作为核心技术的容器云,提供了更加高效、灵活和可靠的方式来构建、部署和运行容器化应用程序,但在Kubernetes提供这些便利的同时,也在高可用性方面存在着很多不足的地方:Kubernetes以etcd作为后端存储,集群规模增大将导致etcd写入请求延迟明显增加;大量的并发请求会造成API Server的异常,导致容器服务的不可用;Kubernetes默认的水平自动伸缩(Horizontal Pod Autoscaler,HPA)存在一定的滞后性问题,流量突增可能会导致应用程序的崩溃。本文主要在存储、服务端和扩展性三个维度对容器云平台的高可用性进行了研究与实现。首先,设计与实现了一种多etcd集群的存储系统,提出一种集群资源拆分策略将Kubernetes的资源拆分存储在不同的etcd集群中,分散了单个etcd集群的读写压力,并实现了存储管理模块对etcd集群进行定时备份、健康检查和故障恢复。其次,在服务端提出了一个高可用部署解决方案,实现了一种具有预防性的健康检查模块,并基于Admission Webhook机制实现准入控制模块。然后,设计了一种HPA和垂直自动伸缩(Vertical Pod Autoscaler,VPA)协同工作策略,结合VPA资源推荐值和HPA伸缩的灵活性,能够更加准确的应对负载变化进行伸缩。最后,提出了一种基于流量趋势预测的HPA策略,采用自定义指标数据,可以根据负载变化趋势提前扩容Pod的副本量,可以有效应对突发流量。测试结果表明,本文针对容器云高可用的改进策略,分别能够在存储、服务端和应用扩展性三个层面提升高可用性,从而提升了容器云平台整体的高可用性。
容器云平台中负载预测与自动伸缩的研究与实现
这是一篇关于负载预测,编码器-解码器结构,注意力机制,自动伸缩,Kubernetes的论文, 主要内容为随着云计算的快速发展,越来越多的企业使用微服务架构开发业务系统,并部署到云平台中。微服务架构将复杂系统拆分为多个独立的子系统,降低系统不同功能之间的耦合度。容器技术将微服务及其依赖环境打包为镜像,通过镜像仓库共享镜像并下载运行,减少了微服务的成本,提高了灵活性。由于容器数量不断增加,容器云平台应运而生,在集群中对容器进行调度和管理,并通过自动伸缩技术在集群中创建或删除微服务实例,实现了资源的按需分配。但是目前容器云平台采用的自动伸缩策略均属于响应式伸缩,存在滞后性,导致微服务响应时间增加,且存在资源浪费的问题。因此本文提出了微服务负载预测模型,设计并实现了预测式自动伸缩方案。具体工作如下:(一)微服务负载预测模型的设计。该模型通过序列编码(Sequence Encoding)、序列特征提取(Sequence Feature Extraction)以及序列生成(Sequence Generating)对微服务负载进行预测,简称SEFEG预测模型。与现有负载预测模型进行实验对比,SEFEG模型预测5分钟、10分钟、15分钟和20分钟后的表现均优于其他三种对比模型。(二)微服务预测式自动伸缩方案的设计。针对当前容器云平台伸缩策略的不足,设计了预测式自动伸缩架构,并对架构中的实例发现模块、负载指标采集模块、负载预测模块和自动伸缩模块进行了详细设计,该方案能够基于预测模型实现自动伸缩。(三)基于Kubernetes的预测式自动伸缩方案的实现。使用资源自定义(Custom Resource Define,CRD)和自定义控制器(Custom Controller)实现了预测式自动伸缩方案,包括实例发现模块、指标采集模块、预测模块和自动伸缩模块。平稳负载测试和突发负载测试结果表明,实现的方案优于Kubernetes内置的自动伸缩方案,降低了微服务的响应时间。
基于Kubernetes的云平台HPA算法的优化与实现
这是一篇关于容器,Docker,Kubernetes,自动伸缩的论文, 主要内容为在微服务的发展过程中,开发人员发现因依赖服务器本身的配置管理导致系统的可用性下降,使得本身为了软件迭代更加快速的微服务模式开发效率不升反降。而容器技术的兴起及成熟使得配置管理等问题得以解决。本文在第一章中首先对容器技术的原理及容器调度管理平台Kubernetes的核心概念和系统架构进行论述。在此基础上对Kubernetes的自动伸缩技术的实现原理进行了介绍,并结合业务场景,论述了当前自动伸缩策略在实际生产场景下的不足之处,提出了调度策略的优化方案,解决因无法快速满足需求而导致的性能瓶颈问题。在负载预测模型的算法选择上,通过分析比较移动平均算法、线性回归预测算法以及差分自回归移动平均预测算法的各自适合场景及其利弊,结合实际业务场景,预测未来一段时间的负载请求情况,使业务系统在请求负载峰值到来之前提前进行扩容,减少用户端所发起的请求响应时间,改善用户体验。另一方面,公有云提供的云服务采取按时收费模式,本文针对Kubernetes的动态伸缩策略无法对底层资源池进行策略控制的问题进行优化,提出了一种基于资源因素的优化缩容策略,通过该策略的实现,使得底层资源使用率始终能够保持在一个较为合理的范围之内。在实验中,通过搭建Kubernetes分布式高可用集群模拟实际生产环境的负载请求数量,对优化后的横向扩容算法进行了验证。通过实验结果可知,优化后的算法策略除了满足Kubernetes的基本功能性需求以外,较之当前算法策略,在近似线性负载请求量增长的情况下,能够提前进行扩容操作,并有效的减少应用响应时长。而缩容阶段通过定期对当前资源池进行计算,释放底层资源并降低运营成本。
基于Kubernetes的云平台HPA算法的优化与实现
这是一篇关于容器,Docker,Kubernetes,自动伸缩的论文, 主要内容为在微服务的发展过程中,开发人员发现因依赖服务器本身的配置管理导致系统的可用性下降,使得本身为了软件迭代更加快速的微服务模式开发效率不升反降。而容器技术的兴起及成熟使得配置管理等问题得以解决。本文在第一章中首先对容器技术的原理及容器调度管理平台Kubernetes的核心概念和系统架构进行论述。在此基础上对Kubernetes的自动伸缩技术的实现原理进行了介绍,并结合业务场景,论述了当前自动伸缩策略在实际生产场景下的不足之处,提出了调度策略的优化方案,解决因无法快速满足需求而导致的性能瓶颈问题。在负载预测模型的算法选择上,通过分析比较移动平均算法、线性回归预测算法以及差分自回归移动平均预测算法的各自适合场景及其利弊,结合实际业务场景,预测未来一段时间的负载请求情况,使业务系统在请求负载峰值到来之前提前进行扩容,减少用户端所发起的请求响应时间,改善用户体验。另一方面,公有云提供的云服务采取按时收费模式,本文针对Kubernetes的动态伸缩策略无法对底层资源池进行策略控制的问题进行优化,提出了一种基于资源因素的优化缩容策略,通过该策略的实现,使得底层资源使用率始终能够保持在一个较为合理的范围之内。在实验中,通过搭建Kubernetes分布式高可用集群模拟实际生产环境的负载请求数量,对优化后的横向扩容算法进行了验证。通过实验结果可知,优化后的算法策略除了满足Kubernetes的基本功能性需求以外,较之当前算法策略,在近似线性负载请求量增长的情况下,能够提前进行扩容操作,并有效的减少应用响应时长。而缩容阶段通过定期对当前资源池进行计算,释放底层资源并降低运营成本。
基于Docker的容器集群管理平台的研究与实现
这是一篇关于容器平台,API网关,服务管理,自动伸缩,集群管理的论文, 主要内容为随着微服务架构和以Docker为代表的容器虚拟化技术的发展,基于Docker容器化的微服务应用部署方式,为广大开发人员提供了高效、敏捷和轻量级方案。但如何对分布在多个主机上的大量Docker容器应用构成的容器集群进行统一的监控运维管理便成了亟需解决的问题。目前开源也推出了诸多容器集群管理工具如Swarm、Marathon、Kubernetes等,但还存在如下问题:(1)当前的开源工具主要实现了对容器的编排管理功能,没有实现对镜像管理、持续集成、运维部署和远程调试等综合功能。同时都是基于命令行操作的分布式系统,对用户的分布式系统和Linux系统知识要求较高,导致用户入门门槛高,学习成本大。(2)目前对应用的自动伸缩功能支持不完善,目前支持单一伸缩指标,不能基于用户自定义的监控指标进行伸缩。(3)无法对集群中部署的大量Docker服务提供的对外服务能力进行统一的上线、发布、监控检查、下线等生命周期进行统一的管理。本文针对以上问题构建了一个基于Docker的容器集群管理平台。主要研究内容包括以下三个部分:1)一种基于自定义监控指标的自动伸缩系统的研究与实现,主要包括收集用户自定义的监控指标,实现基于用户自定义的多种监控指标进行自动伸缩,使应用满足在各种场景下的需求。2)一种基于API网关的服务管理的研究与实现,使用API网关作为平台中服务的统一入口,实现对应用的注册、上线,发布、监控检查、下线等全生命周期管理。3)一种基于Docker的容器集群管理平台的构建,基于以上研究内容,构建了一个容器集群管理平台,包括应用的统一资源监控模块、自动伸缩模块、运维管理模块、服务管理模块、持续集成模块和web控制台等模块。本文构建的基于Docker容器集群管理平台,实现了对平台中部署的应用的统一管理,同时实现了集群及应用的统一监控、运维、部署和远程应用调试等多种功能并通过可视化Web界面的方式降低了用户对容器集群管理的学习成本和入门门槛。本系统已经交付甲方进行使用,并且已经在实验室的容器集群中部署使用。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码导航 ，原文地址：https://bishedaima.com/lunwen/52862.html
