面向大规模异构评测任务的容器集群管理方法
这是一篇关于评测云平台,虚拟容器集群,镜像管理,容器调度的论文, 主要内容为近年来,以Docker为代表的虚拟化容器集群逐渐成为各类软件企业支撑升级大规模业务系统的核心技术。在新型的智能化IT教学实训平台中,为支持大规模异构IT技术的实训和自动化评测,基于虚拟化容器来构建底层评测集群能够有效隔离IT编程语言和技术架构等的差异,从而提供全IT技术栈的教学与实训云服务。与此同时,能够有效提升实训服务的软硬件资源利用率和用户体验。虚拟化容器集群是承载高效自动化评测服务的基础。对于高并发的异构IT技术评测任务集,提供隔离化、定制化、高可用的评测服务会涉及两个方面的问题:首先,针对不同的IT技术架构和编程语言,需要提供包含不同编译评测环境的镜像。IT技术种类和编程语言非常多,因此需要构建的Docker镜像种类和数量很大,如何对大规模的镜像进行有效管理成为需要解决的第一个关键问题;其次,在大规模用户进行在线评测时,需保证在实时响应用户请求的同时提高后台硬件资源利用率。为此,根据用户应用场景等对容器的生命周期进行动态调度和管理是需要解决的第二个关键问题。针对大规模异构镜像管理,论文着重分析了镜像复用率低下以及镜像无序蔓延现象的问题根源,并通过IT教学实训平台线上用户和任务数据分析,探讨解决方法,并对所提出方法进行实验论证。论文提出了基于镜像深度检索策略以提升镜像定位成功率的办法,以及基于镜像相似度分析的镜像去冗及镜像合并算法,并通过服务镜像插件化、分离仓库等策略优化平台镜像组织方式。针对容器集群的调度管理问题,论文重点围绕容器运行期的调度算法和资源分配策略展开。对于容器的各生命周期阶段,论文分析了不同阶段的容器集群应用主要矛盾,并依据问题建模,提出了相关调度算法,解决大规模异构评测任务场景下的容器集群调度和控制问题。相关算法包括:改进的集群节点优选算法、流控算法、自适应的容器运行时状态转换策略以及资源浮动配额方法等。提升在有限资源状态下的平台稳定性和运行效率。评测云平台所针对的任务场景事实上是一种典型的云平台任务场景,而相关容器集群调度和管理方法在类似云平台建设中可有一定借鉴意义。
基于Kubernetes的容器优化调度技术研究
这是一篇关于云计算,Kubernetes,容器调度,负载均衡,资源利用率的论文, 主要内容为随着云计算技术的快速发展,越来越多的场景采用容器化落地。容器资源管理与调度平台Kubernetes由于具有高可用、自动化、可扩展性等特点,已经成为了业内容器编排的事实标准。面向超大规模集群计算环境和海量容器应用需求,有必要研究基于Kubernetes容器调度技术,以解决集群计算资源的利用率与稳定性的矛盾。当前,随着云原生技术的不断成熟,基于Kubernetes构建统一的容器调度、管理、运维能力的解决方案已经成为可能。然而,集群计算资源的动态性与容器资源需求的多样性给基于Kubernetes的容器资源调度带来了挑战。针对这一问题,本文从CPU计算资源与GPU计算资源两个角度出发,开展了可兼顾动态性与多样性的容器优化调度技术,并构建了具有自动化、可扩展、实时监控的容器调度管理系统。具体而言,本文的主要研究内容包括:1)提出了面向容器多维度资源需求的负载均衡调度技术。针对Kubernetes默认的调度机制只考虑CPU和内存两大资源指标,无法满足边缘计算场景下精细化调度需求的问题,从控制层、调度插件层、监控层和节点代理层4个层面,设计了基于Kubernetes的CPU算力资源容器调度方案E-KCSS(Efficient-Kubernetes Container Scheduling Strategy)。E-KCSS以CPU、内存、带宽、磁盘、Pod数量等5个指标为调度因子,实现了容器调度的多样化,以针对集群计算资源的时序数据库监控数据作为调度驱动,实现了容器调度的动态性。为了解决Kubernetes预设的权重系数不能满足容器个性化资源需求的问题,引入了权重自适应机制,该机制能综合考虑计算节点的多维资源利用率和容器的资源需求,自动求解容器的多维资源权重集合,并根据计算节点资源的平衡度为容器选择最优节点。实验结果表明,与Kubernetes默认调度机制相比,E-KCSS在异构请求场景下容器应用部署上限提升23.63%,集群资源不均衡降低6.87%。2)提出了面向GPU计算资源的细粒度共享式容器调度技术。首先,设计了面向GPU计算资源的细粒度共享式容器调度架构。该架构基于消息缓存架构从监控层和调度层两个方面进行设计,通过对Kubernetes原生组件API Server的轻量级优化以及对Kubernetes资源对象的实时感知,提升了GPU计算资源调度的时效性。针对Kubernetes无法对GPU设备进行细粒度管控而导致的GPU资源全局视图缺失的问题,设计了基于Kubernetes的GPU设备收集器G-RCFK(GPU-Resource Collector for Kubernetes),实现对GPU设备的统一管控与GPU指标信息的细粒度实时获取。针对Kubernetes默认调度机制按块数调度GPU容器而导致GPU算力资源无法共享的问题,设计了面向GPU资源的共享式容器调度技术Nvi-Scheduler。该技术从用户优先级和资源优先级两个方面出发,结合GPU利用率和显存利用率实现了共享式容器调度。实验结果表明,与Nvidia-Device-Plugin和Kube Share调度器相比,所提出的技术在调度GPU容器方面更加灵活,部署效率提升了18.68%,实现了容器间GPU资源的共享。3)基于1)、2)的研究内容,基于Kubernetes并融合轻量级容器技术,从物理设备、基础设施、业务服务、用户接口等4个层面,设计并实现了容器调度管理系统。该系统包含了CPU算力资源和GPU算力资源的容器调度,可为容器调度提供便捷、高效、多样的管理平台。重点探讨了容器的全生命周期管理,可视化管理,容器Webshell交互功能等关键技术的设计和实现方法。实验验证了该系统的各项功能。
基于Kubernetes的容器优化调度技术研究
这是一篇关于云计算,Kubernetes,容器调度,负载均衡,资源利用率的论文, 主要内容为随着云计算技术的快速发展,越来越多的场景采用容器化落地。容器资源管理与调度平台Kubernetes由于具有高可用、自动化、可扩展性等特点,已经成为了业内容器编排的事实标准。面向超大规模集群计算环境和海量容器应用需求,有必要研究基于Kubernetes容器调度技术,以解决集群计算资源的利用率与稳定性的矛盾。当前,随着云原生技术的不断成熟,基于Kubernetes构建统一的容器调度、管理、运维能力的解决方案已经成为可能。然而,集群计算资源的动态性与容器资源需求的多样性给基于Kubernetes的容器资源调度带来了挑战。针对这一问题,本文从CPU计算资源与GPU计算资源两个角度出发,开展了可兼顾动态性与多样性的容器优化调度技术,并构建了具有自动化、可扩展、实时监控的容器调度管理系统。具体而言,本文的主要研究内容包括:1)提出了面向容器多维度资源需求的负载均衡调度技术。针对Kubernetes默认的调度机制只考虑CPU和内存两大资源指标,无法满足边缘计算场景下精细化调度需求的问题,从控制层、调度插件层、监控层和节点代理层4个层面,设计了基于Kubernetes的CPU算力资源容器调度方案E-KCSS(Efficient-Kubernetes Container Scheduling Strategy)。E-KCSS以CPU、内存、带宽、磁盘、Pod数量等5个指标为调度因子,实现了容器调度的多样化,以针对集群计算资源的时序数据库监控数据作为调度驱动,实现了容器调度的动态性。为了解决Kubernetes预设的权重系数不能满足容器个性化资源需求的问题,引入了权重自适应机制,该机制能综合考虑计算节点的多维资源利用率和容器的资源需求,自动求解容器的多维资源权重集合,并根据计算节点资源的平衡度为容器选择最优节点。实验结果表明,与Kubernetes默认调度机制相比,E-KCSS在异构请求场景下容器应用部署上限提升23.63%,集群资源不均衡降低6.87%。2)提出了面向GPU计算资源的细粒度共享式容器调度技术。首先,设计了面向GPU计算资源的细粒度共享式容器调度架构。该架构基于消息缓存架构从监控层和调度层两个方面进行设计,通过对Kubernetes原生组件API Server的轻量级优化以及对Kubernetes资源对象的实时感知,提升了GPU计算资源调度的时效性。针对Kubernetes无法对GPU设备进行细粒度管控而导致的GPU资源全局视图缺失的问题,设计了基于Kubernetes的GPU设备收集器G-RCFK(GPU-Resource Collector for Kubernetes),实现对GPU设备的统一管控与GPU指标信息的细粒度实时获取。针对Kubernetes默认调度机制按块数调度GPU容器而导致GPU算力资源无法共享的问题,设计了面向GPU资源的共享式容器调度技术Nvi-Scheduler。该技术从用户优先级和资源优先级两个方面出发,结合GPU利用率和显存利用率实现了共享式容器调度。实验结果表明,与Nvidia-Device-Plugin和Kube Share调度器相比,所提出的技术在调度GPU容器方面更加灵活,部署效率提升了18.68%,实现了容器间GPU资源的共享。3)基于1)、2)的研究内容,基于Kubernetes并融合轻量级容器技术,从物理设备、基础设施、业务服务、用户接口等4个层面,设计并实现了容器调度管理系统。该系统包含了CPU算力资源和GPU算力资源的容器调度,可为容器调度提供便捷、高效、多样的管理平台。重点探讨了容器的全生命周期管理,可视化管理,容器Webshell交互功能等关键技术的设计和实现方法。实验验证了该系统的各项功能。
容器云环境下实时多工作流弹性调度方法研究
这是一篇关于任务调度,容器调度,容器,云计算,微服务的论文, 主要内容为云计算是当前我国新型基础设施的重要组成部分,其应用领域涉及制造、教育、交通、医疗等诸多行业。随着5G等新一代信息技术的发展,飞速增长的用户需求产生了大量的请求工作流,如何对工作流进行快速调度并减少成本成为云服务提供商亟需解决的问题,基于微服务和容器技术搭建的容器服务云平台成为其解决方案。任务调度和容器伸缩是构建容器服务云平台的关键技术,其将工作流中的任务调度到相应容器执行,并根据需求对容器进行伸缩,进而提高执行效率并降低成本。当前已有部分研究人员对任务调度及容器伸缩技术进行了探索研究。然而,现有研究工作尚且存在以下不足之处:1)现有工作流调度算法大多围绕静态单工作流展开,没有考虑实时多工作流的处理,忽略了工作流的动态特征和多工作流执行时间的不确定性,导致其超出了工作流的截止日期并增加了执行成本。2)现有容器调度算法大多只考虑CPU或内存等单一因素,忽略了容器镜像的拉取时间、容器与虚拟机节点的关系、不同容器间的执行关联等因素,导致资源利用率过低、服务质量差。针对以上问题,本文对云平台中任务调度和容器伸缩的相关理论技术进行深入研究,提出了基于容器的实时多工作流弹性调度方法和基于多目标优化的容器调度方法,在任务紧迫度高的情况下提升了调度算法的成功率,降低了资源租用成本。本文的主要工作及贡献如下:针对工作流的动态特征和多工作流执行时间的不确定性问题,本文将任务池和就绪队列加入微服务的任务调度中,通过其来协调就绪任务和后续等待任务,减少当前任务执行时间波动对后续任务的影响,降低实时多工作流的不确定性;提出一种将微服务的任务调度与容器伸缩相结合的方法,该方法采用一种基于紧迫性的启发式任务调度算法,考虑了容器镜像对任务执行的影响,确定调度方案以及所需容器的类型和数量,为容器部署提供支持。仿真实验结果表明,本文提出的工作流调度算法ESRW比同类算法ESMA和Pro Li S平均降低25.9%的资源租赁成本。针对现有容器调度算法考虑因素单一导致成本过高、服务质量差等问题,本文考虑影响容器性能的六个关键因素:容器间的关联性、容器和节点之间的关联性、节点拉取容器镜像时间、节点中容器数量、CPU和内存利用率,提出一种基于多目标优化的容器调度方法。该方法对这些因素分别建立评分函数,结合TOPSIS算法,为容器找到最合适的节点部署,降低了资源租用成本,提高了应用程序的服务质量。仿真实验结果表明,本文提出的容器调度算法MOCD与同类的Spread算法和Random算法相比,平均减少了9.7%的调度时间,并使容器集群的最大TPS增加了12.5%,在有效减少容器部署时间的同时提高了容器内微服务的执行效率。本文将以上提出的改进算法应用到容器服务云平台中,设计并实现了Kubernetes调度器组件,并将其集成到Kubernetes集群中,对集群中部署的服务进行调度管理,证明了所提方案的可行性和系统的实用性。
基于微服务与容器的负载均衡系统设计与实现
这是一篇关于Docker容器,长短时记忆网络,负载预测,容器调度,布谷鸟搜索的论文, 主要内容为近些年来,互联网技术高速发展,网络用户也在相应地增长,传统的系统面临巨大压力。传统系统采用的是固定资源模式,应用程序被部署在物理机上,通常会被过度使用达到额定工作负载,导致系统的可用性以及稳定性不高,这样的模式浪费了能源和空间,资源利用率低。因此,研究负载均衡系统,使得整个应用系统高可用、高稳定性、资源利用率高具有巨大意义。目前,容器技术和微服务架构被广泛研究并被应用在当前网络系统中。互联网技术不断迭代,从最初的虚拟机部署到如今更细粒度的容器部署,因容器具有轻量化、便捷性和资源利用高等优点,所以替代了虚拟机;从最初的单体架构演变为微服务架构,微服务架构中每个服务具有自己独立的功能,共同维护更大的系统,分工明确,所以在开发、测试、部署和调度中具有显著优点。因此,本文结合上述优点,基于微服务Spring Cloud框架与Docker容器技术设计并实现负载均衡系统。本文主要工作有以下三点:(1)提出基于负载的具有注意力机制的双向长短时记忆网络(AttentionBi LSTM)预测模型。由于传统时间预测算法,采用的大多是回归拟合,精度较低,本文采用Bi LSTM神经网络模型,并加入注意力机制,提取和关心时间序列重要数据特征,提高预测的精度以及迭代的时间效率。并且负载模型充分考虑了CPU、IO、内存和网络等因素,表征更强。经实验验证,该模型具有较好的预测精度和计算效率。(2)提出基于容器依赖的改进离散布谷鸟优化算法(RDCS)。当系统负载不均衡时,需要进行容器调度。本文深入研究微服务架构下容器间依赖关系,基于容器依赖改进传统布谷鸟搜索(Cucoo Search)算法,在莱维飞行和放弃新建鸟巢关键步骤加入轮盘赌和容器依赖,增强了算法全局和局部搜索能力与效率。最终经过验证,该算法提高了系统的资源利用率、响应速度。(3)设计负载均衡系统并应用于风电场管理系统。对负载均衡系统进行需求分析,有如下功能:服务高可用、资源监控、集群服务管理和负载均衡模块。架构设计方面,采用模块分治结构,降低系统耦合度;并将改进负载预测模型和容器调度算法应用于实际风电场管理系统,除了能对外提供稳定的服务,还具有负载均衡功能。经过实验验证,该负载均衡系统,使得应用系统响应速度更快,更稳定。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设导航 ，原文地址：https://bishedaima.com/lunwen/54726.html
