基于Docker集群的农业云平台资源监测管理系统设计与实现
这是一篇关于农业云平台,Docker集群,资源监测,时序预测,弹性伸缩,自动化部署的论文, 主要内容为随着互联网的普及和云计算技术的发展,越来越多的应用基于云平台技术进行系统部署工作。传统的云平台1.0通常使用虚拟机技术搭建,能够在一定程度上降低软件运维成本,提高安全性。但是这种云平台在虚拟机启动时间和部署新应用等方面表现不佳,而使用Docker容器技术的云平台2.0启动时间更快,且占用的资源更低,尤其在微服务方面表现较好。当前,随着以物联网为代表的新一代信息技术在农业生产实践中的大量应用,各种农业信息系统日益增多,通常需要借助于云平台对这些系统进行集成与管理。特别是随着智慧农业的研究与建设,农业云平台的终端量和其产生的数据量快速增长,业务性密集计算与业务端低算力装备的矛盾表现得较为普遍,智能农业终端往往要借助于云端的算力来完成计算工作。在智慧农业场景下,终端设备除了需要在云平台静态加载应用服务外,还需要在云平台动态加载服务,对短周期数据进行实时决策,基于虚拟机的云平台不能够很好地应对这种应用场景。而基于Docker容器的云平台2.0技术,由于自身优势,更适用于这种场景。当前Docker容器技术仍然存在着资源管理机制不够完善的问题,以及当前的管理系统在动态资源分配方面不够灵活,且无法在保证应用服务质量的前提下最大化系统整体利用率。中原农村信息港是基于虚拟机技术和Docker容器集群技术建设的河南省国家农村信息化示范省综合服务平台,本文以中原农村信息港农业云平台Docker容器集群为研究对象,围绕Docker容器资源管理问题,进行容器资源监测模块设计,构建容器资源预测模型,并在此基础上建立基于Docker集群云平台的资源监测管理系统,实现农业云平台的容器资源实时监测、资源弹性化管理和应用服务自动化部署。主要研究内容包括:(1)设计基于Docker集群的云平台资源监测管理架构。采用c Advisor、Prometheus等技术构建容器集群云平台资源监测架构,实时采集各个容器所使用的系统资源情况,并将这些数据用Influx DB数据库进行持久化存储,为弹性化资源管理提供决策数据。(2)构建基于深度学习的容器资源预测算法。针对该容器集群的CPU、内存等时间序列的监测数据,构建双层LSTM、Attention-LSTM、GRU-LSTM等模型进行资源预测,并根据预测结果实现容器集群的弹性伸缩和异常数据的及时告警。在农业云平台应用场景下,对资源预测模型的运行效率提出较高要求,而GRU-LSTM预测模型的预测时间相较于Attention-LSTM模型效率提高了80%,GRU-LSTM模型预测内存使用率的MSE为0.032,而双层LSTM模型在预测内存使用率的MSE为298.33,相比之下,GRU-LSTM预测效果更好。因此本文选用GRU-LSTM作为系统中容器资源数据模块使用的预测模型。(3)设计应用自动化部署模型。设计基于Jenkins技术的镜像管理和应用自动化部署模型,测试结果表明,能够实现对平台镜像的有效管理和平台应用的自动化部署。(4)综合上述研究结果,构建基于Docker集群的农业云平台资源监测管理系统,进行了中原农村信息港农业云平台资源管理的仿真实验,实验结果表明,该系统可以实现对容器资源监测与可视化展示、资源预测与弹性伸缩调度、应用的自动化部署等管理功能。本文构建的基于Docker容器集群的农业云平台资源监测管理系统,实现了平台资源的有效管理,可以提高平台整体资源利用,可以为农业云平台资源管理提供可借鉴的思路和技术工具支持。
基于Docker-Swarm的微服务管理技术研究与实现
这是一篇关于微服务,自动化部署,负载调度,性能评估的论文, 主要内容为随着系统业务功能需求爆炸式地增长,传统的单体架构和分布式架构使得企业应用服务变得繁重复杂,增量式地加大开发、测试以及维护上的成本。微服务架构旨在将单体式的应用服务拆分成多个细粒度的、职能明确、平台独立、维护简单、耦合度低的服务,能够有效的解决单体架构的问题。随着云计算技术的完善成熟,人们更加倾向将应用服务部署到便利的云平台上,而且随着Docker容器技术的迅猛发展以及分布式应用开发解决方案Spring Cloud的不断完善,推动了微服务架构走向现实应用。在这背景下,如何对成千上万的微服务进行有效地定义、部署、管理、监控,并进一步对微服务进行组合,是微服务系统应用所面临的关键问题。集群的规模以及容器的资源配置都是用户提前指定的,随着集群和容器负载的提升,容器集群编排工具没有机制检测集群以及容器是否超负载,这会影响微服务的可用性。因此,如何根据容器编排工具实现合理的负载调度器也是云平台的另一个关键问题。微服务划分是单体架构应用转换成微服务架构应用的关键步骤,其中按业务划分是广受认可的规范[8],但是按业务去划分容易因为主观因素产生多个单体应用。因此我们还需要从微服务粒度的角度去划分微服务,但是微服务的粒度规范没有有效的确定方案,因此对微服务的粒度规范也是云平台亟待确定的。针对上述问题,本文基于Openstack的虚拟化技术和Docker-Swarm提供的集群容器管理技术实现了一个专门支撑微服务架构的管理平台:微服务管理云平台。该平台定义了微服务,实现了容器集群环境的自动化部署、容器镜像的自动化制作和管理、微服务的自动化部署、集群与微服务的实时监控以及微服务的组合。在此基础上通过监控数据对集群以及微服务进行负载调度,并使用XGBoost的方法预测负载,并通过实验来验证上述模型以及方法的可靠性;最后设计了单体架构与微服务架构的性能对比模拟实验验证微服务架构的性能优势,并据此分析确定了微服务的粒度规范。
基于容器化技术的持续集成平台模型研究与实现
这是一篇关于持续集成,容器化技术,Docker,自动化测试,自动化部署的论文, 主要内容为在互联网及信息技术高速发展的当今时代,各行各业都需要信息化的处理方式,由此促进了软件工程理论的飞速发展。软件行业需要快速、高效地开发出符合行业需求的软件,同时确保软件的质量。持续集成技术的发展极大地提高了软件开发的效率,减少了开发过程及软件集成过程中出现的错误。而当前软件开发中广泛应用的持续集成技术仍然存在自动化程度低、集成环境无法统一的问题。本课题结合了容器化技术,构建了基于容器化技术的持续集成系统模型,对于持续集成系统的搭建具有一定的借鉴意义。首先,描述了国内外持续集成方面的研究和发展状况,分析了基于Docker的容器化技术在持续集成当中的应用场景,总结了现有持续集成系统在架构设计、数据库持续集成以及执行环境搭建方面存在的问题。为此,分析了持续集成系统的特点,剖析了基于Docker的容器化技术在持续集成系统中的应用。其次,抽象出了基于容器化技术的持续集成平台的总体架构,构建了具有管理控制层、业务服务层、基础数据层和目标环境层的层次模型,归纳并介绍了模型中不同层次的关键功能及设计方案。再次,结合基于容器化技术的持续集成平台模型,设计了符合该模型的持续集成平台架构,采用基于Docker的容器化技术搭建了平台的基本框架,实现了持续集成任务的管理调度、持续构建、自动化测试、自动化部署和镜像及容器管理功能。最后,配置了持续集成平台的实验环境,以万通创新软件实验室项目“胜乐电子票务平台”为例,验证了持续集成平台的系统功能,功能完整且有效,提高了项目开发效率,说明了基于容器化技术的持续集成模型具有很强的实用性,能够为软件项目提供良好的持续集成服务。
基于容器化技术的持续集成平台模型研究与实现
这是一篇关于持续集成,容器化技术,Docker,自动化测试,自动化部署的论文, 主要内容为在互联网及信息技术高速发展的当今时代,各行各业都需要信息化的处理方式,由此促进了软件工程理论的飞速发展。软件行业需要快速、高效地开发出符合行业需求的软件,同时确保软件的质量。持续集成技术的发展极大地提高了软件开发的效率,减少了开发过程及软件集成过程中出现的错误。而当前软件开发中广泛应用的持续集成技术仍然存在自动化程度低、集成环境无法统一的问题。本课题结合了容器化技术,构建了基于容器化技术的持续集成系统模型,对于持续集成系统的搭建具有一定的借鉴意义。首先,描述了国内外持续集成方面的研究和发展状况,分析了基于Docker的容器化技术在持续集成当中的应用场景,总结了现有持续集成系统在架构设计、数据库持续集成以及执行环境搭建方面存在的问题。为此,分析了持续集成系统的特点,剖析了基于Docker的容器化技术在持续集成系统中的应用。其次,抽象出了基于容器化技术的持续集成平台的总体架构,构建了具有管理控制层、业务服务层、基础数据层和目标环境层的层次模型,归纳并介绍了模型中不同层次的关键功能及设计方案。再次,结合基于容器化技术的持续集成平台模型,设计了符合该模型的持续集成平台架构,采用基于Docker的容器化技术搭建了平台的基本框架,实现了持续集成任务的管理调度、持续构建、自动化测试、自动化部署和镜像及容器管理功能。最后,配置了持续集成平台的实验环境,以万通创新软件实验室项目“胜乐电子票务平台”为例,验证了持续集成平台的系统功能,功能完整且有效,提高了项目开发效率,说明了基于容器化技术的持续集成模型具有很强的实用性,能够为软件项目提供良好的持续集成服务。
基于B/S结构的OpenStack云平台自动化部署系统设计与实现
这是一篇关于云计算,OpenStack,B/S结构,自动化部署的论文, 主要内容为自从亚马逊的AWS服务取得巨大的成功,以云平台为基础设施提供云服务的公司便一个接一个地出现。通过在传统的IT基础设施上搭建云计算平台,可以将IT资源或服务像普通商品一样在网上售卖,按量计费。对于传统IDC机房供应商来说,这提高了各种资源的利用率和能效比。对于用户来说,云计算平台降低了他们的运营成本,使他们能更容易的构建出自己的业务体系。在众多云计算解决方案中,开源云计算平台OpenStack无疑是最受瞩目的。从其开源至今,已经吸引了IBM、RedHat、HP等众多商业巨头的加入,开源社区不断扩大,技术沉淀也越来越深厚。如今,OpenStack已经成为开源云计算平台的代名词,很多公司都基于OpenStack技术搭建了自己的公有云或私有云平台。然而,云平台的搭建一直都不是一件容易的事情,这主要是因为OpenStack集群过于庞大,组件间的依赖关系过于复杂,配置参数太多难以管理。因此,如何快速高效地部署大规模的OpenStack云计算平台成为目前亟待解决的问题。本文在充分调研了OpenStack架构模型和主要组件原理的基础上,设计了一个基于B/S结构的云平台自动化部署子系统。系统主要包含登录管理模块、用户管理模块、资源发现模块、系统安装模块和组件安装模块5个部分,此外还实现了健康检查、集群扩容、配置项管理等扩展功能,所有功能都可以通过Web页面进行操作。对于配置参数的收集和整理,采用元数据来描述配置项,从而实现增减前端的配置项而无须修改后台代码。采用异步编程的思想,使用消息队列和任务队列接收并处理系统内部请求,避免长时间的等待。在软件部署时,对各个组件作了松耦合处理,使部署过程更加智能化。本系统基于当前流行的B/S结构,通过Python Flask框架和AngularJS框架设计并实现,经过单元测试和功能测试后部署到生产环境中,极大地提高了部署人员的工作效率。
基于B/S架构的自动化运维平台的设计与实现
这是一篇关于持续集成,Jenkins,自动化部署,自动化监控的论文, 主要内容为随着国家信息化建设程度越来越高,尤其是近年来互联网+概念的兴起,互联网思维已经深入到各行各业,尤其是在经济、文化生活中发挥着重要的影响作用。随着互联网的不断发展,伴随而来的是各种业务需求,从系统开发、部署、上线,到后期的优化、维护,传统的方法已无法更好的满足各方面需求。因此,如何开发并设计一个符合企业自身业务需要、提高运维人员效率的自动化运维平台已经成为高校研究的一个重要课题。在这样的背景下,作者站在运维人员的角度上,通过理论研究,实际应用,希望能够解决如何更高效的实现持续集成以及后期的系统监控这一问题。本文主要是设计与实现一个自动化运维平台。首先分析了论文的研究背景及自动化运维国内外的研究状况,论文选题的来由,接着介绍了相关的理论技术。本文研究和设计的自动化运维平台主要包含两个子系统:持续集成子系统和自动化监控子系统。具体包括以下几个方面:(1)持续集成的研究与实现。实现自动化部署,主要是根据持续集成的思想,研究开源软件Jenkins,通过系统对Jenkins接口的调用,实现代码的自动化部署,自动化测试,代码覆盖率检查,编码规范检测等等。(2)自动化监控的研究与实现。通过对SNMP协议的研究,实现对设备状态的实时监控,获取相关数据,结合Web技术,生成并显示报表。(3)平台开发相关的研究。平台的研发是基于B/S架构的,研发主要是利用Python的Web开发框架Django;通过研究Django在快速开发过程中以及Python在数据处理方面的优势,结合Web前端技术,最终实现运维人员通过客户端浏览器便可实现持续集成过程,并对系统进行有效的监控。通过作者的努力,相信本文的研究可以减少运维人员许多繁重的重复劳动,有效的提高运维效率,保障系统的稳定性,有效性。
基于B/S结构的OpenStack云平台自动化部署系统设计与实现
这是一篇关于云计算,OpenStack,B/S结构,自动化部署的论文, 主要内容为自从亚马逊的AWS服务取得巨大的成功,以云平台为基础设施提供云服务的公司便一个接一个地出现。通过在传统的IT基础设施上搭建云计算平台,可以将IT资源或服务像普通商品一样在网上售卖,按量计费。对于传统IDC机房供应商来说,这提高了各种资源的利用率和能效比。对于用户来说,云计算平台降低了他们的运营成本,使他们能更容易的构建出自己的业务体系。在众多云计算解决方案中,开源云计算平台OpenStack无疑是最受瞩目的。从其开源至今,已经吸引了IBM、RedHat、HP等众多商业巨头的加入,开源社区不断扩大,技术沉淀也越来越深厚。如今,OpenStack已经成为开源云计算平台的代名词,很多公司都基于OpenStack技术搭建了自己的公有云或私有云平台。然而,云平台的搭建一直都不是一件容易的事情,这主要是因为OpenStack集群过于庞大,组件间的依赖关系过于复杂,配置参数太多难以管理。因此,如何快速高效地部署大规模的OpenStack云计算平台成为目前亟待解决的问题。本文在充分调研了OpenStack架构模型和主要组件原理的基础上,设计了一个基于B/S结构的云平台自动化部署子系统。系统主要包含登录管理模块、用户管理模块、资源发现模块、系统安装模块和组件安装模块5个部分,此外还实现了健康检查、集群扩容、配置项管理等扩展功能,所有功能都可以通过Web页面进行操作。对于配置参数的收集和整理,采用元数据来描述配置项,从而实现增减前端的配置项而无须修改后台代码。采用异步编程的思想,使用消息队列和任务队列接收并处理系统内部请求,避免长时间的等待。在软件部署时,对各个组件作了松耦合处理,使部署过程更加智能化。本系统基于当前流行的B/S结构,通过Python Flask框架和AngularJS框架设计并实现,经过单元测试和功能测试后部署到生产环境中,极大地提高了部署人员的工作效率。
容器云平台上应用自动化部署系统的设计与实现
这是一篇关于容器云平台,应用部署,自动化部署,Kubernetes的论文, 主要内容为近几年来,云计算技术发展迅猛,以容器、微服务、DevOps为代表的云原生技术得到了大量的落地实践。以云原生技术为基座建设的容器云平台越来越多地出现在人们的视野中,同时,应用架构的革新导致平台上服务、应用的部署需求越来越旺盛。为了更便捷快速地完成容器云平台下的应用部署任务,论文设计并实现了一个自动化部署系统。容器云平台上的应用自动化部署系统主要是为了实现将应用部署到云平台中,使得应用被云平台管理,以此将开发人员从繁杂的部署、运维中解放出来,让开发人员更多地关注需求开发,从而提升项目开发效率。自动化部署系统的实现借助了一些开源组件,系统包装了Jenkins组件,设计出了一种更适配于容器云平台的流水线机制。论文提出了多集群的部署方案,从而实现了系统资源与用户资源的隔离。论文设计并实现了一种全新的模板引擎,解决了自动化部署子系统与云平台的调用问题。系统通过挂载存储卷的方式实现了依赖复用以及文件复用,并提供一种动态服务来完成集成与部署任务。依赖复用和动态服务的设计使得系统能更有效地利用资源,基于动态配置的流水线机制使得系统能应对更复杂的应用部署场景。系统不仅提升了资源利用率,还提升了开发效率,在实际生产具有较大的价值。
基于Docker集群的农业云平台资源监测管理系统设计与实现
这是一篇关于农业云平台,Docker集群,资源监测,时序预测,弹性伸缩,自动化部署的论文, 主要内容为随着互联网的普及和云计算技术的发展,越来越多的应用基于云平台技术进行系统部署工作。传统的云平台1.0通常使用虚拟机技术搭建,能够在一定程度上降低软件运维成本,提高安全性。但是这种云平台在虚拟机启动时间和部署新应用等方面表现不佳,而使用Docker容器技术的云平台2.0启动时间更快,且占用的资源更低,尤其在微服务方面表现较好。当前,随着以物联网为代表的新一代信息技术在农业生产实践中的大量应用,各种农业信息系统日益增多,通常需要借助于云平台对这些系统进行集成与管理。特别是随着智慧农业的研究与建设,农业云平台的终端量和其产生的数据量快速增长,业务性密集计算与业务端低算力装备的矛盾表现得较为普遍,智能农业终端往往要借助于云端的算力来完成计算工作。在智慧农业场景下,终端设备除了需要在云平台静态加载应用服务外,还需要在云平台动态加载服务,对短周期数据进行实时决策,基于虚拟机的云平台不能够很好地应对这种应用场景。而基于Docker容器的云平台2.0技术,由于自身优势,更适用于这种场景。当前Docker容器技术仍然存在着资源管理机制不够完善的问题,以及当前的管理系统在动态资源分配方面不够灵活,且无法在保证应用服务质量的前提下最大化系统整体利用率。中原农村信息港是基于虚拟机技术和Docker容器集群技术建设的河南省国家农村信息化示范省综合服务平台,本文以中原农村信息港农业云平台Docker容器集群为研究对象,围绕Docker容器资源管理问题,进行容器资源监测模块设计,构建容器资源预测模型,并在此基础上建立基于Docker集群云平台的资源监测管理系统,实现农业云平台的容器资源实时监测、资源弹性化管理和应用服务自动化部署。主要研究内容包括:(1)设计基于Docker集群的云平台资源监测管理架构。采用c Advisor、Prometheus等技术构建容器集群云平台资源监测架构,实时采集各个容器所使用的系统资源情况,并将这些数据用Influx DB数据库进行持久化存储,为弹性化资源管理提供决策数据。(2)构建基于深度学习的容器资源预测算法。针对该容器集群的CPU、内存等时间序列的监测数据,构建双层LSTM、Attention-LSTM、GRU-LSTM等模型进行资源预测,并根据预测结果实现容器集群的弹性伸缩和异常数据的及时告警。在农业云平台应用场景下,对资源预测模型的运行效率提出较高要求,而GRU-LSTM预测模型的预测时间相较于Attention-LSTM模型效率提高了80%,GRU-LSTM模型预测内存使用率的MSE为0.032,而双层LSTM模型在预测内存使用率的MSE为298.33,相比之下,GRU-LSTM预测效果更好。因此本文选用GRU-LSTM作为系统中容器资源数据模块使用的预测模型。(3)设计应用自动化部署模型。设计基于Jenkins技术的镜像管理和应用自动化部署模型,测试结果表明,能够实现对平台镜像的有效管理和平台应用的自动化部署。(4)综合上述研究结果,构建基于Docker集群的农业云平台资源监测管理系统,进行了中原农村信息港农业云平台资源管理的仿真实验,实验结果表明,该系统可以实现对容器资源监测与可视化展示、资源预测与弹性伸缩调度、应用的自动化部署等管理功能。本文构建的基于Docker容器集群的农业云平台资源监测管理系统,实现了平台资源的有效管理,可以提高平台整体资源利用,可以为农业云平台资源管理提供可借鉴的思路和技术工具支持。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:代码海岸 ,原文地址:https://bishedaima.com/lunwen/47981.html