推荐系统综合仿真平台执行容器的研究与实现
这是一篇关于推荐系统,并行计算,集群管理,Fourinone的论文, 主要内容为互联网技术的发展极大推动了人们与网络互动的频率,从而导致网络交互中的数据量成倍增长,大数据量的产生同时也造成信息过载这一严峻问题。诸多工具被开发用于协助检索、搜索和过滤来解决信息过载问题,但这些工具更倾向于提供过多无价值的信息,推荐系统的诞生就是为了克服这一局限性。推荐系统在众多资源中筛选中用户可能感兴趣的物品或信息,但也存在局限性,现有的某个推荐系统一般只包含一类的推荐算法,在特定的条件下发挥很好的作用,但并不适用其他条件。本文提出一种设计方案,实现一个推荐系统仿真平台,能够模拟自由插拔各类型算法,实现多种算法共存机制,并提供各类算法对应的各类数据集,最后能够对运用环境具有自适应性,自动检测并选择合适的算法。本文着眼于推荐系统综合仿真平台的执行引擎对多种算法的适配,以及其可扩展性进行设计分析并实现。首先对推荐系统的发展现状进行了总结,并对构建推荐系统仿真平台的相关技术进行研究与分析,研究了并行计算、集群管理以及当前比较流行的分布式框架。然后针对该仿真平台的实际需求,重点针对执行引擎进行了详细需求分析;根据整体需求设计出整体架构,分解出算法执行体容器和执行体配置工具,分别对其关键功能进行详细设计,最后实现这一多种推荐算法共存且可自由插拔的推荐仿真平台。本文提出的推荐系统综合仿真平台的先进性在于以下几个方面:(1)该仿真平台的执行容器是基于分布式框架Fourinone进行搭建,充分利用Fourinone已有框架,并根据该仿真平台的实际需求添加相应功能,具有个性化的功能设计;采用分布式并行计算处理,在执行计算处理效率上比起单机运行有显著提升。(2)该仿真平台执行引擎的算法库默认存储多个类型的算法,并且算法可根据用户需要进行自由插拔,实现多种推荐算法共存机制,并提供不同算法对应的数据集供调用,并能对算法执行质量进行评估。(3)该仿真平台对执行任务服务器采用集群管理机制和多种监控机制,集群管理中采用心跳监控机制对集群中其他服务器进行跟踪监控,分配任务服务器对执行任务服务器进行执行进度监控,并向用户反馈执行进度情况。
脉冲星搜索计算服务平台的研究与实现
这是一篇关于集群管理,Docker,分布式计算,服务平台,微服务的论文, 主要内容为天文数据的搜集和处理是推动天文学发展的重要动力,是理论验证和未知探索的有机结合。中国天眼,500米口径球面射电望远镜(Five hundred meters Aperture Spherical Telescope,简称FAST),在天文数据观测方面有着卓越贡献。目前,贵州师范大学贵州省信息与计算科学重点实验室承担了部分FAST数据的计算,由实验室的脉冲星搜索计算集群来计算脉冲星、单脉冲、快速射电暴等数据。基于FAST的庞大数据量,实验室脉冲星搜索计算集群在硬件与软件上不断升级迭代,共有约150个计算节点参与计算。在集群迭代升级过程中,集群管理问题逐渐暴露出来,集群的多样性和算法的耦合程度让集群管理变得困难。如今,国内外对于集群的管理重点在任务调度和资源管理上,集群自身都基于相同的节点进行搭建,使用成熟的集群管理框架形成分布式的计算集群。在贵州省信息与计算科学重点实验室的脉冲星搜索计算集群中,当前主要使用自主搭建的分布式计算和存储系统如Craber计算加速系统,其均基于已有的计算节点,设计了特定的任务调度程序和数据库,实现了分布式计算方法和任务调度,辅助进行脉冲星搜索计算。针对于脉冲星搜索计算集群的特殊性,以半游离的管理方式设计一个脉冲星搜索计算服务平台对集群进行管理。一方面将节点的物理属性拆解,以逻辑计算机的方式进行管理,脉冲星搜索计算服务平台作为工厂,将原有的针对每个属性的管理指令解析之后重组发送到对应的节点上;另一方面,提出微服务模型,让原有的计算算法能够拆分结构成为计算元,再通过Docker等外层的包装,形成微服务。同时脉冲星搜索计算服务平台将整合数据展示的可视化计算管理和脉冲星搜索计算结果数据的检索,让原有的脉冲星计算过程能够直观感受和管理,在搜集了用户体验和反馈之后,对计算结果的搜索和标注进行优化整合,让平台能够管理从计算到搜索的过程。脉冲星搜索计算服务平台基于Docker容器技术,搭建一套B/S架构模式的服务,以实现快速部署、可视化操作和管理、简单操作复杂任务的目标,并注重软件和硬件的贴合以及更新迭代的可扩展性。从集群架构理念、微服务架构模型、平台架构出发,解释了脉冲星搜索计算服务平台关键技术和设计思路,并展示重要功能的研究和实现。脉冲星计算搜索平台在基本建成的情况下,能够满足研究人员对集群节点的管理、数据和集群可视化以及结果检索等应用需求,一体化的管理使得部署和扩展相对容易,为脉冲星搜索计算集群未来发展提供了平台。
基于Docker的容器集群管理平台的研究与实现
这是一篇关于容器平台,API网关,服务管理,自动伸缩,集群管理的论文, 主要内容为随着微服务架构和以Docker为代表的容器虚拟化技术的发展,基于Docker容器化的微服务应用部署方式,为广大开发人员提供了高效、敏捷和轻量级方案。但如何对分布在多个主机上的大量Docker容器应用构成的容器集群进行统一的监控运维管理便成了亟需解决的问题。目前开源也推出了诸多容器集群管理工具如Swarm、Marathon、Kubernetes等,但还存在如下问题:(1)当前的开源工具主要实现了对容器的编排管理功能,没有实现对镜像管理、持续集成、运维部署和远程调试等综合功能。同时都是基于命令行操作的分布式系统,对用户的分布式系统和Linux系统知识要求较高,导致用户入门门槛高,学习成本大。(2)目前对应用的自动伸缩功能支持不完善,目前支持单一伸缩指标,不能基于用户自定义的监控指标进行伸缩。(3)无法对集群中部署的大量Docker服务提供的对外服务能力进行统一的上线、发布、监控检查、下线等生命周期进行统一的管理。本文针对以上问题构建了一个基于Docker的容器集群管理平台。主要研究内容包括以下三个部分:1)一种基于自定义监控指标的自动伸缩系统的研究与实现,主要包括收集用户自定义的监控指标,实现基于用户自定义的多种监控指标进行自动伸缩,使应用满足在各种场景下的需求。2)一种基于API网关的服务管理的研究与实现,使用API网关作为平台中服务的统一入口,实现对应用的注册、上线,发布、监控检查、下线等全生命周期管理。3)一种基于Docker的容器集群管理平台的构建,基于以上研究内容,构建了一个容器集群管理平台,包括应用的统一资源监控模块、自动伸缩模块、运维管理模块、服务管理模块、持续集成模块和web控制台等模块。本文构建的基于Docker容器集群管理平台,实现了对平台中部署的应用的统一管理,同时实现了集群及应用的统一监控、运维、部署和远程应用调试等多种功能并通过可视化Web界面的方式降低了用户对容器集群管理的学习成本和入门门槛。本系统已经交付甲方进行使用,并且已经在实验室的容器集群中部署使用。
推荐系统综合仿真平台执行容器的研究与实现
这是一篇关于推荐系统,并行计算,集群管理,Fourinone的论文, 主要内容为互联网技术的发展极大推动了人们与网络互动的频率,从而导致网络交互中的数据量成倍增长,大数据量的产生同时也造成信息过载这一严峻问题。诸多工具被开发用于协助检索、搜索和过滤来解决信息过载问题,但这些工具更倾向于提供过多无价值的信息,推荐系统的诞生就是为了克服这一局限性。推荐系统在众多资源中筛选中用户可能感兴趣的物品或信息,但也存在局限性,现有的某个推荐系统一般只包含一类的推荐算法,在特定的条件下发挥很好的作用,但并不适用其他条件。本文提出一种设计方案,实现一个推荐系统仿真平台,能够模拟自由插拔各类型算法,实现多种算法共存机制,并提供各类算法对应的各类数据集,最后能够对运用环境具有自适应性,自动检测并选择合适的算法。本文着眼于推荐系统综合仿真平台的执行引擎对多种算法的适配,以及其可扩展性进行设计分析并实现。首先对推荐系统的发展现状进行了总结,并对构建推荐系统仿真平台的相关技术进行研究与分析,研究了并行计算、集群管理以及当前比较流行的分布式框架。然后针对该仿真平台的实际需求,重点针对执行引擎进行了详细需求分析;根据整体需求设计出整体架构,分解出算法执行体容器和执行体配置工具,分别对其关键功能进行详细设计,最后实现这一多种推荐算法共存且可自由插拔的推荐仿真平台。本文提出的推荐系统综合仿真平台的先进性在于以下几个方面:(1)该仿真平台的执行容器是基于分布式框架Fourinone进行搭建,充分利用Fourinone已有框架,并根据该仿真平台的实际需求添加相应功能,具有个性化的功能设计;采用分布式并行计算处理,在执行计算处理效率上比起单机运行有显著提升。(2)该仿真平台执行引擎的算法库默认存储多个类型的算法,并且算法可根据用户需要进行自由插拔,实现多种推荐算法共存机制,并提供不同算法对应的数据集供调用,并能对算法执行质量进行评估。(3)该仿真平台对执行任务服务器采用集群管理机制和多种监控机制,集群管理中采用心跳监控机制对集群中其他服务器进行跟踪监控,分配任务服务器对执行任务服务器进行执行进度监控,并向用户反馈执行进度情况。
基于ZooKeeper的配置中心系统设计与实现
这是一篇关于配置文件,分布式,ZooKeeper,集群管理的论文, 主要内容为近年来,伴随互联网的飞速发展,越来越多的企业开始在互联网服务器上部署应用,一台机器无法满足大量并发的请求,因此就需要在集群服务器上部署应用。而这些应用服务会有相关的配置文件对其相关参数进行设置,这些配置是应用相当重要的组成部分。如果采用手动修改的方式来修改和管理这些配置是非常繁琐的,甚至当面对超大规模集群的时候,手动修改会造成各个机器配置文件不统一,难以同步维护,容易出现修改错误的问题,而且手动修改的低效率还会极大的影响集群应用的部署,给软件开发人员增加不必要的工作量。因此,采用一种高效的同步集群配置文件的方法来提高工作效率和减少重复劳动有着十分重要的意义。本文首先对ZooKeeper分布式应用程序协调服务的功能和特性进行了研究分析。ZooKeeper是一个开放源代码的分布式应用程序协调服务,是Google Chubby的开源实现,封装了许多分布式一致性相关的便捷的服务,并且有着消息监听的机制,在分布式系统中有着广泛的应用。之后,论文设计并实现了一种基于ZooKeeper的配置中心系统,该系统分为两部分,分别是配置中心系统管理端和配置中心系统Java客户端。其中,配置中心系统管理端使用SpringMVC框架实现基于ZooKeeper的配置文件统一查看和管理平台,实现了集群配置文件的统一查看和修改,应用程序配置的版本控制、发布配置、删除应用、快速回滚;而配置中心系统Java客户端基于Spring的XML文件配置加载和代码中加载两种方式,实现ZooKeeper连接、配置文件的获取,配置文件更新事件的监听,配置文件的三级缓存以及配置文件的解析。最后论文通过搭建的ZooKeeper服务、配置中心管理端服务、测试应用服务环境,对配置中心系统进行了功能测试以及性能测试。测试表明,配置中心系统很好的实现了设计的功能的同时并且具有预期的实时性和可靠性。
面向PC端恶意应用的自动化测试系统设计与实现
这是一篇关于自动化,集群管理,流量分析的论文, 主要内容为随着互联网应用和相关业务的迅猛发展,网络设备得到广泛普及,我国网民使用个人电脑上网的比例逐年攀升,众多组织和个人面临来自各类恶意应用的安全威胁。恶意应用测试指通过运行恶意应用,分析其网络流量特征。开展恶意应用自动化测试工作,有助于为研究此类应用提供重要支撑,从而更有效地维护网络安全和国家安全。运行在PC端的恶意应用种类繁多、运行平台复杂,需要投入大量人力和真实的网络才能及时测试和分析。为解决上述问题,该论文设计并实现面向PC端恶意应用的自动化测试系统,通过大规模、自动化、并行化的方式运行恶意应用以提高测试效率。根据运行平台不同,恶意应用大致分为以下几种:Windows、Linux和MacOS系统的客户端应用以及Chrome、Firefox、Edge、Opera浏览器的扩展应用。本论文搭建并管理三种操作系统的虚拟机集群,虚拟机中安装浏览器,为恶意应用提供运行环境,系统通过自动化脚本运行恶意应用。本论文开发Web服务,负责管理虚拟机集群、应用和脚本等实体,并监控自动化任务下发、调度、部署和运行整个过程。本论文对自动化脚本编写过程中应用元素检查流程、操控接口设计两个部分做出优化,大大减少工作人员编写脚本所需时间。系统在应用自动化运行期间,抓取后台流量并进行分析,分析内容为获取数据包中的目的IP地址以及判断SNI(Server Name Indication)域名的可信度。系统基于前后端分离的B/S架构设计,采用多层次MVC的软件架构模式。前端采用Vue.js开发,服务端使用Flask与MongoDB开发,采用Qemu/KVM对虚拟化提供技术支持并由libvirt管理虚拟机。系统根据恶意应用运行平台不同,封装不同的自动化技术,提供统一的操控接口。系统使用Ansible部署自动化执行任务,在虚拟机中通过Scapy抓取后台流量并解析。本论文的主要工作包含虚拟机集群管理、恶意应用及自动化任务管理、脚本编写过程优化、流量分析等内容,通过该系统用户可以在虚拟机集群中规模化、并行化、自动化运行恶意应用,并进行流量分析。该系统将极大便利应用自动化测试工作,给技术人员提供有力支持。系统具有良好的扩展性,方便技术人员扩展虚拟机数量、增加新的恶意应用以及自动化脚本,以便进行更多测试。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码客栈 ，原文地址：https://bishedaima.com/lunwen/47824.html
