面向复杂环境的服务推荐算法研究
这是一篇关于服务推荐,冷启动,容错,微服务,移动边缘计算的论文, 主要内容为服务推荐一直是服务计算领域长期以来备受关注的问题。伴随着近些年来诸多新兴技术在新领域的快速发展,服务计算也在各种新场景下也得到了应用。而用户在进入新场景下,由于出于隐私等方面的考虑势必使得推荐系统会面对稀疏的用户数据。但是这种在冷启动环境下进行的推荐系统任需要为用户提供准确、及时和稳定的服务质量。尤其在一些延时敏感的分布式系统中,任何请求调用的失败都有可能引起不可挽回的损失。这一点使得服务推荐系统需要在考虑冷启动环境下,如何依据服务组合特性和不同节点的具体情况,为用户和边缘节点提供准确而稳定的服务。针对上述问题,本文的主要工作尝试在移动边缘计算环境下,使用迁移学习和基于图的启发信息,提供一种能准确而稳定的服务推荐方法,使得异构边缘服务器和冷启动环境下的目标用户的都能获取到满意的服务。在相关实验中,真实世界的数据集中的结果显示,本工作相比于传统算法能更加稳定和快速地完成训练任务并收敛,同时也为用户在极端环境下提供了更优的服务质量。总的来说,本文主要贡献在于:(1)提出了一种基于迁移学习和语义模型的矩阵初始化方法,面向冷启动环境提出能保留信息的权重衰退方案。(2)提出了一种基于图信息的启发式算法,在具有缓存机制的移动边缘计算和微服务环境下,通过将图信息转换为不同的约束条件,并引入维系全局的表指引搜索方向。
基于两级映射体系的分布式存储子系统的设计与实现
这是一篇关于分布式存储系统,数据一致性,容错,资源定位的论文, 主要内容为随着国家对下一代宽带无线移动网络建设的推进，能够满足各种电信业务数据要求的移动控制网络对后台的存储支持提出了越来越高的要求。传统的存储解决方案往往不能满足系统和用户对可扩展性和可用性的需求，在面对海量用户和海量文件数据的情况下更是捉襟见肘：系统规模无法适应用户与应用规模的增长，应对海量数据的处理与访问也显得力不从心。 本文首先对国内外几种主流的分布式文件系统进行了调研与介绍，面对海量用户与海量文件的应用场景，设计并实现了分布式存储系统CSTORE中的资源定位规则和数据存储模块。 CSTORE采用纯分布式的架构，将元数据与数据的分别存储在不同的集群中，并实现了一种基于两级映射的资源定位规则，结合负载均衡与数据恢复策略，能够提供较好的可扩展能力。元数据和数据的分离使得客户端对两种数据的访问分开，便于它们各自的管理与性能的优化；而集群的利用进一步促进了数据的分布式管理，避免了单点失效带来的危险。 资源定位规则建立了资源与存储数据的服务器之间的映射关系，它为客户端提供了一种可靠的寻址方法，系统中任何节点都可以使用它独立计算出资源的位置，既充分利用了客户端的资源，又减轻了服务器端的压力；它的伪随机特性和映射变换同时也为系统提供了较好的负载均衡和可扩展性。 数据存储模块为用户提供数据存储与访问服务，存储到系统中的数据按资源定位规则被分为了多个不同的资源管理单元，资源管理单元的多个副本之间两两建立心跳连接以推送数据和交换时序，在一定程度上保证了数据的可用性的同时也保证了一致性；容错方面，冗余机制保证了系统可以容忍在一定范围内的失效，数据恢复机制可以使得失效的模块能够尽快的对客户端服务。在数据存储模块中所有文件片都使用全局唯一ID对所存储的数据进行了去重处理。数据去重可以节省存储和管理成本，提高物理存储空间利用率。 本文最后对存储系统的功能和性能进行了测试，证明了它能正确执行所需功能并保证了其高效性。
私有云存储系统的设计与实现
这是一篇关于云存储系统,分布式处理,数据存储,一致性,容错的论文, 主要内容为随着信息技术的不断发展和普及,数据量迅猛增长,数据之间的联系也越来越紧密,这使得高能性能计算[23,24]和大数据处理[25-27]日益成为人们关注的焦点。如今,云存储技术因其高效的管理方式,高可靠性,高安全性等特点成为企业存储数据的首选解决方案。而在云存储系统设计之中,其高效性、可扩展性和安全性成为设计的难点和重点。在云计算业界,云存储系统的元数据管理单元和数据存储单元的设计和实现一直是整个难点问题。由于文章篇幅和时间的限制,本文重点研究数据存储单元的设计和实现。本文根据当前的存储系统和分布式文件系统的特点和应用,并结合企业存储服务的实际需求,提出并实现了一种具有高可扩展性和高可用性的云存储系统C-Store。本文先介绍已有的几种分布式存储系统和与云存储相关技术理论基础,接着介绍本云存储系统的总体设计思路和方法,重点介绍数据存储系统的设计和实现,最后通过对系统的测试来验证之前的设计思路。云存储系统C-Store的总体架构采用分布式构架,元数据部分和数据部分的数据采用分别存储方式,并分别用不同的、各自的资源管理单元(桶)来存储,这样有利于元数据和数据分别管理和进行性能优化,避免单个节点失效带来的风险;同时采用负载均衡技术使之各个节点负载均衡,使用数据恢复策略等来提高系统的可靠性和可扩展。本文实现了数据存储单元中的设计思路和设计要点。整个数据存储子系统实现是在Linux环境下使用C++来实现的;实现之后系统,用户可以通过客服端来上传、下载和删除数据;实现数据以键值对存储方式进行存储,据按照基于规则的资源定位策略(多层映射),定位到多个不同的数据存储单元;通过桶的扩展和迁移来实现系统的负载均衡机制;用多副本机制来实现数据的恢复和重建;总的来讲实现了一个具有高性能、可用性[22]和高可靠性的云存储系统。
基于Flink的IoT服务生成及运行时容错研究
这是一篇关于物联网服务,服务代码自动生成,Flink,容错,按需动态检查点的论文, 主要内容为业务系统通过整合物联网(Internet of Things,IoT)能力来感知物理环境的实时状况,可提高系统的响应能力和灵活性。IoT服务从物联网数据中提取有意义的业务事件,并封装成一个包含各种功能的软件组织,有效降低了业务系统利用物联网数据的难度。在对IoT服务实际应用的研究中遇到两个关键问题:物联网数据具有多源、异构、海量等特征,如何低代码生成IoT服务,快速实现海量服务的维护?IoT服务及其运行环境具有动态特性,如何提高其可靠性保障IoT服务的质量?针对上述问题本文以Apache Flink作为IoT服务运行载体,设计实现了IoT服务自动生成引擎,并提出了基于Flink的IoT服务运行时容错优化方法。本文主要研究内容如下:1)IoT服务自动生成引擎。针对IoT服务低代码生成、运行和维护问题,本文设计了引擎的实现方法。使用基于模板和模型的代码生成技术生成相应的服务代码,并自动提交到服务器Flink集群中运行。最后通过实验验证了引擎的正确性。2)按需动态检查点容错方法。针对IoT服务质量和运行稳定性的问题,本文基于Flink提出了按需动态检查点容错方法。该方法根据数据波动速率实时计算恢复延迟,当超过阈值时主动触发检查点操作,以避免较高的端到端延迟和恢复延迟。为实现该方法,对Flink源码进行了修改,增加了主动触发检查点接口。实验发现,与传统静态检查点机制相比系统算子效率最高提升了11.9%。3)设计并实现了IoT服务平台系统原型。该平台以服务自动生成引擎为核心,实现了自动生成服务、自动运行等一系列功能,并接入了工作流系统和服务库管理系统,使用温度报警服务和火灾预警服务的具体实例验证了系统的有效性和性能。
基于Flink的IoT服务生成及运行时容错研究
这是一篇关于物联网服务,服务代码自动生成,Flink,容错,按需动态检查点的论文, 主要内容为业务系统通过整合物联网(Internet of Things,IoT)能力来感知物理环境的实时状况,可提高系统的响应能力和灵活性。IoT服务从物联网数据中提取有意义的业务事件,并封装成一个包含各种功能的软件组织,有效降低了业务系统利用物联网数据的难度。在对IoT服务实际应用的研究中遇到两个关键问题:物联网数据具有多源、异构、海量等特征,如何低代码生成IoT服务,快速实现海量服务的维护?IoT服务及其运行环境具有动态特性,如何提高其可靠性保障IoT服务的质量?针对上述问题本文以Apache Flink作为IoT服务运行载体,设计实现了IoT服务自动生成引擎,并提出了基于Flink的IoT服务运行时容错优化方法。本文主要研究内容如下:1)IoT服务自动生成引擎。针对IoT服务低代码生成、运行和维护问题,本文设计了引擎的实现方法。使用基于模板和模型的代码生成技术生成相应的服务代码,并自动提交到服务器Flink集群中运行。最后通过实验验证了引擎的正确性。2)按需动态检查点容错方法。针对IoT服务质量和运行稳定性的问题,本文基于Flink提出了按需动态检查点容错方法。该方法根据数据波动速率实时计算恢复延迟,当超过阈值时主动触发检查点操作,以避免较高的端到端延迟和恢复延迟。为实现该方法,对Flink源码进行了修改,增加了主动触发检查点接口。实验发现,与传统静态检查点机制相比系统算子效率最高提升了11.9%。3)设计并实现了IoT服务平台系统原型。该平台以服务自动生成引擎为核心,实现了自动生成服务、自动运行等一系列功能,并接入了工作流系统和服务库管理系统,使用温度报警服务和火灾预警服务的具体实例验证了系统的有效性和性能。
面向复杂环境的服务推荐算法研究
这是一篇关于服务推荐,冷启动,容错,微服务,移动边缘计算的论文, 主要内容为服务推荐一直是服务计算领域长期以来备受关注的问题。伴随着近些年来诸多新兴技术在新领域的快速发展,服务计算也在各种新场景下也得到了应用。而用户在进入新场景下,由于出于隐私等方面的考虑势必使得推荐系统会面对稀疏的用户数据。但是这种在冷启动环境下进行的推荐系统任需要为用户提供准确、及时和稳定的服务质量。尤其在一些延时敏感的分布式系统中,任何请求调用的失败都有可能引起不可挽回的损失。这一点使得服务推荐系统需要在考虑冷启动环境下,如何依据服务组合特性和不同节点的具体情况,为用户和边缘节点提供准确而稳定的服务。针对上述问题,本文的主要工作尝试在移动边缘计算环境下,使用迁移学习和基于图的启发信息,提供一种能准确而稳定的服务推荐方法,使得异构边缘服务器和冷启动环境下的目标用户的都能获取到满意的服务。在相关实验中,真实世界的数据集中的结果显示,本工作相比于传统算法能更加稳定和快速地完成训练任务并收敛,同时也为用户在极端环境下提供了更优的服务质量。总的来说,本文主要贡献在于:(1)提出了一种基于迁移学习和语义模型的矩阵初始化方法,面向冷启动环境提出能保留信息的权重衰退方案。(2)提出了一种基于图信息的启发式算法,在具有缓存机制的移动边缘计算和微服务环境下,通过将图信息转换为不同的约束条件,并引入维系全局的表指引搜索方向。
一个J2EE服务容错配置管理工具的设计与实现
这是一篇关于容错,故障,中间件,J2EE服务,可靠性的论文, 主要内容为作为主流的分布式软件系统运行支撑平台,J2EE中间件封装了一组公共服务以提高分布应用的开发、部署、维护和演化的效率与质量。Internet的普及、中间件标准化的完善以及开源软件的兴起,均不同程度地促进了中间件服务的繁荣。这种繁荣在满足用户个性化要求和适应Internet开放性的同时,也使得中间件服务的可靠性对整个系统可靠性的影响显著增加。因此为了提高分布式系统的可靠性,有必要考虑提高系统内的中间件服务的可靠性。 经过长期的研究与实践,容错技术领域已形成了许多被广泛认同并使用的概念、方法与技术。尽管各种容错方法和技术都能提高中间件服务的可靠性,但是不同的容错方法其效果是不同的,即使是相同的容错方法应用到不同的中间件服务中,其对系统可靠性提高的程度也是不同的,因此有必要对系统中J2EE服务的容错配置过程进行管理,使我们能够为目标系统找到最合适的容错配置方案。 容错配置管理需要解决以下几个关键问题:(1)如何选择进行容错的服务。即使将相同的容错机制应用到系统的不同服务中,其容错的效果也是有很大差别的,因此必须找到影响系统可靠性的关键服务并为其配置合适的容错机制,才能最有效的实现系统的容错配置,提高系统的可靠性;(2)如何将容错机制在系统中实现,采用硬编码的方式虽然是最直接的方法,但是这样的实现必然会导致容错配置具有较低的复用性和灵活性;(3)面对不同的容错配置方案,它们的容错效果和实现代价都有差异,如何才能对不同的配置方案进行比较和分析,并最终找到合适的容错配置方案。 为了解决这些问题,本文在详细考察了目前已有的容错配置管理方法之后,提出了一种中间件服务容错配置管理方法和支持工具。试图通过此方法和工具,帮助我们找到目标系统中相对于可靠性而言的关键服务,并为关键服务配置合适的容错机制,包括错误检测机制和故障恢复机制,然后再评估为关键服务使用不同的容错配置方案后使系统可靠性提高的程度,通过对不同容错配置方案的效果进行比较分析,辅助系统开发和维护人员做出是否使用服务容错、使用何种容错方法等决策,从而能够简化分布式系统的容错配置过程,同时提高容错配置的效率。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设港湾 ，原文地址：https://bishedaima.com/lunwen/48455.html
