基于矩阵分解的云服务QoS预测研究及应用
这是一篇关于云服务,QoS预测,矩阵分解,循环神经网络,服务推荐的论文, 主要内容为典型特种工业设备智能检测监测平台服务于制造企业、检验机构和监管部门,是工业发展的重要一环。随着平台的不断发展,服务内容不断增多,信息过载问题也随之出现。作为解决信息过载问题的有效手段,云服务领域的服务推荐通常使用QoS作为推荐指标,QoS预测的精准度也直接影响了服务推荐的质量。然而,当前的QoS预测方法都是应用在互联网场景下的,没有涉及到特种工业设备云平台这一特殊场景。而且当前的QoS预测方法通常认为QoS数据是完全可靠的。针对这一情况,本文在国内外相关研究的基础上,分析了QoS数据中异常值对于预测的影响,并提出了一种基于异常值分析的矩阵分解QoS预测方法。为了满足云服务平台实时服务的特点,在利用上述预测方法的同时引入LSTM模型提出了一个基于LSTM矩阵分解的时间感知QoS预测方法,并将依据该模型实现的服务推荐系统应用到了云服务平台上。本文主要工作内容如下:(1)分析当前国内外QoS预测领域的基础理论和各项关键技术,从中总结现有方法的缺陷。同时结合课题的研究背景和意义,确定后续需要解决的核心问题,设计研究方法和实现方法。(2)针对现有方法通常依赖于QoS数据的可靠性这一点,详细分析了异常值对于QoS预测的影响,在分析了现有方法在这一方面的缺陷后,使用对异常值不敏感的损失函数结合矩阵分解方法构建了目标函数,提出了一种基于异常值分析的矩阵分解QoS预测方法,最后在对比实验中验证了该方法的有效性。(3)云服务平台作为提供实时服务的平台,需要一个能够进行实时推荐的系统。而传统的预测方法无法处理时序数据,因此在矩阵分解方法的基础上引入循环神经网络的变种模型LSTM来处理时序数据。提出了一个对于异常值不敏感且能够在时间感知场景下进行预测的方法。(4)立足智能检测监测云服务平台的实际场景,结合软件开发技术,采用SOA架构和多级存储的方案,设计并实现了云服务推荐原型系统。云服务推荐原型系统中集成了时间感知QoS预测模型,并将预测数据用于云服务推荐。
基于知识图谱的服务推荐和服务发现方法
这是一篇关于知识图谱,服务发现,服务推荐,表示学习,协同过滤的论文, 主要内容为Mashup是一种整合了多个服务(如开放API)的新型应用程序。对于Mashup的开发而言,所选取的服务的质量极其重要。然而,随着互联网技术的高速发展,服务的数量急剧增加。在数量庞大的服务集中人工挑选合适的服务已变得不太现实。如何为Mashup开发者提供合适的服务成为服务计算领域的热点和难点问题。目前,开发者获取服务的方法大致可分为两种——服务推荐和服务发现。服务推荐是在开发者没有明确需求的情况下,仅仅根据历史使用记录和服务信息为开发者主动推荐服务的方法;服务发现则是在有明确需求的情况下,根据开发者的需求被动发现服务的方法。近年来,研究人员提出了许多服务推荐和服务发现的方法来为开发者获取高质量的服务,取得了不错的效果。但是,现有的研究仍存在如下不足:(1)现有的服务推荐方法大多基于协同过滤算法,极易受数据稀疏性的影响。此外,当缺少服务历史使用记录时,现有的很多服务推荐方法存在冷启动的问题;(2)现有的服务发现方法过于依赖语义信息,无法挖掘服务间的深层关系。此外,开发者提出的需求往往不够精确,导致服务发现的准确率不高。针对上述问题,本文提出了基于知识图谱的服务推荐和服务发现方法,利用知识图谱技术解决上述服务推荐中数据稀疏以及服务发现中过于依赖语义信息的问题。本文具体的研究内容如下:(1)基于知识图谱和协同过滤的服务推荐方法研究针对目前服务推荐方法普遍存在数据稀疏以及冷启动的问题,本文提出了一种基于知识图谱和协同过滤的服务推荐方法(A Service Recommendation Algorithm based on Knowledge Graph and Collaborative Filtering,KGCF-SR)。该方法将服务的相关信息嵌入到知识图谱中,从而降低数据稀疏性带来的不良影响。此外,通过分析Mashup之间功能集的相似性来解决冷启动问题。具体而言,KGCF-SR模型包含以下步骤:首先,将服务和Mashup的相关信息作为实体构建服务知识图谱。利用表示学习算法Trans H将图谱中的服务实体嵌入到低维向量空间,并计算服务向量之间的相似度。通过协同过滤的方法推荐候选服务;其次,提取Mashup描述信息中的功能集,通过计算功能集之间的相似度为目标Mashup推荐候选服务;然后,基于服务的历史使用记录分别构建基于服务和基于Mashup的调用矩阵,并计算调用矩阵间的相似度。通过协同过滤的方法推荐候选服务;最后,将所有候选服务中的相似度做归一化处理并排序,得到最终的推荐集合。在数据实验部分,本文使用Programmable Web上的真实数据集来验证方法的有效性。实验结果表明,与目前主流的服务推荐方法相比,本文提出的方法在准确性方面有显著的提高。(2)基于知识图谱的服务发现方法研究针对目前服务发现方法过度依赖语义信息和用户需求不准确的问题,本文提出了一种基于知识图谱的服务发现方法(Service discovery based on Knowledge Graph,SDKG)。该方法利用知识图谱技术挖掘了服务间深层的关系,从而提高了服务发现的准确性。此外,SDKG方法还可以为开发者提供服务相关的信息,从而使开发者构建更加准确的需求语句来发现服务。具体而言,SDKG方法包含如下的步骤:首先,从服务知识图谱中提取服务实体并构建不同类别的词典;其次,分析Mashup开发者提出的需求问句。依据问句中的实体类型和疑问词类型进行推理,从而确定服务匹配模板;然后,根据服务匹配模板构建Cypher查询语句并在知识图谱中查询到符合条件的候选实体;最后,为开发者发现服务。当开发者的需求是获取服务相关信息时,直接将查询到的服务信息提供给开发者。开发者获取相关服务信息后,可以构建精确的服务需求语句来发现服务;当开发者的需求是发现服务时,则需要基于word2vec模型计算需求问句和候选服务描述文本之间的相似度,将与需求问句匹配度较高的服务提供给开发者。实验结果表明,与现存主流的服务发现方法相比,本文提出的方法在准确性方面有明显的优势。此外,基于SDKG模型,本文设计和开发了智能服务问答系统。一方面,该系统可以为开发者发现服务;另一方面,该系统还可以向开发者提供服务相关信息,以便开发者构建准确的需求语句来发现服务。
开源环境下的软件服务质量预测方法
这是一篇关于软件服务,缺陷预测,服务质量,服务推荐,推荐系统的论文, 主要内容为面向服务软件架构的发展推动了软件开发模式的开放进程。不同于以往的封闭式环境,现在开发者可以直接按需使用公开的Web服务,也能方便地发布自己开发的服务。在这种开放的开发环境下,软件服务的数量急速增长,越来越多的服务拥有相同或者相似的功能。服务使用者对服务的需求不再局限于功能,也会要求更高的性能质量。然而,从大量的相似服务中找到质量高且最适合自己的服务是非常困难的。同时,对服务提供者来说,如何提高自身服务质量以吸引更多的用户也是一大挑战。服务平台对用户调用的服务进行质量预测能很好地解决这两个难题。软件服务的质量一般指服务的性能特征,由内部质量和外部质量构成。内部质量是指服务本身的固有属性,不受外部交互环境的影响,软件的缺陷情况是内部质量重要的衡量指标之一;外部质量是指用户调用服务时观察到的服务性能属性,如响应时间、吞吐率等。在开放服务的开发模式下,软件服务内部质量和外部质量的精准预测,对服务使用者、服务开发者、基础服务平台三方都具有重要的意义。然而,目前对软件服务内部和外部质量的研究还存在一些不足,主要表现为:1)对软件缺陷的预测工作主要集中于预测软件实体(如类、模块等)有无缺陷,对实体中缺陷个数的预测研究还存在不足,对实际的开发活动缺乏有效的实践指导;2)对于服务质量QoS(Quality of Service)的预测,目前主要使用基于评分的方法,以更准确地预测用户和服务之间QoS属性值为目标。但更准确的QoS属性值预测并不一定能带来更好的推荐效果,在QoS感知的服务推荐问题上,基于排序的方法更符合服务推荐应用场景;3)大多数服务推荐工作针对推荐算法,缺少对QoS感知的服务推荐系统设计和实现的研究。为解决上述问题,本文围绕软件服务质量的内部缺陷预测、外部QoS预测和QoS感知的服务推荐问题展开研究,主要工作和贡献包括:(1)软件缺陷的预测能帮助软件开发者快速定位有缺陷的软件实体,提升软件测试效率。然而,基于二分类(binary classification)的软件实体有无缺陷的预测方法提供的信息有限。本文使用经验软件工程的方法分析了缺陷个数预测的可行性,尝试在多种回归模型中找到最适合缺陷个数预测的方法,并对比了跨项目(cross-project)和项目内(within-project)缺陷预测效果的差异,以及软件度量元(software metric)特征降维对预测效果的影响。本文在公开的软件工程数据集PROMISE库上进行了大规模实验,实验结果显示随机森林回归模型在不同场景中的预测效果最好;并且与项目内预测的结果相比,跨项目预测的结果没有显著的统计差异,有时甚至效果更好。(2)本文提出了一种基于评分和排序的软件服务QoS预测方法,它结合了基于邻域和隐语义模型对用户服务QoS属性矩阵分析的优点,根据访问服务用户的QoS属性值排序来衡量服务之间的相似度,从而提高预测的准确率。同时,分析了使用排序指标来衡量推荐效果的必要性。在Web服务数据集(WSDream)上的实验结果表明,与其他方法相比,本文提出的混合推荐模型取得了更好的推荐效果。(3)本文对服务推荐系统需求展开分析,以基于评分和排序的混合推荐模型为核心,设计并实现了一个QoS感知的软件服务个性化推荐系统。在系统中用户可以指定服务功能需求,系统根据用户调用服务的历史QoS属性记录,为其推荐质量高且最合适的服务,从而为个性化推荐系统的实现提供了可行的整体解决方案。
基于位置聚类和张量分解的Web服务QoS预测研究
这是一篇关于推荐系统,服务推荐,QoS缺失值预测,张量分解,并行化的论文, 主要内容为越来越多的开发者已经倾向于购买各种Web服务搭建他们的应用平台。而面对市面上相关产品众多,功能高度同质化的现状,服务提供商有必要通过技术手段帮助用户确定其最合适的Web服务。因此,服务推荐技术应运而生,成为解决以上问题的有效手段之一。然而,作为服务推荐依据的QoS数据常含有缺失部分,QoS数据缺失过多会严重影响服务推荐的质量,因而数据科学家有必要在进行推荐之前对QoS数据中的缺失值进行预测并填充。本文针对服务推荐中的QoS缺失值预测问题,采用张量方法完成了以下三个方面的工作:首先,针对传统张量模型不重视QoS数据位置信息的问题,本文将蕴含着位置信息的QoS数据进行聚类,将地理位置相近的服务聚合在一起,从而形成数个小型的QoS张量,以便于使用张量模型对它们分别进行缺失值预测,从而提高预测的准确度。其次,本文对QoS缺失值预测的求解方式进行改进,一方面考虑最小化缺失QoS张量中已知部分和预测结果中相应位置的误差;另一方面受到图像降噪问题的启发,将插补过后的QoS张量视作含有噪声的数据,然后对其进行去噪操作。本文随后在对QoS信息进行位置聚类的基础上,将这两种求解思路和改进后的高阶正交迭代算法结合起来,提出了 CHOOI1和CHOOI2两个QoS缺失值预测模型。在公开数据集WSDREAM dataset 2上验证了它们的可行性以及预测结果的准确性。为了进一步提高模型预测准确度,本文还将CHOOI2模型和传统张量模型中表现最为优秀的NTF模型相结合,提出了 QTF模型。实验证明,QTF模型在QoS缺失值预测任务上表现出了分别优于前二者的预测准确度和运行时间。第三,针对高阶正交迭代占用内存空间大、迭代慢的特点,本文从迭代过程出发,进一步完成了 QTF模型的并行化工作,并在Apache Spark分布式计算框架下实现,本文针对QTF的并行化工作主要集中在其CHOOI2模型部分。从实验结果来看,并行版本的算法相较于串行版本而言在运行时间上有一定程度的改善,而且有更大的潜力处理大规模数据集上的QoS预测任务。
基于时空的信息物理系统服务推荐研究
这是一篇关于信息物理系统,长短期记忆,域感知因式分解机,服务推荐,时空信息的论文, 主要内容为随着信息物理系统的不断发展,服务数量日益增长,有许多服务都提供了相同的功能,如何在这些服务中为用户选择出合适的服务成为了当前热点研究的问题之一。本文基于用户与服务的时空信息提出了基于域感知因式分解机(FFM)的推荐模型(LBFFM)以及基于长短期记忆网络(LSTM)的混合推荐模型(LSTM-HPLT)以满足信息物理系统中用户调用服务的不同场景。首先,本文针对用户调用服务时产生的冷启动问题,构建了基于域感知因式分解机的服务推荐模型。冷启动问题面临的主要困难是该如何向无历史行为的新用户推荐服务,或如何将新服务推荐给用户。本文基于已有的数据进行独热编码,利用用户与服务的地理位置信息构建了基于距离权重的相似度,并筛选出相似的用户以及服务,将用户、服务、相似用户以及相似服务作为特征域构建特征矩阵,最后经由域感知因式分解机学习不同域与特征之间的关系,以提高对服务QoS值的预测精度。其次,本文针对用户调用服务产生的数据稀疏性问题,利用用户与服务的时空信息构建了基于长短期记忆网络的混合推荐模型。LSTM-HPLT使用相邻时间段的QoS均值填补空缺数据,以缓解数据稀疏,并且基于用户与服务的地理位置以及相似度筛选出最相似的若干个用户或服务,对与目标用户(服务)以及相似用户(服务)有关的QoS数据集合进行LSTM训练,并进行QoS值的预测,从而提升了服务推荐的准确性。最后,基于真实的信息物理系统的数据集进行大量实验,验证了 LBFFM以及LSTM-HPLT在实际数据中相较于其它方法有更好的效果,预测的结果在标准平均误差(NMAE)以及均方根误差(RMSE)指标下有更好的表现,能够有效地缓解服务推荐中冷启动以及数据稀疏的问题,并以此提高对用户的服务推荐的准确度。同时,基于LBFFM与LSTM-HPLT模型构建了信息物理系统服务推荐应用,以管理用户与服务的信息并根据这些信息有效提供不同应用场景下的服务推荐。
基于智能合约与分布式多维数据的服务推荐系统
这是一篇关于区块链,智能合约,服务推荐,威尔逊区间算法,遗传算法的论文, 主要内容为随着互联网技术的发展,Web服务的数量飞速增长,各种类型的服务推荐系统层出不穷。尽管各大服务推荐系统都展现了高效的数据处理、服务推荐等性能,但现有的服务推荐系统大都基于中心化平台开发,功能与数据集中于中心服务器,这种过于中心化的权限存在着诸多问题,例如数据被篡改、数据泄露等。针对上述问题,本文利用区块链技术在去中心化、数据不可篡改等方面的优势,结合智能合约技术,开发了一种基于区块链智能合约技术的服务推荐系统。论文的主要工作包括:(1)服务推荐系统的需求分析及开发环境搭建。本文对服务推荐系统进行了详细的需求分析,并搭建以太坊联盟链作为系统的开发环境。(2)服务推荐系统设计。系统设计实现两个核心推荐功能:服务评价推荐功能与服务质量推荐功能。服务评价推荐功能采用威尔逊区间算法,基于Web服务的评价数据对具体服务集进行排名,将排名结果展示给用户,为用户做出推荐;服务质量推荐功能实现了Web服务组合推荐,使用Web服务组合的全局QoS值衡量Web服务组合质量的优劣,本文基于Web服务的QoS多维数据,采用遗传算法求解Web服务组合问题,并将计算得到的最优Web服务组合推荐给用户。(3)服务推荐系统实现与测试。系统实现:使用以太坊联盟链作为底层环境,将数据通过智能合约存储到区块链中,确保系统数据不被篡改。系统业务逻辑由智能合约实现,合约编译、测试通过Remix完成,并部署到区块链上。最后编写前端页面,借助Web3.js通过RPC方式调用合约函数实现交互完成系统开发;系统测试:首先对智能合约进行测试,验证各合约代码的正确性以及高效性,接着对系统进行功能测试,验证系统功能的可用性,最后对系统进行性能测试,验证系统的安全性与可靠性。本文设计实现了基于智能合约与分布式多维数据的服务推荐系统,将系统数据存储在区块链中,有效地防止了数据被篡改,同时系统运行环境为以太坊联盟链去中心化环境,克服了传统服务推荐系统的中心化弊端,为解决服务推荐领域现存问题提供了一种新的方案。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码导航 ，原文地址：https://bishedaima.com/lunwen/48795.html
